ملخص تقني: ReVisiT – الكشف عن الدلالات البصرية في رموز الرؤية لتوجيه فك تشفير النماذج اللغوية البصرية الكبيرة (LVLM)

بيان المشكلة

تعمل النماذج اللغوية البصرية الكبيرة (LVLMs) على دمج الإدراك البصري مع الفهم اللغوي، لكنها تعاني بشكل متكرر من "هلوسة الأشياء" (object hallucinations)، حيث يولد النموذج نصوصاً تصف أشياءً غير موجودة في الصورة المدخلة. وبينما يتم ترميز المعلومات البصرية في "رموز الرؤية" (vision tokens) ضمن الحالات الخفية للنموذج، إلا أن الآلية التي تؤثر بها هذه الرموز على عملية فك التشفير لا تزال غير مستكشفة بشكل كافٍ. غالباً ما تتعامل النهج الحالية مع رموز الرؤية كسياقات مساعدة ثابتة أو تعتمد على مسارات تدريب معقدة وعمليات استدلال متعددة المراحل للحد من الهلوسة. المشكلة المركزية التي يعالجها البحث هي كيفية الاستف{% من المعلومات الدلالية الجوهرية داخل رموز الرؤية بفعالية أثناء عملية فك التشفير دون إجراء تعديلات هيكلية أو تدريب إضافي.

المنهجية: ReVisiT

يقترح المؤلفون ReVisiT (المرجع لرموز الرؤية)، وهو استراتيجية لفك التشفير خالية من التدريب ومستقلة عن النموذج، مصممة لتوجيه توليد النصوص عبر الإشارة الديناميكية إلى رموز الرؤية الأكثر صلة. تعمل الطريقة عبر ثلاث خطوات رئيسية عند كل خطوة زمنية $t$ لفك التشفير:

1. بناء مجموعة فرعية من المفردات المدركة للسياق:
   بدلاً من العمل على كامل المفردات، يقوم ReVisiT بتقييد مساحة المفردات ديناميكياً إلى مجموعة فرعية $V_t^{cons}$. يتم تحديد هذه المجموعة الفرعية بشكل تكيفي بناءً على توزيع المخرجات الأصلي $p_\theta$ للنموذج اللغوي البصري الكبير، حيث تحتفظ بالرموز التي تتجاوز احتمالاتها عتبة $\alpha \cdot \max(p_\theta)$. هذا القيد يقلل من التشتت الدلالي ويركز فك التشفير على المرشحات المحتملة.

2. اختيار رمز الرؤية عبر التباعد المقيد:
   تقوم الطراف بإسقاط الحالات الخفية لرموز الرؤية ($h_i^j$) من طبقات فك التشفير المرشحة $j$ على المجموعة الفرعية للمفردات المقيدة $V_t^{cons}$. بعد ذلك، تحسب تباعد جينسن-شانون (JSD) بين توزيع المخرات الأصلي وتوزيع كل رمز رؤية مسقط. يتم اختيار رمز الرؤية $(i^*, j^*)$ الذي يحقق أدنى قيمة لـ JSD باعتباره إشارة مرجعية الأكثر صلة بالسياق.

• التحسين: لضمان الكفاءة، يتم حساب عمليات إسقاط رموز الرؤية عبر كامل المفردات مسبقاً لمرة واحدة قبل فك التشفير. أثناء فك التشفير، يتم قص هذه الإسقاطات المخزنة مؤقتاً وتقليمها لتناسب المجموعة الفرعية الديناميكية $V_t^{cons}$، مما يتجنب عمليات التمرير الأمامي الإضافية.

3. تحسين اللوغاريتم (Logit Refinement):
   يتم تحسين توزيع المخرات الأصلي عبر دمج مع توزيع رمز الرؤية المختار. يتم تحقيق ذلك عبر الجمع في الفضاء اللوغاريتمي (وهو ما يعادل دمج "حاصل ضرب الخبراء" في مساحة الاحتمالات):
   $$l_{ReVisiT}(y_t) = \log p_\theta(y_t | h_{T+t-1}^L, V_t^{cons}) + \log p_\theta(y_t | h_{i^*}^{j^*}, V_t^{cons})$$
   يتم تطبيع التوزيع النهائي فوق المجموعة الفرعية المقيدة، ويتم أخذ الرمز التالي من هذا التوزيع المحسّن.

المساهمات الرئيسية

1. رؤى تجريبية حول رموز الرؤية:
   يقدم البحث أدلة كمية ونوعية على أن رموز الرؤية تحمل في جوهرها دلالات موضوعية قابلة للتفسير. يوضح المؤلفون أنه بينما تكون هذه الإشارات خفية غالباً تحت فك التشفير غير المقيد (حيث قد يتم اختيار أشياء مهلوسة رغم وجود الأشياء الحقيقية باحتمالات عالية)، فإنها تصبح صريحة ومتوافقة جيداً عند إسقاطها على مجموعات مفردات متماسكة دلالياً.

2. خوارزمية ReVisiT:
   تقديم طريقة لفك التشفير بسيطة وخالية من التدريب تستخدم التباعد المقيد المدرك للسياق لاختيار ومرجعية رموز الرؤية. يعمل هذا النهج على تحسين لوغاريتمات الرموز لدمج الدلالات البصرية بشكل أفضل دون الحاجة إلى وحدات خارجية أو تغييرات هيكلية أو عمليات استدلال متعددة المراحل.

3. التحقق الشامل:
   تم التحقق من صحة الطريقة عبر ستة أحجام من النماذج (تتراوح من 7 مليار إلى 32 مليار معلمة) تغطي ثلاثة هياكل مختلفة (LLaVA-1.5، Qwen2.5-VL، وInternVL). يغطي التقييم خمسة معايير اختبار، بما في ذلك مجموعات البيانات الخاصة بالهلوسة (HallusionBench، CHIR، POPE) والمهام العامة (VQAv2، MMMU).

النتائج التجريبية

• تقليل الهلوسة: يقلل ReVisiT من الهلوسة باستمرار عبر جميع الهياكل المختبرة. في معيار CHAIR، يحقق درجات F1 تنافسية أو متفوقة مقارنة بالنماذج المرجعية المتطورة (مثل DoLa، VCD، M3ID) مع الحفاظ على تغطية الأشياء أو تحسينها. وفي HallusionBench، حقق أفضل النتائج في أربعة من أصل خمسة مقاييس لعدة نماذج.
• التعميم: تُظهر الطريقة قوة في المهام التمييزية (POPE، VQAv2) والاستدلال القائم على المعرفة المكثفة (MMMU)، مما يشير إلى أن إشارات الربط البصري التي يظهرها ReVisiT تتعمم عبر أنواع المهام المختلفة.
• الكفاءة: على عكس الطرق المرجعية التي تتطلب عمليات تمرير أمامي إضافية (مثل VCD، CODE) أو إسقاطات الطبقات المتوسطة (DoLa)، يزيد ReVisiT من زمن انتقال الاستدلال بنسبة تتراوح بين 0.6% إلى 2.0% فقط. كما يحقق انخفاضاً يصل إلى ضعفي التكلفة الحسابية مقارنة بالنماذج المرجعية متعددة المراحل.

الأهمية والادعاءات

يدعي البحث أن ReVisiT يثبت أن رموز الرؤية تحمل في جوهرها دلالات قابلة للتفسير يمكن إطلاقها من خلال القيود المتماسكة دلالياً. ومن خلال كشف هذه الدلالات صراحة في مساحة اللغة، توفر الطريقة إشارة توجيه قابلة للتفسير للتوليد.

يضع المؤلفون ReVisiT كحل قابل للتوسع والتطبيق على نطاق واسع يحسن الربط البصري دون الأعباء الحسابية لطرق المحاذاة الداخلية أو ما بعد المحاذاة. ويؤكدون أن فعالية الطريقة عبر أحجام ونماذج معمارية متنوعة تشير إلى أن "التباين المقيد المدرك للسياق" المقترح يلتقط إشارة فك تشفير أساسية وليس مجرد آلية تجريبية مرتبطة بمعيار محدد.

القيود المعترف بها:
يشير المؤلفون إلى أن ReVisiT يعتمد بشكل كبير على الدلالات المشفرة داخل رموز الرؤية الداخلية للنموذج، مما قد يؤدي إلى التركيز المفرط على العناصر المرتكزة إدراكياً على حساب الاستدلال الضمني للبديهة (commonsense reasoning). علاوة على ذلك، كونه طريقة لفك التشفير، فإنه لا يمكنه تصحيح الأخطاء الواقعية الناجمة عن بيانات التدريب المسبق إذا كانت الأدلة البصرية غير كافية، كما أنه لا يدمج استرجاع المعرفة الخارجي، رغم أنه يظل متوافقاً مع مسارات التوليد المعزز بالاسترجاع (RAG). يقتصر التقييم حالياً على النماذج مفتوحة المصدر في نطاق 7-32 مليار معلمة.