ملخص تقني: SIRA – إعادة البناء الداخلي للنسب عبر البادئة المشتركة

بيان المشكلة

تعاني نماذج الرؤية واللغة الضخمة (LVLMs) بشكل متكرر من الهلوسة، حيث تولد النموذج أوصافاً للأشياء أو السمات أو العلاقات التي تكون منطقية لغوياً ولكنها غير مدعومة بالمدخلات البصرية. وتتفاقم هذه المشكلة بشكل خاص عندما تكون الأدلة البصرية ضعيفة أو غامضة، مما يسمح للمسبقات اللغوية ذات الاحتمالية العالية بالهيمنة على توقع الرموز (tokens).

تحاول استراتيجيات التخفيف الحالية، وتحديداً فك التشفير التبايني (contrastive decoding)، معالجة ذلك من خلال مقارنة تنبؤ النموذج على الصورة الأصلية مقابل تنبؤ مرجعي مستمد من مدخلات مشوهة أو مضطربة (مثل الصور المموهة أو المقنعة). ومع ذلك، يحدد المؤلفون قصورين حرجين في هذه الأساليب الخارجية:

1. الأعباء الحسابية: تتطلب عادةً تمريرة أمامية كاملة ثانية عبر النموذج.
2. الآثار الناتجة عن الخروج عن المسار الطبيعي (Off-Manifold Artifacts): إن تشويه الصورة المدخلة يمكن أن يؤدي إلى ظهور آثار لا تمثل التوزيع البصري الحقيقي. وبناءً على ذلك، فإن التفاوتات في السجل الاحتمالي (logits) الناتجة قد تعكس عدم تطابق ناتج عن عملية التشويه نفسها بدلاً من كونه عزواً نظيفاً للأدلة البصرية مقابل المسبقات اللغوية.

يفترض البحث أن المرجع المقابل للفعل (counterfactual reference) الفعال لا يحتاج إلى بنائه خارجياً في مساحة المدخلات. بدلاً من ذلك، يجادل بأن المتطلب الأساسي هو مرجع متوافق يكشف كيف يمكن للحالة متعددة الوسائط نفسها أن تتطور إذا تم تقييد الوصول إلى الأدلة البصرية الدقيقة في مراحل المعالجة اللاحقة.

المنهجية: SIRA

يقترح المؤلفون SIRA (إعادة البناء الداخلي للنسب عبر البادئة المشتركة)، وهو إطار عمل لفك التشفير التبايني داخلي وخالٍ من التدريب. يقوم SIRA ببناء مرجع مقابل للفعل داخل مسار الاستدلال نفسه للنموذج (LVLM) عن طريق التلاعب بتدفق المعلومات داخل طبقات المحول (transformer)، بدلاً من تغيير الصورة المدخلة.

الآلية الجوهرية

يعمل SIRA من خلال الحفاظ على فرعين متزامنين لفك التشفير يتشاركان في "بادئة" مشتركة وينفصلان فقط بعد حدود تقسيم محددة ($b$):

1. البادئة المشتركة (من $0$إلى$b-1$): يتشارك كل من الفرع الكامل (الاستدلال القياسي) والفرع المقابل للفعل في نفس المطالبة (prompt)، ومعلمات النموذج، وسجل فك التشفير، والبنية الموضعية، والحسابات المبكرة للطبقات. يضمن هذا أن يرث كلا الفرعين تفسيراً بصرياً وتأسيسياً متماثلاً ومستقراً قبل نقطة الانقسام.
2. التفرع المتأخر ($b$ إلى $L-1$): بعد الطبقة الحدودية $b$، يتفرع المساران:
   • الفرع الكامل: يستمر في الاستدلال متعدد الوسائط القياسي، مما يسمح بالانتباه إلى رموز الصورة.
   • الفرع المقابل للفعل: يطبق قناع انتباه محدد ($M_{cf}$) يعمل على حجب الوصول إلى مواضع رموز الصورة. في هذا الفرع، لا يمكن لرموز الصورة أن تُقرأ بواسطة الاستعلامات (queries)، كما لا يمكنها إنتاج استعلامات تغذي تدفق النص.
3. التباين الداخلي: عند كل خطوة لفك التشفير، يحسب SIRA سجلات الاحتمالية (logits) لكلا الفرعين ($z_{full}$ و $z_{cf}$). يتم حساب سجل الاحتمالية النهائي لفك التشفير ($z_{cd}$) كالتالي:
   $$z_{cd}(v) = (1 + \alpha)z_{full}(v) - \alpha z_{cf}(v)$$
   حيث يتحكم $\alpha$ في قوة التباين.
   • الرموز التي تظل قوية في الفرع المقابل للفعل (الذي يفتقر إلى الوصول البصري) يتم معاقبتها، لأنها من المرجح أن تكون مدفوعة بالمسبقات اللغوية.
   • الرموز التي تكتسب ميزة تحديداً في الفرع الكامل يتم تفضيلها، لأن احتماليتها تعتمد على استمرار الأدلة البصرية.

الكفاءة

على عكس الطرق التي تتطلب تمريرتين أماميتين كاملتين (مثل VCD)، يتشارك SIRA الحساب للطبقات $b$ الأولى. فهو يتحمل فقط تكلفة الطبقات $K$ الأخيرة للفرع المقابل للفعل. وينتج عن ذلك نسبة تكلفة مثالية لكل رمز تبلغ $1 + K/L$ (حوالي $1.5\times$ عند التقسيم في منتصف الطبقات)، وهي أقل بكثير من تكلفة $2\times$ لأساليب التباين الخارجية.

المساهمات الرئيسية

1. منظور تدفق المعلومات: يعيد البحث تقييم التخفيف من الهلوسة من خلال الجدال بأن المراجع الفعالة يجب أن تحافظ على التأسيس متعدد الوسائط المبكر مع تقييد الوصول إلى رموز الصورة اللاحقة، بدلاً من الاعتماد على تشويه المدخلات الخارجي.
2. إطار عمل SIRA: اقتراح طريقة لفك التشفير التبايني داخلي وخالٍ من التدريب، يبني مرجعاً مقابلاً للفعل عبر التفرع المتأخر ذي البادئة المشتركة وحجب رموز الصورة بعد الحدود.
3. التحقق التجريبي: تجارب شاملة تثبت أن SIRA يقلل من الهلوسة مع الحفاظ على التغطية الوصفية وتحمل أعباء حسابية أقل من طرق التمرير المزدوج.

النتائج التجريبية

قيم المؤلفون SIRA على نماذج Qwen2.5-VL و LLaVA-v1.5 عبر ثلاثة اختبارات معيارية: POPE (هلوسة مستوى الكائن)، و CHAIR (هلوسة الوصف)، و AMBER (الوصف متعدد الأبعاد).

• POPE: حقق SIRA أفضل النتائج عبر جميع المقاييس الـ 36 (مزيج من النموذج، مجموعة البيانات، واستراتيجية أخذ العينات السلبية). وقد حسن الدقة بمتوسط قدره +5.4 نقطة على Qwen2.5-VL و +4.9 نقطة على LLaVA-v1.5 مقارنة بفك التشفير الأساسي، متفوقاً على خطوط أساس قوية مثل DoLa و OPERA و VCD. ومن الملاحظ أن التحسينات كانت ثابتة حتى في التقسيمات "العدائية" (Adversarial) حيث تكون المسبقات اللغوية قوية.
• CHAIR: قلل SIRA من معدلات الهلوسة على مستوى الجملة (CHAIRs) وعلى مستوى الحالة (CHAIRi). على سبيل المثال، في LLaVA-v1.5، انخفضت قيم CHAIRs من 31.5 إلى 23.1 عند طول 64، مما يشير إلى تقليل في ذكر الكائنات الزائفة بدلاً من مجرد الحذف.
• AMBER: قلل SIRA من مقاييس الهلوسة (Hal, Cog) مع الحفاظ على أو زيادة التغطية الوصفية (Cover). وهذا يتناقض مع خطوط الأساس مثل OPERA و VCD، التي غالباً ما تقلل الهلوسة عن طريق تقصير أو التحوط في الأوصاف (الإفراط في التحوط). لقد قلل SIRA تحديداً من الهلوسات "المعرفية" (Cog)، المرتبطة ارتباطاً وثيقاً بالمسبقات اللغوية.
• الكفاءة: تحمل SIRA عبئاً في زمن الاستجابة (latency) بنحو 1.4–1.5$\times$ مقارنة بفك التشفير القياسي، وهو أقل بكثير من VCD ($\sim2.1\times$) و OPERA ($\sim5.9\times$).

الأهمية والقيود

الأهمية:
يدعي البحث أن SIRA يوفر تقديراً مباشماً وأنظف لنسب الرموز (token-level attribution) مقارنة بالمراجع المستمدة خارجياً. من خلال إبقاء الفرع المقابل للفعل على نفس المسار (manifold) للنموذج ومشاركة الحالة الدلالية المبكرة، يعزل SIRA مساهمة الأدلة البصرية دون إدخال آثار ناتجة عن التشويه. لقد حقق تقليلاً لحالة الهلوسة بمستوى متقدم (state-of-the-art) دون الحاجة إلى إعادة تدريب النموذج، أو مُحقِّقات خارجية، أو مدخلات مشوهة، مما يجعله قابلاً للتطبيق على نماذج LVLM مفتوحة الأوزان ذات وصول "الصندوق الأبيض" (white-box).

القيود:
يقر المؤلفون بوجود قيدين رئيسيين:

1. الأعباء الحسابية: رغم أنها أقل من طرق التمرير المزدوج، إلا أن SIRA لا يزال يحمل تكلفة غير صفرية لكل خطوة لفك التشفير بسبب إعادة تقييم الفرع المقابل للفعل.
2. متطلبات الوصول: يتطلب بناء التباين الداخلي وصولاً من نوع "الصندوق الأبيض" (white-box) إلى الحالات المخفية (hidden states)، وأقنعة الانتباه، وحالات التخزين المؤقت (cache states)، مما يحد من تطبيقه على واجهات البرمجة (APIs) التي تعمل بنظام "الصندوق الأسود" (black-box).