ملخص تقني: فك التشفير المتوازي المتحكم فيه عبر التكرار البصري للنماذج اللغوية الكبيرة متعددة الوسائط القائمة على الانتشار

1. بيان المشكلة

تقوم النماذج اللغوية الكبيرة متعددة الوسائط القائمة على الانتشار (dMLLMs) بتوليد النصوص من خلال فك التشفير التكراري لعدة مواضع محجوبة (masked positions) بالتوازي، بناءً على مدخلات بصرية. وخلافًا للنماذج ذات التشفير الذاتي (autoregressive) التي توسع السوابق رمزًا تلو الآخر، يجب على نماذج dMLLM أن تقرر، في كل خطوة فك تشفير، أي مجموعة فرعية من المواضع المحجوبة يجب "الالتزام بها" (إزالة الحجب عنها) لتكون بمثابة سياق للخطوات اللاحقة.

تعتمد استراتيجيات فك التشفير الحالية، وبشكل أساسي فك التشفير القائم على الثقة، على اختيار أفضل $K$ من المواضع ذات أعلى احتمالات الرموز المتوقعة. ورغم كفاءتها، إلا أن هذا النهج يعامل كل موضع بشكل مستقل. وقد حدد المؤلفون قصورًا حاسمًا في البيئات متعددة الوسائط: التكرار البصري. فالرموز عالية الثقة المختارة في نفس الخطوة قد تعتمد على ربط بصري متداخل (أي أنها تنتبه إلى مناطق أو كائنات صورية متداخلة). وعندما يتم الالتزام بهذه الرموز معًا، فإنها توفر سياقًا بصريًا مكررًا بدلاً من تقديم إشارات متكاملة، مما قد يؤدي إلى تدهور قدرة النموذج على حل المواضع المحجوبة المتبقية التي تتطلب معلومات بصرية متنوعة. هذا التكرار يختلف عن التكرار الدلالي في النص المولد أو التكرار داخل الرموز البصرية المدخلة؛ فهو يشير تحديدًا إلى التداخل في الربط البصري بين الرموز النصية التي يتم رفع الحجب عنها في آن واحد.

2. المنهجية

2.1 مؤشر التكرار البصري (VRI)

لقياس مدى تداخل الربط البصري بين الرموز الملتزم بها، قدم المؤلفون مؤشر التكرار البصري (VRI).

• التعريف: بالنظر إلى مجموعة من المواضع الملتزم بها $S_t$ عند الخطوة $t$، يقيس VRI التداخل في الانتباه من الرمز إلى الصورة.
• الآلية: لكل رمز صورة $u$، يتم حساب إجمالي وزن الانتباه المخصص من قبل الرموز الملتزم بها، مع طرح المساهمة الفردية القصوى لعزل الوزن "المكرر" المخصص من قبل الرمções الإضافية.
• الصيغة:
  $$\text{VRI}(S_t) = \frac{\sum_{u=1}^{N} (\sum_{i \in S_t} v_i(u) - \max_{i \in S_t} v_i(u))}{m - 1}$$
  حيث $v_i(u)$ هو الانتباه المعياري للرمز النصي $i$ للرمز الصوري $u$، و $m = |S_t|$. يشير انخفاض VRI إلى تكرار بصري أقل.

2.2 فك التشفير المتحكم فيه عبر التكرار البصري (VRCD)

اقترح المؤلفون VRCD، وهو طريقة لفك التشفير أثناء الاستنتاج، خالية من التدريب، ومصممة للتخفيف من التكرار البصري دون تغيير أوزان النموذج الأساسي. يعمل VRCD كآلية إعادة ترتيب خفيفة الوزن:

1. بناء نافذة المرشحين: بدلاً من تقييم جميع المواضع المحجوبة، يقوم VRCD ببناء نافذة مرشحين $U_t$ تحتوي على أفضل $M_t$ من المواضع بناءً على درجات الثقة الأولية، حيث $M_t$ هي دالة لحجم الالتزام $K_t$ وعامل قياس $\lambda$.
2. استخراج البروز البصري: لكل مرشح، تستخرج الطريقة انتباه الرمز إلى الصورة المعياري من طبقة فك التشفير النهائية. ولتقليل الضجيج، يتم طرح مكون موحد ($1/N$)، والاحتفاظ فقط بأوزان الانتباه المتبقية الموجبة وإعادة معايرتها.
3. حساب التداخل الزوجي: يتم حساب التداخل البصري بين كل زوج من المرشحين $(i, j)$ باستخدام تقاطع توزيعات بروزهم (على سبيل المثال، $\sum \sqrt{q_i(u)q_j(u)}$).
4. حساب درجة التكرار: يتم تحويل التداخلات إلى رتب مئوية ضمن النافذة الحالية. وتُحسب درجة التكرار على مستوى الرمز $r_i$ كمجموع مرجح بالثقة لتداخلاتها مع المرشحين المحتملين الآخرين. يضمن هذا معاقبة الرموز التي تتداخل مع جيرانها عالي الثقة بشكل أكبر.
5. إعادة الوزن: يتم إعادة وزن درجة الثقة الأصلية $c_i$ لتشكيل درجة متحكم فيها عبر التكرار $s_i$:
   $$s_i = c_i (r_i + 1)^{-\alpha}$$
   حيث يتحكم $\alpha$ في قوة عقوبة التكرار.
6. الاختيار: يتم الالتزام بأفضل $K_t$ من المواضع ذات أعلى قيم $s_i$. تعطي هذه العملية الأولوية للرموز عالية الثقة التي تقدم ربطًا بصريًا متكاملًا.

3. المساهمات الرئيسية

• تحديد التكرار البصري: حددت الورقة ظاهرة التكرار البصري وصاغتها رسميًا، وهي الظاهرة التي تعتمد فيها الرموز الواثقة فرديًا في خطوات فك التشفير المتوازي على ربط بصري متداخل، وهو عامل تم التغاضي عنه سابقًا في استراتيجيات فك تشفير dMLLM.
• مقياس VRI: تقديم مؤشر التكرار البصري (VRI) لقياس وتحليل تداخل الربط البصري عبر خطوات فك التشفير بشكل منهجي.
• خوارزمية VRCD: اقتراح طريقة إعادة ترتيب خفيفة الوزن وخالية من التدريب، تستخدم الانتباه من الرمز إلى الصورة لإعطاء الأولوية للمواضع ذات التكامل البصري، مما يقلل التكرار مع الحفاظ على كفاءة فك التشفير القائم على الثقة.

4. النتائج التجريبية

تم تقييم الطريقة على خمسة اختبارات معيارية متعددة الوسائط: M3CoT (الاستدلال متعدد الخطوات)، MMBench (الرؤية واللغة العامة)، SQA-IMG (الأسئلة العلمية ذات الصور)، DocVQA، و InfoVQA. كان النموذج الأساسي المستخدم هو LaViDa (المبني على LLaDA-8B).

• مكاسب الأداء: تفوق VRCD باستمرار على فك التشفير القائم على الثقة والأساليب المرجعية الأخرى (Margin, Entropy, InfoGain) عبر مختلف أطوال فك التشفير ($L=192, 384$) ونسب التقدم (FR).
  • في M3CoT، حقق VRCD مكاسب نسبية في الدقة تصل إلى 18.8% مقارنة بفك التشفير القائم على الثقة.
  • في MMBench، وصلت المكاسب إلى 6.9%.
  • كانت التحسينات أكثر أهمية في المهام التي تتطلب استدلالًا متعدد الوسائط طويل الأمد (M3CoT, MMBench, SQA-IMG) مقارنة بالمهام ذات الإجابات القصيرة (DocVQA, InfoVQA).
• تقليل التكرار: خفض VRBD متوسط VRI بشكل كبير عبر جميع خطوات فك التشفير مقارنة بالأساليب المرجعية، مما يؤكد قدرته على اختيار الرموز ذات الربط البصري الأقل تداخلًا.
• اليقين التنبئي: قللت الطريقة من الإنتروبيا للمواضع المحجوبة المتبقية، مما يشير إلى يقين تنبئي أعلى للخطوات المستقبلية.
• الكفاءة: قدم VRCD زيادة طفيفة في وقت التشغيل (حوالي 1.5%)، محتفظًا بإنتاجية قريبة من النموذج المرجعي، بينما واجهت الأساليب المتقدمة الأخرى مثل InfoGain تكاليف حوسبة أعلى بكثير.
• الدراسات الاستقصائية (Ablation Studies):
  • أظهر المعلم الفائق $\alpha$ (قوة عقوبة التكرار) أداءً أمثل عند $\alpha=1.5$ لـ M3CoT و $\alpha=2.0$ لـ MMBench؛ وتم استخدام إعداد متوسط ثابت عبر الاختبارات.
  • تفوق التجميع المرجح بالثقة لدرجات التكرار على المتوسط الموحد.
  • ثبت أن استخراج البروز البصري (VSE) أمر بالغ الأهمية لتقدير التداخل بفعالية.

5. الأهمية والادعاءات

تدعي الورقة أن التكرار البصري هو إشارة حرجة، وإن لم يتم التعامل معها سابقًا، لفك التشفير المتوازي في نماذج dMLLM ذات الربط البصري. ومن خلال نقل قرار فك التشفير من "أي رمز فردي هو الأكثر ثقة" إلى "أي مجموعة من الرموز توفر ربطًا بصريًا متكاملًا"، يحسن VRCD جودة السياق المولد للخطوات اللاحقة.

يؤكد المؤلفون أن VRCD هو طريقة إضافية (plug-in) خالية من التدريب، تعزز جودة فك التشفير دون الحاجة إلى إعادة تدريب النموذج أو تكبد تكاليف حوسبية كبيرة. ويشير العمل إلى أن إدارة تنوع الربط البصري أثناء الالتزام المتوازي أمر ضروري لتعظيم كفاءة ودقة التوليد متعدد الوسائط القائم على الانتشار. ويُقترح في العمل المستقبلي استكشاف جداول فك تشفير تكيفية تعدل أحجام الالتزام ديناميكيًا بناءً على إشارات التكرار البصري.