ملخص تقني: فك التشفير التبايني متعدد السياقات المدرك للأهمية للأسئلة والأجوبة المرئية المعززة بالاسترجاع

1. بيان المشكلة

تُظهر نماذج اللغة المرئية واللغوية الكبيرة (LVLMs) قدرات رائعة في المهام المرئية واللغوية، ولكنها تفتقر غالباً إلى المعرفة التفصيلية حول كيانات محددة. يعالج التوليد المعزز بالاسترجاع (RAG) هذا الأمر من خلال توفير سياقات خارجية من قاعدة معرفية (KB). ومع ذلك، فإن طرق فك التشفير الحالية لـ RAG تعد غير مثالية لسببين رئيسيين:

1. الفشل في الاستفادة من السياقات المتعددة: الطرق التي تعتمد على سياق واحد (مثل أفضل سياق تم استرجاعه) تتدهور بشكل كبير عندما تكون جودة الاسترجاع ضعيفة، حيث لا يمكنها تجميع المعلومات من سياقات أخرى قد تكون ذات صلة.
2. الحساسية للسياقات غير ذات الصلة: الطرق التي تستوعب سياقات متعددة غالباً ما تعاني من تدهور الأداء عند تضمين سياقات غير ذات صلة أو مشوشة، حيث تعمل هذه الإشارات السلبية على إرباك عملية التوليد.

يتمثل التحدي الجوهري في تطوير استراتيجية لفك التشفير تجمع بفعالية المعلومات المفيدة من سياقات متعددة ذات صلة، وفي الوقت نفسه تقاوم التأثير السلبي للسياقات غير ذات الصلة، دون الحاجة إلى تدريب إضافي للنموذج.

2. المنهجية: فك التشفير التبايني متعدد السياقات المدرك للأهمية (RMCD)

يقترح المؤلفون RMCD، وهو طريقة لفك التشفير لا تتطلب تدريباً وتوسع مفهوم فك التشفير التبايني (CD). بدلاً من مجرد دمج السياقات أو متوسط التنبؤات، يقوم RMCD بتعديل تأثير كل سياق مسترجع ديناميكياً بناءً على صلته بالسؤال.

الآلية الجوهرية

يعمل RMCD عن طريق مباينة الـ "logits" المولدة من سياقات متعددة. تتضمن العملية ثلاث خطوات رئيسية:

1. وزن السياق (الانعكاس والانحراف):

   • بالنسبة لمجموعة من السياقات المسترجعة $C = \{c_1, ..., c_n\}$، المرتبة حسب درجة الاسترجاع، يولد النموذج توزيع $q(y_i|c_j)$ لكل سياق.
   • يتم تحديد وزن السياق $\alpha_j$ بشكل تكيفي بناءً على درجة الاسترجاع $s_{c_j}$.
   • الانعكاس (Reflection): السياقات ذات درجات الاسترجاع العالية تُمنح أوزانًا إيجابية عالية، مما يعزز تأثيرها.
   • الانحراف (Deflection): السياقات ذات درجات الاسترجاء المنخفضة تُمنح أوزانًا منخفضة أو سالبة. هذا يعمل بنشاط على طرح تأثير السياقات غير ذات الصلة بدلاً من مجرد تجاهلها.
   • الـ "logit" النهائي هو مجموع موزون: $p(y_i) = \text{Softmax}(\sum \alpha_j q(y_i|c_j))$.

2. قيد المعقولية المجمّع (Ensembled Plausibility Constraint):

   • لمنع أخذ عينات من مفردات غير مرجحة للغاية، يقدم RMCD قيداً.
   • يتم اختيار مجموعة فرعية من "سياقات القيد" ($C_c$) بناءً على عتبة الصلة.
   • يتم حساب احتمالية مجمّعة من سياقات القيد هذه لتحديد مجموعة مفردات معقولة $S_i$.
   • يتم ضبط الـ "logits" للمفردات خارج $S_i$ لتصبح $-\infty$، مما يقيد مساحة أخذ العينات في الرموز (tokens) المعقولة المستمدة من السياقات عالية الجودة.

3. الأساس ذو السياق الواحد (SCD):

   • قدم المؤلفون أولاً نموذجاً أساسياً، وهو فك التشفير التبايني ذو السياق الواحد (SCD)، والذي يباين المخرجات مع أفضل سياق مقابل المخرجات غير المشروطة. وبينما يعد SCD فعالاً مع الاسترجاع عالي الجودة، فإنه يفشل عندما تنخفض جودة الاسترجاع، مما يستدعي التوسع متعدد السياقات (RMCD).

3. المساهمات الرئيسية

تحدد الورقة ثلاث مساهمات رئيسية:

1. تحديد أوجه القصور: لاحظ المؤلفون أن طرق RAG الحالية تفشل في الاستفادة الكافية من السياقات المتعددة ذات الصلة وتتأثر بسهولة بالسياقات غير ذات الصلة.
2. اقتراح RMCD: طريقة مبتكرة لفك التشفير لا تتطلب تدريباً، تباين بين سياقات متعددة بناءً على الصلة. وهي تعمل بفعالية على "عكس" السياقات ذات الصلة و"إزاحة" غير ذات الصلة من خلال الوزن التكيفي، بما في ذلك الأوزان السالبة.
3. التحقق التجريبي: يتفوق RMCD باستمرار على طرق فك التشفير الأخرى عبر مختلف نماذج LVLM والمعايلات الاختبارية. كما يظهر متانة تجاه جودة الاسترجاع المتفاوتة، من المسترجع الضعيف إلى القوي، وحتى في حالات "الأوراكل" (oracle) حيث يكون السياق الصحيح مضموناً.

4. النتائج التجريبية

تم تقييم الطريقة على ثلاثة معايير اختبارية للأسئلة والأجوبة المرئية كثيفة المعرفة: InfoSeek، و Encyclopedic-VQA، و OK-VQA.

• الأداء: حقق RMCD نتائج هي الأفضل في حالته (state-of-the-art) بين طرق فك التشفير عبر سبعة نماذج مختلفة من LVLM (بما في ذلك متغيرات InternVL و BLIP-2 و LLaVA).
  • في InfoSeek، حسن RMCD الأداء بما يصل إلى 13.1 نقطة عن التوليد غير المشروط وتفوق على خط الأساس القياسي لـ RAG.
  • في Encyclopedic-VQA، حقق أفضل النتائج في كل من تقسيمات الخطوة الواحدة (one-hop) والتقسيم الكامل (full split).
  • في OK-VQA، أدى تطبيق RMCD على بنيات تنافسية مثل (RA-VQA و FLMR) إلى تحقيق أعلى دقة (63.1)، متفوقاً على الطرق التي تعتمد على GPT-3 للاسترجاع أو التوليد.
• الكفاءة: يحافظ RMCD على تعقيد زمني يقارب $O(n)$ بالنسبة لعدد السياقات. وعند تطبيقه على FLMR (الذي يستخدم البحث الشعاعي/beam search)، قلل زمن الاستجابة (latency) بنسبة 33% مع تحسين الدقة.
• المتانة:
  • الكمية: زاد الأداء بشكل رتيب مع زيادة عدد السياقات ($n$)، على عكس النماذج الأساسية التي وصلت إلى حالة الثبات أو التدهور.
  • الجودة: تفوق RMCD باستمرار على جميع الطرق الأخرى عبر أحجام قواعد معرفية تتراوح من 1.7 ألف إلى 2 مليون (حيث تزداد صعوبة الاسترجاع). وقد ظل المتصدر حتى عند استخدام مسترجع "أوراكل" (مسترجع يضمن السياق الصحيح)، مما يثبت قيمته المستقلة عن تحسينات المسترجع.

5. الأهمية والادعاءات

تدعي الورقة أن RMCD يقدم تقدماً كبيراً في RAG لنماذج LVLM من خلال معالجة التحدي المزدوج المتمثل في تجميع المعلومات وقمع الضوضاء دون التكلفة الحسابية لإعادة تدريب النماذج.

• تكامل لا يتطلب تدريباً: يمكن تطبيق RMCD ببساطة عن طريق استبدال طريقة فك التشفير لنماذج LVLM الحالية، مما لا يتطلب أي تدريب إضافي أو تحديث للمعلمات.
• المتانة تجاه ضوضاء الاسترجاع: الطريقة قوية بشكل فريد تجاه جودة مرحلة الاسترجاع. فهي تعمل بأفضل شكل بغضًا عن كون نتائج الاسترجاع هي الأضعف أو الأقوى، مما يجعلها مكوناً موثوقاً للتطبيقات الواقعية حيث لا يمكن تحقيق الاسترجاء المثالي.
• آلية الانحراف (Deflection): تؤكد دراسات الاستئصال (ablation studies) أن آلية "الانحراف" (تعيين أوزان سالبة للسياقات غير ذات الصلة) أمر بالغ الأهمية. فمجرد تجاهل السياقات غير ذات الصلة ليس كافياً؛ بل إن مواجهة تأثيرها بنشاط يحقق أداءً فائقاً.

باختصار، يضع المؤلفون RMCD كتطور ضروري في فك تشفير RAG، مما يمكّن نماذج LVLM من استخدام قواعد المعرفة الخارجية بفعالية من خلال موازنة تأثير السياقات المسترجعة المتعددة ديناميكياً.