ملخص تقني: تكلفة السياق: التخفيف من التحيز النصي في استرجاع البيانات متعدد الوسائط المعزز بالتوليد (RAG)

تعريف المشكلة: إعادة الفساد (Recorruption)

بينما يتم دمج النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) بشكل متزايد مع تقنية استرجاع البيانات المعزز بالتوليد (Rave-Augmented Generation - RAG) لربط مخرجاتها بمعرفة خارجية، تحدد هذه الورقة نمط فشل حاد وغير بديهي يسمى إعادة الفساد (recorruption). يحدث "إعادة الفساد" عندما يؤدي إدخال وثائق خارجية — حتى لو كانت سياقات "أوراكل" (oracle) دقيقة تماماً — إلى دفع نموذج كفء للتخلي عن تنبؤ صحيح أولي مستمد من الأدلة البصرية والتحول إلى تنبؤ خاطئ.

يوضح المؤلفون أنه في المجالات عالية المخاطر مثل الأشعة الطبية، والعدالة الاجتماعية، والتحليل الجيومكاني، يمكن لتقنية RAG أن تؤدي فعلياً إلى تدهور الأداء. فبدلاً من تأكيد الإجابة الصحيحة، يتجاهل النموذج الأدلة البصرية الصريحة (مثل الاعتلالات في صور الأشعة السينية أو الإشارات الجندرية في الصور) لصالح المشتتات النصية. وتنتج هذه الظاهرة عن منافسة "صفرية المجموع" داخل نافذة السياق الموحدة للنموذج، حيث تعمل كميات ضخمة من النصوص المسترجعة على قمع الإشارات البصرية.

التشخيص الآلي

من خلال تحليل دقيق لمصفوفات الانتباه الداخلية عند "عنق الزجاجة" (طبقة الانتباه النهائية في مرحلة الملء المسبق حيث يقوم النموذج بتوليف المطالبة لتوليد الرمز الأول)، يحدد المؤلفون محركين رئيسيين لإعادة الفساد:

1. العمى البصري (هيمنة عبر الوسائط): تمتص النصوص المسترجعة ميزانية الانتباه بشكل مفرط. يؤدي هذا إلى قمع منهجي لـ كتلة الانتباه البصري ($M_{vis}$) وانخفاض حاد في حدة الانتباه البصري ($S_{vis}$). يصبح انتباه النموذج للصورة مشتتاً بشكل خطير، مما يجعله "أعمى" فعلياً عن مناطق بصرية محددة.
2. التحيز الموقعي النصي (ظاهرة "الضياع في المنتصف" متعددة الوسائط): يظهر النموذج تحيزاً هيكلياً نحو حدود التسلسل النصي (تحيز الأولوية أو الحداثة)، وهو ما يشبه تأثير "الضيا_في المنتصف" (lost-in-the-middle) في النماذج اللغوية الكبيرة. يقوم النموذج ميكانيكياً بنسخ النصوص من بداية أو نهاية السياق المسترجع بدلاً من إجراء استدلال متعدد الوسائط قائم على التأسيس (grounded reasoning).

وهم النجاح

من النتائج الهامة هي وهم النجاح. يوضح المؤلفون أن ملفات تعريف الانتباه الداخلية لنتائج RAG "الناجحة" (حيث يصادف أن يخرج النموذج الإجابة الصحيحة) وفشل "إعادة الفساد" غير متمايزة إحصائياً. كلاهما يظهر تركيزاً بصرياً مشتتاً وتحيزاً حدودياً عدوانياً. وبناءً على ذلك، فإن العديد من مخرجات RAG التي تبدو صحيحة هي مجرد مصادفات موقعية حيث يتوافق تحيز النسخ النصي الأعمى للنموذذ مع الموقع الحقيقي للحقيقة، بدلاً من كونها نتيجة لاستدلال قوي ومؤسس.

المنهجية: تدخل عنق الزجاجة لاستعادة الانتباه (BAIR)

لمعالجة هذه الثغرات دون الحاجة إلى إعادة تدريب النموذج أو الضبط الدقيق (fine-tuning)، يقترح المؤلفون إطار عمل BAIR، وهو إطار عمل يعمل في وقت الاستنتاج (inference-time) وخالٍ من المعلمات. يعمل BAIR حصرياً عند مصفوفات انتباه ما قبل "softmax" أثناء مرحلة الملء المسبق، حيث يتلاعب بتوزيع الانتباه لاستعادة التأسيس متعدد الوسائط. وهو يستخدم آلية استعادة مزدوجة:

1. استعادة الحدة والكتلة البصرية (VSMR):

   • يقوم BAIR أولاً بإجراء تمريرة مرجعية خفيفة وغير فاسدة (الصورة + التعليمات فقط) لحساب القيم المستهدفة لكل حالة ديناميكياً لكتلة الانتباه البصري ($M_{target}$) وحدته ($S_{target}$).
   • ثم يقوم بتعديل الـ (logits) البصرية في سياق RAG باستخدام مقياس درجة حرارة $T$ (يتم حله عبر البحث التنصيفي) لاستعادة الحدة المستهدفة.
   • يتم تطبيق إزاحة قياسية عالمية $\alpha$ لاستعادة الكتلة المستهدفة، مما يضمن عدم تخفيف الإشارة البصرية بواسطة السياق النصي.
   • يسمح عامل استكمال الكتلة $\alpha_v$ بالتضخيم النشط للأدلة البصرية بما يتجاوز الخط المرجعي.

2. العقاب النصي المدرك للموقع (PATP):

   • لمواجهة تحيزات "الضياع في المنتصف" والتحيزات الحدودية، يطبق BAIR عقاباً غير متماثل مدفوعاً بالبيانات على الـ (logits) النصية.
   • يقوم بحساب متوسطات الـ (logits) الإقليمية لأول 20% وآخر 20% من النص. إذا أظهرت الحدود طفرة في الـ (logit) (مما يشير إلى انتباه مفرط)، يتم تطبيق عقاب اضمحلال تربيعي على تلك الرموز (tokens) المحددة.
   • يعمل هذا على إخماد الرموز الحدودية المشتتة ديناميكياً مع الحفاظ على المحتوى التعليمي المركزي، دون الحاجة إلى ضبط يدوي للمعلمات الفائقة (hyperparameters) لأطوال الوثائق المختلفة.

النتائج التجريبية

قيم المؤلفون BAIR عبر ثلاثة مجالات:

• الحقيقة الطبية: مجموعة بيانات IU-Chest (نماذج MedGemma-4B, CheXagent-8B).
• العدالة الاجتماعية: مجموعة بيانات FACET (نماذج Qwen2.5-VL-7B, DeepSeek-VL-7B).
• الحقيقة الجيومكانية: مجموعة بيانات NWPU-RESISC45 (نماذج SkySenseGPT-7B, EarthDial).

النتائج الرئيسية:

• استعادة التأسيس: نجح BAIR في استعادة البروز البصري وتقليل معدل التدهور (DR) — وهو نسبة التنبؤات التي كانت صحيحة في البداية وتدهورت بسبب RAG — عبر جميع النماذج ومجموعات البيانات.
• تحسين نسبة التصحيح إلى التدهور: بينما غالباً ما يحسن RAG القياسي معدل التصحيح (CR) على حساب معدل تدهور (DR) مرتفع، فإن BAIR يحسن نسبة CR/DR بشكل كبير. على سبيل المثال، في مجموعة بيانات FACET مع نموذج Qwen2.5-VL-7B، أدى تطبيق BAIR على RAG القياسي إلى زيادة نسبة CR/DR من 4.92 إلى 10.84.
• التكامل: يعمل BAIR كطبقة معايرة يمكن دمجها فوق طرق التدخل الحالية (مثل LongLLMLingua, MS-PoE, MAD-RAG)، حيث يغير باستمرار مسارات أدائها نحو دقة أعلى وتدهور أقل.
• الكفاءة: يضيف BA_IR عبئاً حسابياً ضئيلاً (زيادة في وقت التشغيل بنسبة 5-10% تقريباً) ولا يزيد من استخدام ذاكرة وحدة معالجة الرسومات القصوى، لأنه يتجنب إعادة التدريب ويعمل فقط في وقت الاستنتاج.

الأهمية والادعاءات

تدعي الورقة أنها توفر تشخيصاً نقدياً وعلاجاً عملياً للثغرات الخفية في بنيات RAG متعددة الوسائط. تكمن أهميتها في:

1. صياغة "إعادة الفساد" (Recorruption): تحديد أن السياق الخارجي يمكن أن يقلل الأداء بشكل متناقض من خلال تجاوز الإدراكات البصرية الصحيحة، وهي ظاهرة متميزة عن الهلوسة القياسية.
2. كشف "وهم النجاح": إثبات أن مقاييس دقة RAG العالية يمكن أن تكون مضللة، وغالباً ما تنبع من المصادفات الموقعية بدلاً من الفهم الحقيقي متعدد الوسائط.
3. تدخل خالٍ من المعلمات: تقديم حل خفيف الوزن وغير مرتبط ببنية معينة (BAIR) يستعيد التأسيس البصري ويقمع التحيز النصي دون تكلفة إعادة تدريب النموذج أو الضبط الدقيق.

يؤكد المؤلفون أنه بينما يحسن BAIR الموثوقية، فإنه يظل أداة مساعدة. في المجالات عالية المخاطر مثل الطب، لا ينبغي أن يحل محل الحكم السريري البشري، ويتطلب نشره إشرافاً بشرياً وضوابط سلامة خاصة بالمجال.