SchröMind: Mitigating Hallucinations in Multimodal Large Language Models via Solving the Schrödinger Bridge Problem

ملخص تقني: SCHRÖMIND

Schrömind هو إطار عمل مبتكر مصمم للحد من هلاوس الكائنات في النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs). وهو يبتعد عن متجهات التوجيه التقليدية التي تتبع مبدأ "النمط الواحد للجميع"، وبدلاً من ذلك، يعامل الحد من الهلاوس كمسألة محاذاة توزيع على مستوى الرمز (token-level).

١. المشكلة: الهلوسة على مستوى الرمز (Token-Level)

بينما تستطيع النماذج اللغوية الكبيرة متعددة الوسائط إدراك الصور، إلا أنها غالباً ما تولد نصوصاً تتعارض مع المدخلات البصرية (الهلوسة). يحدد المؤلفون مشكلتين جوهريتين:

• الاعتماد المفرط على الأولويات (Priors): غالباً ما تتبع النماذج الانحيازات اللغوية بدلاً من الأدلة البصرية.
• التدخل غير الكافي: طرق "هندسة التنشيط" الحالية تطبق اتجاهاً توجيهياً موحداً لجميع الرموز في رأس انتباه واحد (attention head). ويرى المؤلفون أن هذا تبسيط مفرط لأن تنشيط كل رمز يشغل موقعاً فريداً في المتشعب (manifold)؛ فلا يمكن لمتجه واحد أن يصحح بدقة كل حالة هلوسة متميزة دون الإضرار بسلاسة النموذج أو التماسك الدلالي.

٢. المنهجية: نهج جسر شرويدنجر (Schrödinger Bridge Approach)

الابتكار الجوهري لـ Schrömind هو صياغة تصحيح التنشيطات كمسألة نقل أمثل (Optimal Transport - OT).

• رسم خرائط المتشعب (Manifold Mapping): يحدد إطار العمل توزيعين: المتشعب الهلوسي ($P_{hallu}$) والمتشف الموثوق ($P_{fact}$). الهدف هو رسم خريطة من $P_{hallu}$ إلى $P_{fact}$ بأقل "تكلفة نقل" (أقل قدر من التغيير في التنشيط الأصلي).
• مسألة جسر شرويدنجر (SBP): لتحقيق ذلك، يحل المؤلفون مسألة SBP، التي تجد المسار الأكثر كفاءة (عملية انتشار/diffusion) بين توزيعين احتماليين. وهذا يكافئ رياضياً النقل الأمثل المنظم بالإنتروبيا (EOT).
• التدخل الشخصي (Personalized Intervention): على عكس الطرق الثابتة، يستمد Schrömind اتجاهات تدخل خاصة بكل رمز. فهو يستخدم حلاً مغلق الصيغة يتضمن "جهود شرويدنجر" (يتم تقريبها عبر مجموعات غاوس المختلطة) لحساب حد الانجراف $g^*(a, t)$. يقود هذا الانجراف تنشيط كل رمز بشكل فردي عبر مسار سلس ومثالي نحو المتشعب الموثوق.
• خط إنتاج ثنائي المراحل:
  1. التحديد: يستخدم مصنفات الانحدار اللوجستي لتحديد رؤوس الانتباه المحددة الأكثر حساسية للهلاوس.
  2. التوجيه: يطبق حد الانجراف المستمد من SBP على تنشيطات تلك الرؤوس المختارة أثناء الاستدلال. يمكن تطبيق ذلك على مستوى الصورة (عالمي) أو مستوى الكائن (محلي) لضمان التصحيح القوي.

٣. المساهمات الرئيسية

• الدقة على مستوى الرمز: أول طريقة تتجاوز متجهات التوجيه العالمية إلى تصحيح التنشيط المخصص لكل رمز.
• الإطار الرياضي: يقدم استخدام مسألة جسر شرويدنجر للحد من هلاوس النماذج اللغوية الكبيرة متعددة الوسائط.
• الكفاءة: نهج "يعمل بمجرد التوصيل" (plug-and-play) لا يتطلب سوى دقائق من التدريب الخفيف ولا يضيف عبئاً حسابياً ضئيلاً أثناء الاستدلال.
• القدرة المزدوجة (Dual Granularity): يوفر استراتيجيات تدخل لكل من مستوى الصورة ومستوى الكائن لتغطية أنواع مختلفة من الأخطاء البصرية.

٤. النتائج والأداء

تم تقييم إطار العمل على اثنين من المعايير الرئيسية: POPE (لهلاوس الكائنات) و MME (للإدراك/المعرفة متعدد الوسائط الشامل).

• معيار POPE: حقق Schrömind أداءً رائدًا (SOTA) على نماذج LLaVA-1.5-7B و Qwen2.5-VL-7B. والجدير بالذكر أنه تفوق بشكل كبير على الطريقة السابقة الرائدة (ICT)، خاصة في الإعدادات الخصمية (Adversarial) (حيث تكون النماذج أكثر عرضة للخطأ)، حيث حافظ باستمرار على درجات F1 فوق 80%.
• معيار MME: أظهر النموذج مكاسب كبيرة في مهام الإدراك، وتحديداً في إدراك الموقع، والعد، واللون، بالإضافة إلى المهام المعرفية مثل الاستدلال المنطقي الشائع (CSR).
• نجاح الاختبار الاستئصالي (Ablation Success): أكدت التجارب أن الجمع بين تدخلات مستوى الصورة ومستوى الكائن يوفر تأثيراً تآزرياً يتفوق على استخدام أي منهما بشكل منفصل.

٥. الأهمية

يمثل Schrömind تحولاً في كيفية مقاربتنا لمحاذاة النماذج. فمن خلال معاملة الهلوسة كـ إزاحة توزيعية وليس مجرد خطأ يجب "دفعه" في اتجاه معين، فإنه يسمح بتصحيحات دقيقة للغاية. وهذا يجعله ذا أهمية خاصة في المجالات الحرجة للسلامة (مثل الرعاية الصحية، والقيادة الذاتية) حيث تكون تكلفة الهلوسة عالية، لكن الحاجة إلى سلاسة النموذج وقدراته الأصلية تظل بالغة الأهمية.