💻 computer science

MHSA: A Lightweight Framework for Mitigating Hallucinations via Steered Attention in LVLMs

تقترح الورقة البحثية إطار عمل MHSA، وهو إطار عمل خفيف الوزن يقلل من الهلوسة في النماذج اللغوية الرؤية الضخمة عن طريق تدريب طبقة MLP بسيطة لتوليد أنماط انتباه متقاطلة المصادر مصححة، مما يتيح تقليل الهلوسة عبر مجموعات بيانات متنوعة دون تعديل معاملات النموذج الأساسي.

المؤلفون الأصليون: Wei Ding, Yilin Li, Yudong Zhang, Ruobing Xie, Xingwu Sun, Jiansheng Chen, Yu Wang

نُشر 2026-05-15

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Wei Ding, Yilin Li, Yudong Zhang, Ruobing Xie, Xingwu Sun, Jiansheng Chen, Yu Wang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك أمين مكتبة ذكي جداً ومطلع (الذكاء الاصطناعي) يمكنه النظر إلى صورة وإخبارك بقصة عنها. هذا الأمين موهوب للغاية، لكن لديه عادة سيئة: أحياناً، من شدة حماسه أو ثقته بنفسه، يبدأ في اختراع تفاصيل ليست موجودة في الصورة أصلاً. قد يقول مثلاً: "أرى دراجة حمراء"، بينما الصورة في الواقع لحديقة هادئة لا توجد بها أي دراجات. وهذا ما يسمى بـ "الهلوسة" (Hallucination).

تقدم لك هذه الورقة البحثية أداة جديدة تسمى MHSA (تخفيف الهلوسة عبر الانتباه الموجه) لإصلاح هذه المشكلة دون طرد أمين المكتبة أو إعادة تدريبه من الصفر.

إليك كيف يعمل نظام MHSA، باستخدام تشبيهات بسيطة:

1. المشكلة: "نظرة" أمين المكتبة

عندما ينظر أمين المكتبة إلى صورة للإجابة على سؤال ما، فإنه لا ينظر إلى الصورة بأكملها دفعة واحدة. بل يركز "نظرة" (تسمى الانتباه - Attention) على أجزاء محددة من الصورة ليقرر ما سيقوله.

المشكلة: عندما يهلوس أمين المكتبة، تكون نظرته غالباً "متذبذبة" أو تنظر إلى الأشياء الخطأ. على سبيل المثال، إذا قال "أرى كلباً"، فقد تكون نظرته تنحرف نحو بقعة من العشب تبدو وكأنها كلب، بدلاً من التركيز على كلب حقيقي.
المحاولات السابقة: قبل هذه الورقة، حاول الباحثون بناء "حارس أمن" (كاشف) لرصد متى يكذب أمين المكتبة. لكن الحارس كان يستطيع فقط قول: "مهلاً، أنت تهلوس!"، ولم يكن بإمكانه إصلاح نظرة أمين المكتبة في الوقت الفعلي. أما الطرق الأخرى، فقد حاولت إجبار أمين المكتبة على النظر بجدية أكبر باستخدام قواعد جامدة، لكن هذه القواعد كانت تشبه محاولة قيادة سيارة بعجلة قيادة مكسورة؛ فهي صلبة جداً وغير قابلة للتكيف.

2. الحل: "عجلة القيادة" (MHSA)

يعمل نظام MHSA مثل عجلة قيادة ذكية وخفيفة الوزن متصلة بنظرة أمين المكتبة. هو لا يستبدل أمين المكتبة، بل يقوم فقط بتوجيه عينيه بلطف في الاتجاه الصحيح عندما تبدأ في التيه.

إليك العملية خطوة بخرجة:

الخطوة 1: الفحص (حارس الأمن): قبل أن يعطي أمين المكتبة إجابته النهائية، يقوم "حارس أمن" صغير مدرب مسبقاً (يعتمد على بحث سابق يسمى DHCP) بمسح سريع لنظرة أمين المكتبة الحالية. ويسأل: "هل ينظر أمين المكتبة إلى الأشياء الصحيحة، أم أنه يخترع أشياء من خياله؟"
الخطوة 2: التوجيه (المولد): إذا قال الحارس: "نعم، إنه يهلوس"، يتدخل برنامج حاسوبي صغير وسريع (عبارة عن "عقل" بسيط مكون من ثلاث طبقات يسمى المولد).
- فكر في هذا المولد كأنه مدرب تصحيح. فهو ينظر إلى نظرة أمين المكتبة المتذبذبة ويحسب تعديلاً طفيفاً.
- هو لا يعيد كتابة القصة بأكملها، بل يكتفي بتحريك النظرة قليلاً حتى تستقر على الشيء الفعلي الموجود في الصورة.
الخطوة 3: التصحيح: يتم "توجيه" نظرة أمين المكتبة إلى المكان الجديد والصحيح، ومن ثم يعطي إجابته بناءً على ما يراه حقاً الآن.

3. لماذا هذا الأمر مميز؟

تسلط الورقة الضوء على ثلاث مزايا رئيسية لهذا النهج:

إنه خفيف الوزن (نهج "الإضافة"): تخيل أن لديك مبنى مكتبة ضخم ومكلف (نموذج الذكاء الاصطناعي الكبير). لست بحاجة لهدمه وإعادة بنائه. MHSA يشبه إضافة كشك صغير ومحمول عند المدخل؛ فأنت تدرب مساعداً صغيراً وبسيطاً لإصلاح النظرة، مما يترك المكتبة الضخمة دون مساس. هذا يوفر قدراً هائلاً من الوقت والمال.
إنه يتعلم، ولا يكتفي بالتخمين: الطرق القديمة استخدمت قواعد ثابتة (مثل "انظر دائماً إلى المركز"). أما MHSA فهو مختلف؛ فهو يتعلم كيفية إصلاح النظرة من خلال مشاهدة آلاف الأمثلة لـ "النظرات السيئة" و"النماذج الجيدة". إنه يتكيف مع الخطأ المحدد الذي يرتكبه أمين المكتبة في تلك اللحظة.
يعمل في مهام "نعم/لا" وفي سرد القصص:
- المهام التمييزية: إذا سألت: "هل هناك طائرة؟"، يساعد MHSA أمين المكتبة ليقول "لا" بشكل صحيح إذا لم تكن موجودة.
- المهام التوليدية: إذا طلبت من أمين المكتبة كتابة قصة عن الصورة، يساعده MHSA على تجنب اختراع تفاصيل (مثل "معلبات" ليست موجودة) أثناء كتابة القصة، كلمة بكلمة.

4. النتائج

اختبر الباحثون "عجلة القيادة" هذه على أنواع مختلفة من أمناء المكتبة الأذكياء (نماذج ذكاء اصطناعي مثل Qwen وInternVL وLLaVA).

النتيجة: ارتكب أمناء المكتبة أخطاءً أقل بكثير. لقد توقفوا عن اختراع أشياء لم تكن موجودة، وبدأوا في ملاحظة أشياء كانوا يتجاهلونها سابقاً.
المقايضة: النظام فعال للغاية لدرجة أنه يضيف تأخيراً طفيفاً جداً (حوالي 0.4 من السرعة العادية) لأنه "يوجه" النظرة فقط عند اكتشاف مشكلة. في معظم الأوقات، يكون أمين المكتبة ينظر بالفعل في المكان الصحيح، لذا تظل عجلة القيادة في وضع الخمول.

ملخص

باختصار، MHSA هو إضافة ذكية ومنخفضة التكلفة تعمل بمثابة مصحح نظرة في الوقت الفعلي للذكاء الاصطناعي. بدلاً من إجبار الذكاء الاصطناعي على تعلم كل شيء من الصفر، فإنه يوجه انتباهه بلطف للعودة إلى الواقع كلما بدأ في أحلام اليقظة، مما يجعل الذكاء الاصطناعي أكثر موثوقية وجدارة بالثقة دون الحاجة إلى عملية إصلاح شاملة وضخمة.

ملخص تقني: MHSA – إطار عمل خفيف الوزن للتخفيف من الهلوسة عبر توجيه الانتباه في نماذج اللغات والرؤية الكبيرة (LVLMs)

1. بيان المشكلة

أظهرت نماذج اللغات والرؤية الكبيرة (LVLMs) قدرات استثنائية في المهام متعددة الوسائط مثل الإجابة على الأسئلة البصرية (VQA) ووصف الصور. ومع ذلك، فهي تعاني من الهلوسة، حيث تولد محتوى غير متسق مع المدخلات البصرية أو غائب عنها. وتتجلى هذه الهلوسة في شكل أخطاء في الكائنات، أو الصفات، أو العلاقات، مما يقوض موثوقية النموذج بشكل خطير.

تواجه استراتيجيات التخفيف الحالية قيوداً كبيرة:

الطرق القائمة على التدريب (مثل RLHF، أو الضبط التعليمي): تتطلب موارد حوسبة هائلة وبيانات مشروحة عالية الجودة، وغالباً ما تكون التحسينات مرتبطة بتوزيعات تدريب محددة.
طرق وقت الاستنتاج: تعتمد غالباً على قواعد استدلالية ثابتة ومصنوعة يدوياً (مثل دوال الجزاء، أو إعادة الوزن الثابتة) التي تفشل في التكيف مع بصمات الهلوسة الخاصة بكل عينة مدخلات على حدة.
نهج فك التشفير التبايني (مثل VCD وICD): تضاعف تكاليف الاستنتاج عادةً لأنها تتطلب عمليات تمرير أمامي متعددة.

لقد أثبت العمل الأخير، DHCP (كشف الهلوسة عبر نمط الانتباه عبر الوسائط)، أن العينات المهلوسة وغير المهلوسة تظهر أنماط انتباه عبر الوسائط متميزة. ومع ذلك، يقتصر DHCP على الكشف فقط ويعمل بشكل أساسي على مستوى الجملة، ولا يقدم أي آلية لـ التخفيف.

2. المنهجية: إطار عمل MHSA

يقترح المؤلفون MHSA (التخفيف من الهلوسة عبر توجيه الانتباه)، وهو إطار عمل خفيف الوزن وخالٍ من التدريب، يسد الفجوة بين الكشف والتخفيف من خلال تعلم تصحيح أنماط الانتباه عبر الوسائط.

البنية الأساسية

يعمل MHSA عبر مسار "كشف ثم تصحيح" يتكون من مرحلتين دون تعديل معاملات نموذج (LVLM) الأساسي:

المميز (Discriminator - $D$ ): عبارة عن طبقة MLP خفيفة الوزن مكونة من طبقتين (مستمدة أصلاً من DHCP) تعمل ككاشف على مستوى الرمز (token). تقوم بتحليل أوزان الانتباه عبر الوسائط لتحديد أنماط الهلوسة.
المولد (Generator - $G$ ): عبارة عن طبقة MLP خفيفة الوزن مكونة من ثلاث طبقات تأخذ تنسور الانتباه عبر الوسائط الأصلي ( $A$ ) كمدخل وتنتج حد التصحيح ( $\Delta A$ ).
آلية التوجيه (Steering Mechanism): يتم حساب الانتباه المصحح كـ $A' = A + \Delta A$ . أثناء الاستنتاج، إذا اكتشف المميز ( $D$ ) وجود هلوسة، يقوم المولد ( $G$ ) بإنشاء $\Delta A$ ، ويستخدم النموذج ( $LVLM$ ) التنسور $A'$ بدلاً من $A$ لإنتاج المخرج النهائي.

أهداف التدريب

يتم تدريب المولد $G$ باستخدام هدف مكون من ثلاثة عناصر لضمان تصحيح فعال ومستقر:

خسارة التوجيه بواسطة المميز ( $\mathcal{L}_{dg}$ ): خسارة تنافسية تشجع المولد على تحويل أنماط الانتباه المهلوسة إلى أنماط غير مهلوسة، كما يحددها المميز $D$ .
خسارة التنظيم ( $\mathcal{L}_{reg}$ ): قيد على مقدار $\Delta A$ ( $\|\Delta A\|_2^2$ ) لضمان أن تكون التصحيحات دنيا وموضعية، مما يحافظ على دلالات الانتباه الأصلية ويمنع حدوث تشوهات.
خسارة جودة مخرج الـ LVLM ( $\mathcal{L}_{LVLM}$ ): خسارة التقاطع المتوافق (cross-entropy) تضمن أن يحافظ الانتباه المصحح على جودة مخرجات الـ LVLM أو يحسنها مقابل الحقيقة الأرضية (ground truth).

التكيف مع المهام التوليدية

بينما كان DHCP يعمل في الأصل على مستوى الجملة، يوسع MHSA هذا المفهوم ليشمل التصحيح على مستوى الرمز للمهام التوليدية (مثل وصف الصور).

يتم تدريب المميز والمولد على تنسورات الانتباه عبر الوسائط لكل رمز مستخرجة أثناء عملية وصف الصور.
أثناء الاستنتاج، يقيم النظام الانتباه عند كل خطوة فك تشفير. إذا تم وسم نمط انتباه رمز معين كنمط مهلوس، يقوم المولد بتطبيق تصحيح قبل أخذ عينة ذلك الرمز.

3. المساهمات الرئيسية

أول إطار عمل للتخفيف القائم على البيانات: يعد MHSA أول إطار عمل يخفف من هلوسة الـ LVLM من خلال تعلم تصحيحات متكيفة مع العينة لأنماط الانتباه عبر الوسائط، متجاوزاً بذلك قواعد الاستدلال الثابتة.
التوسع إلى مستوى الرمز: وسع المؤلفون الكشف القائم على الانتباه من مستوى الجملة إلى مستوى الرمز، مما مكن من التخفيف في كل من المهام التمييزية (VQA) والمهام التوليدية (وصف الصور).
خفيف الوزن وفعال: لا يعدل الإطار معاملات الـ LVLM الأساسية. فهو يدرب فقط مولد MLP صغيراً ويستخدم مميزًا مدربًا مسبقًا، مما يضيف عبئًا حسابيًا هامشيًا مقار بتكلفة استنتاج الـ LVLM.
تقييم شامل: تم التحقق من الطريقة عبر نماذج متعددة من أحدث التقنيات (Qwen2.5-VL, InternVL2, LLaVA-v1.5) ومجموعات بيانات متنوعة (MSCOCO, Objects365, OpenImages, Flickr30k).

4. النتائج التجريبية

المهام التمييزية (اختبار POPE)

الأداء: يحقق MHSA تحسينات ثابتة وكبيرة في درجات F1 عبر جميع النماذج ومجموعات البيانات المختبرة. على سبيل المثال، في نموذج Qwen2.5-VL-7B مع MSCOCO، حسن MHSA درجة F1 بمقدار +7.42 نقطة (من 85.55 إلى 92.97) والاستدعاء (Recall) بمقدار +15.78 نقطة.
التعميم: تظهر الطريقة قدرة قوية على التعميم عبر بنيات النماذج ومجموعات البيانات المختلفة. والأهم من ذلك، أنها تظهر أداءً قويًا في حالة البيانات خارج التوزيع (OOD)؛ حيث تنجح النماذج المدربة على مجموعة بيانات واحدة (مثل Objects365) في التخفيف من الهلوسة بفعالية عند اختبارها على مجموعة أخرى (مثل COCO)، مما يشير إلى أن التصحيحات المتعلمة تلتقط بصمات الهلوسة الأساسية بدلاً من مج Kind artifacts الخاصة بمجموعة بيانات معينة.

المهام التوليدية (وصف الصور)

تقليل الهلوسة: في مجموعة بيانات Flickr30k، قلل MHSA من معدلات الهلوسة على مستوى الجملة ( $CHAIR_s$ ) وعلى مستوى العينة ( $CHAIR_i$ ) بنسبة 44% مع انخفاض طفيف فقط في الاستدعاء (3.9%).
الموازنة: نجحت الطريقة في الموازنة بين كبح الهلوسة والحفاظ على المحتوى، متجنبة الانخفاض الحاد في الاستدعاء الذي تشهده الطرق الاستدلالية الشرسة.

الكفاءة

زمن الاستجابة (Latency): يضيف MHSA زيادة في زمن الاستجابة الموزع قدرها 0.43× فقط في اختبار POPE-COCO. وذلك لأن المميز الخفيف يقوم بفحص جميع العينات، ويتم استدعاء المولد فقط للعينات القليلة التي تم وسمها كمهلوسة (حوالي 12.3% في بيئة POPE التنافسية). وهذا أكثر كفاءة بكثير من طرق فك التشفير التبايني التي تتطلب عبئًا ثابتًا قدره ~1.0× لكل عينة.

5. الأهمية والادعاءات

يزعم البحث أن MHSA يقدم منظورًا جديدًا لأبحاث الهلوسة من خلال توسيع آليات الانتباه عبر الوسائط من مجرد الكشف إلى التخفيف النشط.

الرؤية الميكانيكية: تؤكد التصورات (Visualizations) أن MHSA يعمل كآلية تصحيح مستهدفة؛ حيث يركز الانتباه على المناطق ذات الصلة بالمهمة ويقلل من الإنتروبيا المكانية، مما يؤدي فعليًا إلى "توجيه" النموذج بعيدًا عن أنماط الهلوسة دون إحداث اضطراب واسع في بنية الانتباه.
العملية: من خلال تجنب الضبط الدقيق الكامل للنموذج وتقليل عبء الاستنتاج، يمثل MHSA حلاً عمليًا وقابلاً للنشر لتعزيز موثوقية نماذج LVLM في التطبيقات الواقعية.
القيود: أشار المؤلفون إلى أنه بينما يحسن MHSA المقاييس بشكل كبير، فإنه ليس حلاً سحريًا؛ إذ يلزم إجراء المزيد من العمل لاستكشاف بنيات مولد أكثر تعبيرًا وتغطية أوسع للنماذج.

باختصار، يستفيد MHSA من الارتباط بين أنماط الانتباه والهلوسة لإنشاء إطار عمل خفيف الوزن وقائم على البيانات، يقلل بفعالية من الهلوسة في كل من المهام التمييزية والتوليدية لنماذج LVLM، متفوقًا على النهج الاستدلالية والتدريبية الحالية من حيث الكفاءة والقدرة على التعميم.