🤖 AI

Causal Decoding for Hallucination-Resistant Multimodal Large Language Models

تقترح هذه الورقة إطار عمل للفك المسبب (causal decoding) يتدخل أثناء عملية التوليد لتخفيف الاعتمادات الزائفة، مما يقلل بفعالية من هلاوس الكائنات في النماذج اللغوية الكبيرة متعددة الوسائط مع الحفاظ على جودة وصفية عالية وتحقيق أعلى مستويات الأمانة (state-of-the-art faithfulness).

المؤلفون الأصليون: Shiwei Tan, Hengyi Wang, Weiyi Qin, Qi Xu, Zhigang Hua, Hao Wang

نُشر 2026-02-26

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Shiwei Tan, Hengyi Wang, Weiyi Qin, Qi Xu, Zhigang Hua, Hao Wang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مساعداً آلياً ذكياً جداً ومطلعاً واسع المعرفة يُدعى MLLM (نموذج لغوي كبير متعدد الوسائط). تعرض عليه صورة لبيتزا على طاولة وتسأله: "ماذا يوجد في هذه الصورة؟"

من الناحية المثالية، يجب أن يقول الروبوت: "أرى بيتزا على طبق".

ولكن أحياناً، يصبح هذا الروبوت مبدعاً أكثر من اللازم. ولأنه قرأ ملايين القصص عن حفلات البيتزا، قد يقول بثقة: "أرى بيتزا، وطبقاً، وسكين، وشوكة".

المشكلة هي أنه لا يوجد سكين أو شوكة في الصورة. الروبوت هنا يهلوس. إنه يخترع أشياء ليست موجودة لأنه يعتمد كثيراً على ما يتوقعه بناءً على الكلمات التي كتبها للتو، بدلاً من الاعتماد على ما يراه فعلياً.

تقدم هذه الورقة البحثية طريقة جديدة تسمى COAD (فك التشفير القائم على الوعي السببي بالأشياء) لإصلاح هذه المشكلة. وإليك كيف تعمل، مشروحة ببساطة.

المشكلة: تأثير "غرفة الصدى"

فكر في عقل الروبوت كأنه غرفة صاخبة.

الصورة: تعرض على الروبوت صورة لبيتزا.
النص: يبدأ الروبوت في الكتابة: "قطعة من البيتزا..."
الخلل: بمجرد كتابة كلمة "بيتزا"، يبدأ عقله بالتفكير في "حفلات البيتزا". يبدأ بتخيل سكين وشوكة، رغم عدم وجودهما في الصورة. ثم يكتب: "...مع سكين وشوكة".

الروبوت محاصر في غرفة صدى. هو يسمع كلماته السابقة ("بيتزا") ويفترض أنها يجب أن يتبعها كلمات أخرى مرتبطة بالبيتزا ("سكين")، متجاهلاً الدليل البصري الفعلي. الأمر يشبه شخصاً يروي قصة، فيندمج في الحبكة لدرجة أنه يخترع شخصيات لم تظهر أبداً في القصة.

الحل: COAD (الروبوت "مدقق الحقائق")

قام المؤلفون ببناء نظام يسمى COAD لإيقاف هذا. يستخدمون حيلتين رئيسيتين: المحقق والمسافر عبر الزمن.

1. المحقق (كاشف الأشياء)

قبل أن يبدأ الروبوت في كتابة قصته، يستعين COAD بـ محقق متخصص (أداة كشف الأشياء).

ينظر المحقق إلى الصورة ويقول: "أرى بيتزا. أرى طبقاً. أنا لا أرى سكيناً. أنا لا أرى شوكة".
تُقدم هذه القائمة من الحقائق إلى الروبوت كقاعدة صارمة.

2. المسافر عبر الزمن (الاستدلال السببي)

هذا هو الجزء الذكي. عادة ما يكتب الروبوت قصته كلمة بكلمة. إذا كتب "بيتزا"، فقد يغتر بكتابة "سكين" تالياً.

الروبوت العادي: "أرى بيتزا... ربما سكين؟" (هو يخمن بناءً على ذاكرته).
روبوت COAD: يستخدم النظام حيلة رياضية تسمى الاستدلال السببي. هو يسأل الروبوت جوهرياً: "إذا أزلنا تأثير الكلمات التي كتبتها للتو، ونظرنا فقط إلى قائمة المحقق والصورة، فماذا ستقول؟"

الأمر يشبه سؤال شاهد في قاعة المحكمة: "تجاهل ما قاله لك المحامي للتو. بناءً على ما رأيته بعينيك فقط، ماذا حدث؟"

من خلال "قطع السلك" بين تخمينات الروبوت السابقة وتخمينه التالي، يجبر COAD الروبوت على الاعتماد على قائمة المحقق (الحقيقة البصرية) بدلاً من خيال الروبوت نفسه (صدى النص).

كيف يعمل الأمر في الممارسة العملية

تخيل أنك تكتب قصة عن شاطئ.

بدون COAD: تكتب "الشمس حارة". عقلك يفكر: "الشمس الحارة تعني شاطئاً"، لذا تكتب "هناك لوح تزلج". ولكن مهلاً، لا يوجد لوح تزلج في الصورة! لقد هلوست للتو لأن "الشمس" و"لوح التزلج" غالباً ما يجتمعان في بيانات تدريبك.
مع COAD:
1. المحقق يفحص الصورة ويقول: "شمس: نعم. لوح تزلج: لا".
2. النظام السببي يتدخل. يخبر الكاتب: "توقف عن التخمين بناءً على كلمة 'شمس'. انظر إلى ملاحظة المحقق. الملاحظة تقول 'لا يوجد لوح تزلج'. لذلك، لا تكتب 'لوح تزلج'".
3. الكاتب يقول: "الشمس حارة. الرمال ذهبية". (دقيق وصادق).

النتائج

اختبر الباحثون هذا على العديد من الصور والأسئلة المختلفة.

الطريقة القديمة: كان الروبوت يخترع أشياء (مثل السكين والشوكة) في حوالي 30% من الحالات في بعض الاختبارات.
طريقة COAD: كان الروبوت يخترع أشياء في أقل من 6% من الحالات.

إنه يشبه أخذ قاصّ يحب اختلاق الأمور وإعطائه محرراً صارماً يمسك عدسة مكبرة فوق الصورة، لضمان أن كل كلمة تطابق الواقع.

لماذا هذا مهم

هذا أمر بالغ الأهمية للاستخدامات في العالم الحقيقي.

الطب: إذا نظر روبوت إلى صورة أشعة سينية، فلا ينبغي له أن يخترع عظمة مكسورة ليست موجودة.
القانون: إذا وصف روبوت صورة لمسرح جريمة، فلا ينبغي له أن يهلس بسلاح لم يكن موجوداً.

COAD لا يكتفي فقط بـ "المحاولة بجهد أكبر" ليكون دقيقاً؛ بل يغير كيفية تفكير الروبوت. إنه يجبر الروبوت على التوقف عن الاستماع إلى ثرثرته الداخلية والبدء في الاستماع إلى الدليل البصري، مما يجعله مساعداً أكثر موثوقية.

إليك ملخص تقني مفصل لورقة البحث بعنوان "Causal Decoding for Hallucination-Resistant Multimodal Large Language Models" (COAD).

1. بيان المشكلة

تتفوق النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs)، مثل LLaVA وMiniGPT، في مهام الرؤية واللغة، لكنها تعاني بشكل كبير من هلوسة الأشياء (object hallucination). يحدث هذا عندما تولد النماذج أوصافاً تحتوي على أشياء غير موجودة في الصورة المدخلة (على سبيل المثال، وصف "شوكة" في حين أن "سكين" فقط هي المرئية).

السبب الجذري: تجادل الورقة بأن الهلوسة تنشأ عن الارتباطات الزائفة (التداخل/confounding) في عملية فك التشفير (decoding). وتحديداً، تصبح الحالات الخفية ( $z$ ) للنموذج المتعلقة بوجود الأشياء متشابكة مع النص المولد سابقاً ( $x$ ). إذا ولد النموذج كلمة مثل "سكين"، فقد يستنتجت الحالة الخفية بشكل زائف وجود "شوكة" (وهو اقتران شائع في بيانات التدريب) بدلاً من الاعتماد فقط على الدليل البصري ( $S$ ).
قصور الأعمال السابقة: تندرج الحلول الحالية ضمن فئتين:
1. المعرفة الخارجية: الاعتماد على الاسترجاع أو بيانات تدريب إضافية، وهو أمر مكلف من حيث الموارد وليس ممكناً دائماً.
2. تعديلات فك التشفير الداخلية: طرق مثل OPERA أو VCD أو DoLa التي تعدل الانتباه (attention) أو اللوغاريتمات (logits). غالباً ما تفشل هذه الطرق في نمذجة التأثير السببي الحقيقي من الصورة إلى الاستجابة، مما يترك النموذج عرضة لتأثير "التداخل" الناتج عن نصه المولد الخاص.

2. المنهجية: فك التشفير السببي الواعي بالأشياء (COAD)

يقترح COAD إطار عمل يدمج الاستدلال السببي مباشرة في عملية فك التشفير لكسر الرابط الزائف بين النص المولد والاعتقادات حول الأشياء المهلوسة.

أ. الإطار السببي

يصيغ المؤلفون عملية فك تشفير MLLM باستخدام رسم بياني سببي حيث:

$S$ : الصورة المدخلة.
$x$ : النص المولد سابقاً.
$z$ : اعتقاد النموذج الداخلي حول وجود الأشياء (متغير خفي).
$y$ : الرمز التالي المراد التنبؤ به.

في نماذج MLLM القياسية، يتأثر $z$ بكل من $S$ و $x$ . وهذا يخلق "مساراً خلفياً" (backdoor path) حيث $x \to z \to y$ ، مما يسبب هلوسة النموذج للأشياء بناءً على سياق النص بدلاً من الواقع البصري. يهدف COAD إلى تقدير التوزيع التدخلي $P(y | do(x), z) $، مما يؤدي فعلياً إلى حجب تأثير$ x $على استنتاج$ z$.

ب. المكونات الأساسية

كاشف الأشياء كوكيل (Proxy):
يُستخدم كاشف أشياء خارجي (مثل RTMDet) لتحديد الأشياء في الصورة $S وإخراج توزيع احتمالي$ D(S) $. يعمل هذا كوكيل لمتغير الاعتقاد بالشيء$ z $(الحقيقة الأرضية)، مما يضمن اعتماد$ z $فقط على$ S $وليس على$ x$.
بنية النموذج المزدوج:
- النموذج المدرب مسبقاً ( $M_p$ ): هو نموذج MLLM القياسي الذي يولد الرموز بناءً على $x$ و $S$ .
- النموذج المضبوط بدقة ( $M_f$ ): نسخة من $M_p$ تم ضبطها بدقة لتقبل متجه الأشياء $z$ (من الكاشف) كمدخل إضافي إلى جانب $x$ و $S$ . هذا يجبر النموذج على تعلم ربط تنبؤاته بالقيود الصريحة للأشياء.
الأوراكل الافتراضي ونموذج الخليط:
يقدم المؤلفون نموذج "أوراكل" (Oracle) افتراضياً ( $M^*$ ) يتنبأ بدقة بالرمز التالي بمعلومية $x, S,$ و $z$ الحقيقي. ويفترضون أن النموذج المضبوط بدقة $M_f$ هو خليط احتمالي من الأوراكل ( $M^*$ ) والنموذج المدرب مسبقاً ( $M_p$ ):
$y_f \approx \gamma \cdot y^* + (1-\gamma) \cdot y_p$
حيث $\gamma$ هو معامل الخلط.
الاستدلال السببي وصيغة فك التشفير:
من خلال تطبيق حسابات $do$ (do-calculus) وإعادة ترتيب معادلة الخليط، يستنتج COAD حلاً مغلق الشكل لتقدير تنبؤ الأوراكل ( $y^*$ )، والذي يمثل المخرجات الخالية من الهلوسة:
$P(y^* | S, do(x)) = (1 + \alpha) \sum_z P(z|S) P(y_f | S, x, z) - \alpha P(y_p | S, x)$

$\alpha$ هو معلمة فائقة (hyperparameter) مشتقة من التوزيع القبلي لـ $\beta$ (Beta distribution) لـ $\gamma$ .
يتم تقريب الحد $\sum_z P(z|S) P(y_f | S, x, z)$ باستخدام احتمالات كاشف الأشياء (إما عبر أخذ عينات مونت كارلو أو الحقن المباشر للاحتمالات).
تعمل هذه الصيغة فعلياً على طرح التأثير "الزائف" للنموذج المدرب مسبقاً ( $y_p$ ) وتضخيم الإشارة "المتجذرة" من النموذج المضبوط بدقة ( $y_f$ ).

3. المساهمات الرئيسية

الصياغة السببية: أول عمل يصيغ هلوسة الأشياء صراحة كمسألة تداخل في فك تشفير MLLM ويقترح تدخلاً سببياً ($do(x)$) لحلها.
إطار عمل COAD: استراتيجية فك تشفير مبتكرة تجمع بين كشف الأشياء وآلية دمج سببي ثنائية النموذج، دون الحاجة إلى استرجاع معرفة خارجية أثناء الاستدلال.
الاشتقاق النظري: يوفر اشتقاقاً رياضياً لتقريب تنبؤ "الأوراكل" باستخدام الكميات الملحوظة (مخرجات النموذج المدرب مسبقاً والمضبوط بدقة)، مما يسد الفجوة بين النظرية السببية والتطبيق العملي.
أداء رائد (State-of-the-Art): يثبت أن التدخلات السببية المستهدفة يمكن أن تتفوق بشكل كبير على تعديلات فك التشفير التجريبية وطرق المعرفة الخارجية.

4. النتائج التجريبية

قيم المؤلفون COAD مقابل نموذج LLaVA-1.5-7B ضد أفضل النماذج المرجعية (DoLa, PAI, OPERA, VCD, CAD, HALC, إلخ) عبر ثلاث اختبارات معيارية:

CHAIR (تقييم هلوسة الوصف):
- حقق COAD أدنى معدلات هلوسة: CHAIRI = 3.4 و CH-AIRS = 5.3.
- تفوق بشكل كبير على أفضل طريقة تالية (HALC: 5.2 CHAIRI, 11.1 CHAIRS)، مما قلل الهلوسة بفارق كبير.
- أظهر التحليل النوعي أن COAD نجح في كبح الأشياء غير الموجودة (مثل "الشوكة") مع الحفاظ على جودة الوصف.
MMHal-Bench (الأسئلة والأجوبة متعددة الوسائط):
- حقق COAD أعلى متوسط درجة (2.52) وأقل معدل هلوسة (0.52) عبر 8 أبعاد (السمات، العد، العلاقات المكانية، إلخ).
- أظهر قوة خاصة في مهام "الأشياء المعادية" (Adversarial Object) و"المقارنة"، مما يشير إلى المتانة ضد المطالبات المصممة لإحداث الهلوسة.
POPE (تقييم استقصاء الأشياء):
- في المجموعة الفرعية المعادية (Adversarial subset)، حقق COAD أعلى دقة (79.8) ودرجة F1 (81.2)، مما يدل على متانة فائقة تجاه المطالبات التي تخدع النماذج لإحداث الهلوسة.
الكفاءة:
- يتطلب COAD تشغيل نموذجين (المدرب مسبقاً + المضبوط بدقة) في كل خطوة، مما يؤدي إلى حوالي نصف إنتاجية النموذج الأساسي (~10.5 رمز/ثانية مقابل 24.4 رمز/ثانية).
- ومع ذلك، فهو أسرع بكثير من طرق التحسين التكرارية مثل OPERA (4.5 رمز/ثانية) ويماثل تعديلات فك التشفير الأخرى. عبء كشف الأشياء ضئيل (~0.1 ثانية لكل صورة).

5. الأهمية والخاتمة

تقدم هذه الورقة مساهمة كبيرة من خلال نقل نموذج الحد من الهلوسة من العقوبات التجريبية (heuristic penalties) إلى التدخل السببي.

الموثوقية: تثبت الورقة أن النمذجة الصريحة للعلاقة السببية بين المدخلات البصرية والاعتقادات حول الأشياء يمكن أن تقلل بشكل كبير من النتائج الإيجابية الكاذبة في MLLMs، وهي خطوة حاسمة للتطبيقات عالية الخطورة مثل التصوير الطبي أو القيادة الذاتية.
القابلية للتعميم: لا يعتمد النهج على قواعد بيانات خارجية ضخمة، مما يجعله قابلاً للتطبيق في البيئات ذات الموارد المحدودة أو الحساسة للخصوصية.
الاتجاهات المستقبلية: يقترح المؤلفون توسيع هذا الإطار السببي ليشمل أنواعاً أخرى من الهلوسة (السمات، العلاقات المكانية) ودمج كواشف مفتوحة المفردات (open-vocabulary) للتعامل مع نطاق أوسع من الأشياء.

باختصار، يقدم COAD حلاً مبدئياً ومبنياً على أسس رياضية لمشكلة "هلوسة الأشياء"، محققاً أداءً رائداً في الأمانة (faithfulness) دون التضحية بالقدرات التوليدية لنماذج MLLM.