💻 computer science

AFTER: Mitigating the Object Hallucination of LVLM via Adaptive Factual-Guided Activation Editing

تقترح الورقة البحثية إطار عمل AFTER، وهو إطار تعديل تنشيط تكيفي موجه بالحقائق يتكون من توجيه التنشيط المعزز بالحقائق وتحسين الإزاحة المتكيف مع الاستعلام، للحد بفعالية من هلوسات الكائنات في النماذج اللغوية البصرية الكبيرة من خلال توجيه التنشيطات المنحازة صراحةً نحو الدلالات الواقعية.

المؤلفون الأصليون: Tianbo Wang, Yuqing Ma, Kewei Liao, Zhange Zhang, Simin Li, Jinyang Guo, Xianglong Liu

نُشر 2026-03-12

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Tianbo Wang, Yuqing Ma, Kewei Liao, Zhange Zhang, Simin Li, Jinyang Guo, Xianglong Liu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك صديقاً ذكياً جداً، واسع الاطلاع، يحب النظر إلى الصور ووصفها لك. هذا الصديق هو ذكاء اصطناعي (تحديداً نموذج لغوي بصري ضخم - Large Vision-Language Model). إنه بارع في قراءة النصوص، ولكن عندما يتعلق الأمر بالنظر إلى الصور، فإنه أحياناً "يتشتت" بما يعتقد أنه يجب أن يراه، بدلاً مما هو موجود بالفعل.

تقدم هذه الورقة البحثية طريقة جديدة تسمى AFTER لإصلاح هذه المشكلة. إليك التفاصيل باستخدام تشبيهات بسيطة:

المشكلة: "الصديق الواثق بزيادة"

يعاني صديقك الذكي من عادة سيئة تسمى هلوسة الأشياء (Object Hallucation).

السيناريو: تعرض عليه صورة لرجل يجلس على مقعد ويحمل حقيبة ظهر.
الخطأ: لأن صديقك قد قرأ ملايين القصص عن "التزلج"، يقفز عقله إلى استنتاجات. يقول: "هذا لوح تزلج!" (رغم أنها حقيبة ظهر) أو "إنه يمسك بقفازين!" (رغم أنه يمسك بواحد فقط).
السبب: يعاني الصديق من الانحياز اللغوي (Language Bias). فهو يثق في مكتبته الداخلية من القصص النصية أكثر من ثقته في البكسلات الفعلية الموجودة في الصورة. إنه يشبه شخصاً يغمض عينيه ويخمن ما يوجد في الغرفة بناءً على إشاعة، بدلاً من فتح عينيه والنظر.

الحلول القديمة: "تغطية عيني" الصديق

حاولت الطرق السابقة إصلاح ذلك عن طريق إضعاف جودة الصورة.

التشبيه: تخيل أنك تأخذ الصورة، وتجعلها ضبابية، أو تضيف إليها ضجيجاً (static noise)، ثم تطلب من الصديق وصفها. كانت الفكرة هي: "إذا كانت الصورة غير واضحة، فسيُجبر الصديق على الاعتماد على الصورة بشكل أقل والاعتماد على المنطق بشكل أكبر".
العيب: هذا يشبه محاولة تعليم شخص القيادة عن طريق وضع عصابة على عينيه على أمل أن يتعلم الرؤية بشكل أفضل. إنه أمر مربك ولا يعلمه فعلياً ما هو حقيقي. إنه يتجاهل حقيقة أن الصديق كان بإمكانه أن يكون محقاً لو امتلك الحقائق الصحيحة فقط.

الحل الجديد: AFTER (دليل "مدقق الحقائق")

يقترح المؤلفون طريقة AFTER (التعديل التكيفي الموجه بالحقائق بصرياً ونصياً). فكر في هذا كمنح صديقك مدقق حقائق فائق الدقة ومدرباً شخصياً.

يعمل نظام AFTER في خطوتين:

الخطوة 1: "مدقق الحقائق" (التوجيه التنشيطي المعزز بالحقائق)

بدلاً من جعل الصورة ضبابية، يأخذ نظام AFTER الحقائق الحقيقية حول الصورة (مثل: "هناك حقيبة ظهر حمراء واحدة"، "الرجل يرتدي خوذة") ويحولها إلى جملة واضحة وصادقة.

التشبيه: تخيل أن صديقك على وشك التخمين. قبل أن يتحدث، يهمس مدقق الحقائق بالحقيقة في أذنه: "تذكر، الشيء الذي تراه هو حقيبة ظهر، وليس لوح تزلج".
كيف يعمل: يقوم الذكاء الاصطناعي بمقارنة حالته الذهنية "المهلوسة" (ما يريد قوله) مع الحالة الذهنية "الحقيقية" (ما هي الحقيقة). بعد ذلك، يحسب متجه تصحيح (correction vector) — وهو دفعة ذهنية تدفع عقل الصديق بعيداً عن الكذب ونحو الحقيقة.

الخطوة లో 2: "المدرب الشخصي" (تحسين الإزاحة المتكيف مع الاستعلام)

استخدمت الطرق القديمة نفس التصحيح لكل سؤال. لكن في بعض الأحيان، يحتاج الصديق إلى دفعة مختلفة بناءً على ما تسأله عنه.

التشبيه: إذا سألت: "ما لون السيارة؟"، يحتاج الصديق إلى دفعة تتعلق بـ اللون. وإذا سألت: "كم عدد الأشخاص هناك؟"، فإنه يحتاج إلى دفعة تتعلق بـ العد.
كيف يعمل: يمتلك AFTER مساعداً صغيراً وذكياً (مقدّر/estimator) ينظر إلى سؤالك المحدد. يقول: "حسناً، بالنسبة لهذا السؤال تحديداً، التصحيح القياسي ليس كافياً. لنضف دفعة إضافية هنا". هذا يجعل التصحيح دقيقاً ومخصصاً للحظة.

لماذا يعد هذا أمراً هاماً؟

إنه سريع: على عكس الطرق الأخرى التي تتطلب إعادة تدريب الدماغ بالكامل (وهو ما يستغرق أسابيع وأجهزة كمبيوتر عملاقة)، يقوم AFTER فقط بتعديل الإشارات الداخلية للدماغ في الوقت الفعلي. إنه يشبه إعطاء نقرة سريعة على الكتف بدلاً من إرسال الصديق إلى مدرسة لمدة عام كامل.
إنه دقيق: في الاختبارات، قلل هذا الأسلوب من الهلوسة بنسبة تصل إلى 16.3%. وهذا تحسن هائل.
يحافظ على المهارات الجيدة: في بعض الأحيان، عندما تصلح خطأ ما، قد تجعل الذكاء الاصطناعي أقل ذكاءً في أشياء أخرى عن طريق الخطأ. AFTER يصلح الأكاذيب دون أن يجعل الصديق ينسى كيف يكون مفيداً أو مبدعاً.

الملخص

فكر في AFTER كأنه نظام GPS صادق لذكاء اصطناعي يستمر في الضياع في خياله الخاص.

الطريقة القديمة: "إليك خريطة ضبابية؛ حاول أن تخمن أين أنت". (مربك وغير فعال).
طريقة AFTER: "إليك خريطة واضحة لمكان تواجدك بالفعل، وإليك دليل خطوة بخطوة مخصص لتعود إلى الطريق الصحيح".

من خلال استخدام الحقائق الفعلية للصورة لتوجيه أفكار الذكاء الاصطناعي الداخلية، يمنع AFTER الذكاء الاصطناعي من تأليف القصص ويساعده على قول الحقيقة عما يراه.

إليك ملخص تقني مفصل لورقة البحث "AFTER: Mitigating the Object Hallucination of LVLM via Adaptive Factual-Guided Activation Editing".

1. بيان المشكلة

حققت نماذج اللغة واللغة المرئية الكبيرة (LVLMs) تقدماً كبيراً، لكنها تعاني من هلوسة الأشياء (Object Hallucination)، حيث تولد النماذج استجابات تتعارض مع المدخلات المرئية (على سبيل المثال، تحديد حقيبة ظهر على أنها لوح تزلج، أو الخطأ في عد القفازات، أو هلوسة علاقات مثل "يمسك" بينما الشيء مجرد "يرتدي").

السبب الجذري: المحرك الأساسي هو الانحياز اللغوي (Language Bias). تميل نماذج LVLM إلى إعطاء الأولوية لمعرفتها النصية المدربة مسبقاً على حساب المدخلات المرئية الخارجية. عندما تتعارض المعلومات المرئية والنصية، يلجأ النموذج إلى الاحتمالات الإحصائية للغة (مثل: "الخوذات غالباً ما تُرتدى"، "القفازات تأتي في أزواج") بدلاً من الحقائق المرئية المحددة.
قصور الحلول الحالية:
- الطرق القائمة على التدريب: تتطلب إعادة تدريب مكلفة أو أهدافاً جديدة.
- طرق فك التشفير أثناء الاستدلال/الطرق التكرارية: تزيد من تكاليف الاستدلال وزمن التأخير (Latency).
- تعديل التنشيط السابق: تحاول طرق مثل VTI وICT توجيه التنشيطات عن طريق إضعاف المدخلات المرئية (مثل إضافة ضوضاء أو طمس) لخلق دلالات "غير موثوقة". ومع ذلك، فإنها تفشل في الاستفادة من التوجيه الإيجابي من الدلالات النصية الواقعية. فهي تفتقر إلى آلية لنمذجة الارتباطات المرئية-النصية الصحيحة صراحةً، مما يحد من قدرتها على مواجهة الانحياز اللغوي بفعالية.

2. المنهجية: AFTER

يقترح المؤلفون إطار عمل AFTER (التعديل التنشيطي التكيفي الموجه بالحقائق للمرئيات والنصوص) وهو إطار عمل لتعديل التنشيط أثناء الاستدلال يتكون من مرحلتين: توجيه التنشيط المعزز بالحقائق (FAS) وتحسين الإزاحة المتكيف مع الاستعلام (QAO).

أ. توجيه التنشيط المعزز بالحقائق (FAS)

يهدف FAS إلى إنشاء اتجاه توجيه إيجابي عام من خلال مقارنة المدخلات المرئية "غير الموثوقة" مع الدلالات النصية الواقعية "الموثوقة".

استخراج الحقائق وتحويلها لنصوص: بدلاً من إضعاف الصور، تقوم الطريقة باستخراج التوصيفات الصحيحة (الفئة، السمة، العلاقة) من مجموعة بيانات الصور (مثل COCO).
- الفئة (Category): تسميات الأشياء.
- السمة (Attribute): اللون، الشكل، والعدد (مشتقة من إحصائيات البكسل والتقسيم).
- العلاقة (Relation): العلاقات المكانية (مثل يسار، فوق) مشتقة من تقاطع صناديق الإحاطة (IoU).
توليد الوصف الواقعي: يقوم نموذج LVLM مساعد ( $F$ ) بدمج هذه الحقائق المنفصلة في وصف نصي واقعي متماسك ( $t^+$ ). ومن المهم ملاحظة أن $F$ يُستخدم فقط لتدريب متجه التوجيه؛ وهو ليس مشاركاً أثناء استدلال النموذج المعدل المستهدف.
بناء المتجه: تبني الطريقة أزواج عينات من $\langle (t^+, q), (x, q) \rangle$ $⟨(t^{+}, q), (x, q)⟩$ ، حيث $t^+$ $t^{+}$ هو النص الواقعي الموثوق و $x$ $x$ هي الصورة الأصلية.
- يتم استخراج التنشيطات من نموذج LVLM المستهدف ( $M$ ) لكل من النص الواقعي والصورة الأصلية.
- يتم حساب متجه توجيه عام ( $\bar{d}$ ) عن طريق حساب متوسط الفرق بين تنشيطات النص الموثوق ( $z^+$ ) والتنشيطات المرئية الأصلية ( $z$ ):
  $\bar{d} = \frac{1}{n \cdot |X|} \sum_{X} \sum_{i=1}^{n} (z^+_i - z_i)$
- هذا المتجه يوجه النموذج بعيداً عن الانحياز اللغوي نحو الدلالات الواقعية.

ب. تحسين الإزاحة المتكيف مع الاستعلام (QAO)

بما أن الاستعلامات المختلفة تركز على أشياء مختلفة، فإن المتجه العام الواحد غير كافٍ. يقدم QAO مقدّر إزاحة متكيف مع الاستعلام لتنقيح التعديل لاستعلامات محددة.

استخراج الحقائق الخاص بالاستعلام: بالنسبة لاستعلام معين $q_i$ ، يحدد النظام فئات الأشياء ذات الصلة. ويقوم بتوليد وصف واقعي مفصل ومركز على الاستعلام ( $t^*_i$ ) عن طريق استخراج حقائق محددة من النص الواقعي العام أو التصريح صراحةً بغياب شيء ما.
تقدير الإزاحة: يحسب النظام متجه التعديل "الأمثل" الخاص بالاستعلام ( $\tilde{d}_i$ ) من خلال مقارنة تنشيط النص المركز على الاستعلام مقابل الصورة الأصلية.
تدريب المقدّر: يتم تدريب مقدّر إزاحة خفيف الوزن ( $G$ $G$ ، وهو طبقة MLP واحدة) للتنبؤ بالإزاحة اللازمة ( $o_i = \tilde{d}_i - \bar{d}$ $o_{i} = \tilde{d}_{i} - \overset{ˉ}{d}$ ) بناءً على تنشيط المدخلات.
- دالة الخسارة: متوسط مربع الخطأ (MSE) بين الإزاحة المقدرة والإزاحة المتوقعة.
التعديل التكيفي: أثناء الاستدلال، يكون متجه التعديل النهائي المطبق على النموذج هو مجموع المتجه العام والإزاحة المتوقعة الخاصة بالاستعلام:
$h^{l+1} = h^l + \text{Concat}(z^{l,k} + \alpha \cdot [G(z^{l,k}) + \bar{d}]) \cdot W^l_o$
وهذا يسمح للنموذج بتكييف أولويته للدلالات المرئية ذات الصلة بالاستعلام المحدد.

3. المساهمات الرئيسية

إطار عمل AFTER: نهج جديد لتعديل التنشيط يوجه نماذج LVLM تكيفياً نحو الدلالات النصية المعززة بالحقائق، مما يقلل من الانحياز اللغوي بفعالية دون إعادة تدريب.
توجيه التنشيط المعزز بالحقائق (FAS): يقدم مفهوم استخدام الحقائق الأرضية (Ground-truth) لتوليد توجيه نصي إيجابي، مما ينمذج صراحةً الارتباطات المرئية-النصية الدقيقة لمواجهة الهلوسة.
تحسين الإزاحة المتكيف مع الاستعلام (QAO): يقترح آلية لتوليد إزاحات تعديل خاصة بالاستعلام، مما يعزز تنوع ودقة التدخل بما يتجاوز مجرد متجه ثابت واحد.
الكفاءة: يعمل هذا الأسلوب أثناء وقت الاستدلال بأقل قدر من التكاليف الحسابية (MLP خفيف الوزن لتقدير الإزاحة) ولا يتطلب ضبطاً دقيقاً (Fine-tuning) لنموذج LVLM الكبير.

4. النتائج التجريبية

تم تقييم الطريقة على ثلاثة نماذج LVLM واسعة الانتشار (LLaVA-v1.5, InstructBLIP, Shikra) عبر ثلاثة اختبارات معيارية: POPE (تمييزي)، MME (إدراكي/معرفي)، و AMBER (توليدي).

الحد من الهلوسة:
- AMBER: حقق انخفاضاً يصل إلى 16.3% في الهلوسة (مقياس Hal) مقارنة بالنموذج الأساسي على نموذج Shikra، متفوقاً على أفضل طريقة تعديل موجودة (VTI) بنسبة 5.3%.
- POPE: حسن متوسط الدقة (Accuracy) بنسبة 4.1% ودرجة F1 بنسبة 2.6% عن النماذج المرجعية، متفوقاً على طريقة ICT التي تمثل أحدث التقنيات (SOTA).
- MME: أظهر تحسينات كبيرة في مجموعات الهلوسة الفرعية (على سبيل المثال، +73.4 نقطة على Shikra) مع الحفاظ على القدرات العامة.
التعميم: نجحت متجهات التوجيه التي تعلمت على أسئلة قائمة على COCO في التعميم بنجاح على مجموعات بيانات خارج النطاق (GQA) وعلى المهام التوليدية (من التمييز إلى التوليد)، مما يثبت أن الطريقة تقلل من الانحياز اللغوي العام بدلاً من الإفراط في التخصيص (Overfitting) لمجموعة بيانات معينة.
الحفاظ على القدرات: على عكس بعض الطرق التي تضعف الأداء العام، قام AFTER بتحسين أو الحفاظ على الدرجات في مهام الإدراك البصري والمعرفي العامة (أبعاد MME).
الكفاءة: يحافظ AFTER على أسرع سرعة استدلال بين الطرق المقارنة (29.7 رمزاً في الثانية) مع استخدام معتدل للذاكرة، مما يجعله مناسباً للنشر العملي.

5. الأهمية

تحول في النموذج الفكري: ينتقل من "إضعاف" المدخلات المرئية لخلق إشارات غير موثوقة، إلى الاستفادة من التوجيه النصي الواقعي الإيجابي المستمد من التوصيفات الأرضية. وهذا يعالج السبب الجذري للانحياز اللغوي بشكل مباشر.
الدقة: من خلال تقديم إزاحات متكيفة مع الاستعلام، يقر النظام بأن الحد من الهلوسة يتطلب تدخلات مختلفة اعتماداً على ما يسأل عنه المستخدم، بدلاً من تطبيق متجه "واحد يناسب الجميع".
الواقعية: يقدم حلاً عالي الأداء ومنخفض التكلفة يمكن تطبيقه على نماذج LVLM مفتوحة المصدر الحالية دون عبء الموارد الثقيل لإعادة التدريب، مما يجعله مساراً قابلاً للتطبيق لإنشاء ذكاء اصطوي أكثر موثوقية في التطبيقات الواقعية.

القيود: تعتمد الطريقة حالياً على الوصول إلى التنشيطات الداخلية (مما يحد من قابليتها للتطبيق على النماذج مغلقة المصدر) وتتطلب بيانات متخصصة في المجال لمهام معينة (مثل التصوير الطبي) لتوليد حقائق واقعية دقيقة.