💬 NLP

LookBack: Where and How to Score LVLM Responses via Visual Reference Usage

تقدم هذه الورقة البحثية "LookBack"، وهي طريقة لا تتطلب تدريباً تعمل على تحسين تقييم استجابات النماذج اللغوية الكبيرة متعددة الوسائط (LVLM) من خلال تعزيز احتمالية الرموز (token likelihood) بدرجة "النظر إلى الخلف" البصرية (visual lookback score) للكشف بشكل أفضل عن الهلوسة واختيار المخرات المرتكزة على المحتوى، مما يعالج أوجه القصور في المقاييس الحالية القائمة على الثقة.

المؤلفون الأصليون: Beomsik Cho, Jinhyeong Kim, Dongseok Lee, Jaehyung Kim

نُشر 2026-08-13

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Beomsik Cho, Jinhyeong Kim, Dongseok Lee, Jaehyung Kim

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تتحدث إلى روبوت فائق الذكاء يمتلك عينين وعقلاً في آن واحد. هذا الروبوت، الذي يُسمى نموذج الرؤية واللغة الكبير (أو LVLM اختصاراً)، يمكنه النظر إلى صورة ثم كتابة قصة أو الإجابة على سؤال حولها. إنه يشبه امتلاك صديق يمكنه رؤية العالم ووصفه بشكل مثالي. لكن هنا تكمن المشكلة: أحياناً يثق هذا الروبوت في صوته أكثر من اللازم. قد يصف مشهداً بقواعد لغوية وانسيابية مثالية تجعل الأمر يبدو حقيقياً تماماً، حتى لو كان يتخيل أشياءً ليست موجودة في الصورة على الإطلاق. يُطلق على هذا اسم "الهلوسة".

ولإصلاح ذلك، يحاول العلماء عادةً اختيار أفضل إجابة من قائمة تضم العديد من التخمينات التي يضعها الروبوت. غالباً ما يستخدمون خدعة بسيطة: يختارون الإجابة التي تبدو الأكثر ثقة أو احتمالية بناءً على الحسابات الداخلية الخاصة بالروبوت نفسه. فكر في الأمر كمعلم يختار المقال الذي يبدو الأكثر طلاقة. ولكن ماذا لو كان الروبوت مجرد متحدث لبق، واثق ولكنه مخطئ؟ هذه هي المشكلة التي تعالجها هذه الورقة البحثية: كيف نعرف ما إذا كان الروبوت ينظر حقاً إلى الصورة، أم أنه مجرد غارق في أحلام اليقظة بينما يبدو ذكياً؟

أدرك الباحثون وراء هذه الدراسة، من جامعة يونسي، أن "مقياس الثقة" المعتاد لدى الروبوت معطل عندما يتعلق الأمر بالصور. فقد وجدوا أنه حتى لو أخذت الصورة بعيداً وسألت الروبوت فقط أن يخمن، فإنه سيظل يعطي نفس درجات الثقة العالية لإجاباته. إنه يشبه طالباً يمكنه تسميع مقال تاريخي ببراعة من ذاكرته، ولكن إذا سألته عن صورة محددة في كتابه المدرسي، فقد يصف بثقة ديناصوراً في فصل دراسي لأنه بارع فقط في تخمين الكلمات، وليس في النظر إلى الأدلة.

ولحل هذه المشكلة، ابتكر الفريق طريقة جديدة تسمى LOOKBACK. تخيل أنك تقيم مقال ذلك الطالب مرة أخرى. بدلاً من مجرد التحقق مما إذا كانت الجمل تتدفق بشكل جيد، تسأل: "هل نظرت حقاً إلى الصورة عندما كتبت هذه الكلمة؟" LOOKBACK هي أداة خاصة تتحقق من كل كلمة يكتبها الروبوت لترى ما إذا كانت "عيون" الروبوت (انتباهه الداخلي) تنظر بالفعل إلى الصورة في تلك اللحظة تحديداً.

إليك كيف يعمل الأمر بطريقة ممتعة:

فحص الثقة: أولاً، يتحقق LOOKBACK من مدى تأكد الروبوت بشأن كلمة ما، تماماً كما فعلت الطرق القديمة.
فحص النظر للخلف (Lookback Check): بعد ذلك، يسأل: "هل نظرت إلى الصورة لتقول هذه الكلمة؟" إذا قال الروبوت "باندا" وكانت عيناه الداخليتان تحدقان مباشرة في باندا في الصورة، فإن هذه الكلمة تحصل على دفعة هائلة. أما إذا قال "باندا" ولكنه كان يخمن فقط لأنه يحب كلمة "باندا"، فإنه يحصل على عقوبة.
الدرجة النهائية: تقوم الأداة بدمج هذين الفحصين. فهي تعطي أعلى درجة للإجابات التي ليست فقط سلسة وواثقة، بل تثبت أيضاً أنها كانت تنظر بالفعل إلى الدليل البصري.

اختبر الفريق هذه الفكرة على أربعة تحديات مختلفة تتعلق بالصور والأسئلة، باستخدام ثلاثة عقول روبوتية ذكية مختلفة. ووجدوا أن LOOKBACK كانت أفضل بكثير في اختيار الإجابة الصحيحة من الطرق القديمة. في الواقع، عندما جعلوا الروبوتات تولد 25 تخميناً مختلفاً واستخدموا LOOKBACK لاختيار الفائز، اختارت الإجابة الصحيحة في كثير من الأحيان أكثر من أي طريقة أخرى جربوها.

الأمر الرائع حقاً هو أن LOOKBACK لا تحتاج إلى تعلم أي شيء جديد أو استخدام أي روبوتات إضافية للمساعدة. إنها تستخدم فقط الإشارات التي يرسلها الروبوت الرئيسي بالفعل أثناء تفكيره. إنه يشبه إعطاء الروبوت مرآة لكي يتمكن من فحص عمله دون الحاجة إلى معلم يقف فوق رأسه. تشير الدراسة إلى أنه من خلال مجرد طلب "النظر للخلف" إلى الصورة أثناء حديث الروبوت، يمكننا منع الروبوت من الكذب بثقة بشأن ما يراه، مما يجعل أصدقاءنا من الذكاء الاصطناعي أكثر موثوقية للمهام في العالم الحقيقي.

ملخص تقني: LOOKBACK – أين وكيف يتم تسجيل درجات استجابات نماذج اللغات البصرية الكبيرة (LVLMs) عبر استخدام المرجع البصري

1. بيان المشكلة

تدمج نماذج اللغات البصرية الكبيرة (LVLMs) الإدراك البصري مع التوليد اللغوي، لكنها تعاني من نوع محدد من الهلوسة: إنتاج استجابات سلسة ومعقولة ولكنها غير مستندة إلى الصورة المدخلة. وبينما تعتمد الأساليب الحالية لتحسين الموثوقية، مثل اختيار "أفضل من N" (Best-of-N)، على تسجيل درجات المرشحين لاختيار الأفضل، فإن آليات التسجيل الحالية غير كافية لنماذج LVLM.

يحدد البحث فجوة حرجة في الثقة في فضاء المخرجات (مثل احتمالية الرمز أو اليقين الذاتي). وتكشف التشخيصات أن درجات الثقة هذه غير حساسة بشكل كبير للمدخلات البصرية؛ حيث إن إزالة الصورة من سياق المدخلات لا يغير تقريبًا الاختيار القائم على الثقة للاستجابة الأعلى ترتيبًا. يشير هذا إلى أن الثقة في فضاء المخرجات تلتقط أساسًا المعقولية اللغوية (السلاسة اللغوية) بدلاً من التأسيس البصري (الاتفاق مع الصورة). وبالتالي، فإن الاعتماد فقط على الثقة يفشل في التمييز بين الاستجابات السلسة لغويًا ولكنها هلوسة بصرية، وبين تلك المخلصة للصورة.

2. المنهجية: LOOKBACK

لمعالجة ذلك، يقترح المؤلفون LOOKBACK، وهو طريقة لتسجيل استجابات نماذج LVLM داخلية النموذج وبدون تدريب. يعمل LOOKBACK على تعزيز احتمالية الرمز (token likelihood) بـ درجة النظر الخلفي البصري (visual lookback score)، وهي مقياس خفيف الوزن لمدى قوة إشارة كل رمز مولد بالرجوع إلى المدخلات البصرية. تعمل الطريقة عبر ثلاث مراحل:

أ. درجة النظر الخلفي البصري ( $A_t$ )

يستفيد المؤلفون من آليات الانتباه الداخلية لنماذج LVLM. بما أن نماذج LVLM تعالج الصور كرموز بصرية صريحة ضمن السياق السببي، يمكن لكل توقع للرمز المولد أن ينتبه مباشرة إلى رموز الرؤية هذه.

التعريف: بالنسبة لرمز مولد $y_t$ ، فإن درجة النظر الخلفي البصري $A_t$ هي كسر وزن الانتباه الموجه من خطوة التوقع إلى رموز الرؤية ( $P_v$ ) عبر جميع الطبقات ورؤوس الانتباه.
الأهمية: تعمل $A_t$ كوسيط لاستخدام المرجع البصري. وتكون مرتفعة للرموز التي تصف الأشياء، أو السمات، أو العلاقات الموجودة في الصورة، ومنخفضة للكلمات الوظيفية العامة.

ب. درجة الرمز المعايرة بالنظر الخلفي ( $u_t$ )

يجمع LOOKBACK بين ثقة نموذج مخرجات الفضاء ( $p_t$ ) ودرجة النظر الخلفي البصري ( $A_t$ ) لتشكيل درجة رمز معايرة:
$u_t = \log(p_t) + \alpha \log(A_t)$

هنا، $\alpha$ هو معلمة فائقة (hyperparameter) تتحكم في قوة المعايرة.
تضمن هذه الصيغة أن الرموز ذات الثقة العالية ولكن مع انتباه بصري منخفض (الهلوسات) تحصل على درجة أقل، بينما تُفضل الرموز التي تتسم بالثقة والتأسيس البصري معًا.

ج. وزن الصلة البصرية والتجميع

لا تساهم جميع الرموز بالتساوي في التأسيس البصري. يقوم LOOKBACK بتجميع درجات الرموز باستخدام توزيع الصلة البصرية ( $q_\lambda$ ) بدلاً من المتوسط الموحد.

التوزيع: يتم اشتقاق $q_\lambda$ عن طريق تعظيم هدف الصلة المنظم للإنتروبيا، مما يركز كتلة الاحتمالية على الرموز ذات درجات النظر الخلفي البصري العالية ( $A_t$ ).
الدرجة النهائية: الدرجة النهائية للاستجابة $S(y)$ هي القيمة المتوقعة لدرجات الرموز المعايرة تحت هذا التوزيع:
$S(y) = \sum_{t=1}^{T} q_\lambda(t) \cdot u_t$
يضمن هذا أن الدرجة النهائية تتأثر بشدة بالكلمات التي تكون واثقة ومرتبطة بقوة بالمدخلات البصرية.

3. المساهمات الرئيسية

رؤية تشخيصية: يقدم البحث دليلًا تجريبيًا على أن مقاييس الثقة القياسية في فضاء المخرجات (مثل اليقين الذاتي) غير حساسة للصورة إلى حد كبير، وتفشل في اكتشاف الهلوسة البصرية في إعدادات اختيار "أفضل من N".
تسجيل بدون تدريب: يقدم LOOKBACK طريقة لتسجيل استجابات LVLM دون الحاجة إلى نماذج مكافأة خارجية، أو تدريب إضافي، أو عمليات استدلال إضافية. فهو يستخدم فقط الإشارات الداخلية (احتمالات الرموز وأوزان الانتباه) المتاحة أثناء التوليد.
التكامل على مستوى الرمز: يوضح العمل أن الثقة في فضاء المخرجات ودرجات النظر الخلفي البصري تلتقط جوانب متكاملة من التوليد: تفضل الثقة القدرة على التنبؤ اللغوي، بينما يفضل النظر الخلفي المرجع البصري.
التجميع الفعال: من خلال وزن الرموز بناءً على الصلة البصرية، يعطي LOOKBACK الأولوية للكلمات ذات المحتوى التشخيصي (الأسماء، السمات) على كلمات السلاسة العامة في التسجيل النهائي.

4. النتائج التجريبية

قيم المؤلفون LOOKBACK عبر أربعة معايير مرجعية (VQAv2, CHAIR, AMBER, HallusionBench) وثلاثة نماذج LVLM ممثلة (LLaVA-1.5-7B, Qwen2.5-VL-7B, InternVL3-8B).

الأداء: تفوق LOOKBACK باستمرار على جميع الخطوط المرجعية الحالية، بما في ذلك الأساليب الجانبية اللغوية (اليقين الذاتي، الاتساق الذاتي الشامل) والأساليب الجانبية البصرية (CLIPScore, VAUQ).
- حقق أعلى متوسط أداء للنموذج عبر جميع نماذج LVLM الثلاثة.
- حسن دقة اختيار "أفضل من N" بنحو 4.97% من الربح النسبي مقارنة بالاختيار العشوائي، وتفوق باستمرار على خط المرجعية "اليقين الذاتي".
التوسع: مع زيادة حجم مجموعة المرشحين ( $N$ ) من 1 إلى 25، حافظ LOOKBACK على ميزة ثابتة فوق الخطوط المرجعية، بينما أظهرت الطرق الأخرى عوائد متناقصة أو عدم استقرار.
الكفاءة: لم يتسبب LOOKBACK في عبء حسابي يذكر مقارنة بوقت التوليد. وكان أسرع بكثير من الأساليب التي تتطلب الاضطراب (VAUQ) أو المشفرات الخارجية (CLIPScore)، حيث أضاف فقط تكلفة بسيطة لتسجيل ما بعد التوليد.

5. الأهمية والادعاءات

يدعي البحث أن LOOKBACK يوفر حلاً خفيف الوزن وداخلي النموذج لتحسين موثوقية استجابات LVLM. وتكمن أهميته في:

سد الفجوة: يعالج مباشرة الانفصال بين التكييف بالصورة والحساسية للصورة في مقاييس التسجيل الحالية.
العملية: كونه لا يتطلب تدريبًا ولا يحتاج إلى نماذج مساعدة، فهو قابل للتطبيق في البيئات محدودة الموارد وسيناريوهات الصندوق الأسود (بشريد أن تكون أوزان الانتباه الداخلية متاحة).
القدرة على التعميم: يشير المؤلفون إلى أن مبدأ "التسجيل الواعي بالمصدر" (التحقق مما إذا كانت خطوات التوليد عالية الثقة تشير إلى المصدر المقصود) يمكن أن يمتد إلى ما وراء الرؤية ليشمل مهام التوليد المستندة إلى المراجع الأخرى، مثل التوليد المعزز بالاسترجاع (RAG) أو استخدام الأدوات.

الاعتراف بالقيود:
يشير المؤلفون إلى أن LOOKBACK يتطلب الوصول إلى أوزان الانتباه الداخلية، مما يحد من استخدامه مع واجهات برمجة التطبيقات (APIs) المغلقة تمامًا. علاوة على ذلك، فإن النظر الخلفي البصري هو وسيط لاستخدام المرجع، وليس ضمانًا للصحة الواقعية؛ إذ يمكن للنموذج أن ينتبه إلى رموز الصورة بينما لا يزال يولد محتوى غير صحيح أو منحازًا. لذلك، يُوصى باستخدام LOOKBACK كأداة مساعدة لاختيار الاستجابة لتُستخدم جنبًا إلى جنب مع التحقق الخاص بالمهمة والإشراف البشري.