Logit Lens Supervision for Patch-Level Explanations in Vision-Language Models
تقدم هذه الورقة "فقدان عدسة اللوجيت" (Logit Lens Loss - LLL)، وهو هدف مساعد خفيف الوزن يعزز القابلية للتفسير على مستوى الرقعة في النماذج الرؤية-اللغوية من خلال محاذاة تضمينات الرموز المرئية مع مفاهيمها النصية المقابلة، مما يؤدي إلى تحسين التأسيس وتقليل الهلوسة دون الحاجة إلى تغييرات هيكلية أو إعادة تدريب مكثفة.
المؤلفون الأصليون:Parsa Esmaeilkhani, Longin Jan Latecki
تخيل أن لديك صديقاً آلياً فائق الذكاء يمكنه النظر إلى صورة وإخبارك بقصة عنها. هذا الروبوت مبني من جزأين مختلفين تماماً: زوج من "العيون" التي ترى الصورة كمجموعة من المربعات الصغيرة الملونة (الرقع)، و"دماغ" خبير في كتابة القصص باستخدام الكلمات. عندما تسأل الروبوت: "أين القطة؟"، ترسل عيناه إشارة لكل مربع صغير في الصورة إلى دماغه. يقوم الدماغ بعد ذلك بخلط إشارات الصورة هذه مع إشارات الكلمات الخاصة به ليعرف الإجابة.
المشكلة هي أنه بينما تنتقل إشارات الصورة هذه عبر الدماغ، فإنها تضيع قليلاً وسط الزحام. فالدماغ بارع جداً في التحدث لدرجة أنه يبدأ أحياناً في تجاهل التفاصيل المحددة لمربعات الصورة، أو والأسوأ من ذلك، يبدأ في خلط إشارات الصورة مع إشارات الكلمات بشكل متداخل جداً لدرجة أن الروبوت ينسى أي مربع ينتمي فعلياً للقطة. قد يخمن كلمة "قطة" بشكل صحيح، لكنه يفعل ذلك بناءً على الكلمات فقط، وليس لأنه "رأى" القطة في الصورة حقاً. هذا أمر بالغ الأهمية، لأننا إذا أردنا الوثوق بهذه الروبوتات، أو إذا أردنا معرفة "لماذا" يعتقد الروبوت أن هناك قطة في الصورة، فنحن بحاجة إلى القدرة على رؤية الجزء المحدد الذي ينظر إليه بالضبط. إذا لم يستطع الروبوت الإشارة إلى القطة، فقد يكون في حالة "هلوسة"—أي أنه يختلق أشياء ليست موجودة.
تعالج هذه الورقة البحثية هذه المشكلة تحديداً. لاحظ المؤلفان، بارسا إسماعيلي خاني ولونجين جان لاتيكي، أنه في "نماذج الرؤية واللغة" (VLMs) الحديثة، تصبح الصلة بين رقعة صورة محددة والكلمة التي تصفها ضعيفة وضبابية كلما انتقلت البيانات عبر النظام. ولإصلاح ذلك، اخترعا حيلة تدريب جديدة تسمى فقدان عدسة اللوجيت (Logit Lens Loss - LLL).
فكر في دماغ الروبوت كمكتبة ضخمة حيث يمثل كل كتاب كلمة ما. عادةً، يتم تعليم الروبوت فقط اختيار الكتاب الصحيح لقوله تالياً (مثل الإجابة على سؤال). أدرك المؤلفان أنه إذا كان الروبوت ينظر إلى رقعة تحتوي على قطة، فيجب على تلك الرقعة تحديداً أن تهمس بكلمة "قطة" للمكتبة، حتى قبل أن يقرر الروبوت التحدث. لقد وضعا قاعدة جديدة للتدريب: كلما رأى الروبوت رقعة تحتوي على قطة، فإنهما يجبران تلك الرقعة على التنبؤ بقوة بكلمة "قطة" في مفردات المكتبة. وقد أسميا ذلك "فقدان عدسة اللوجيت" لأنه يستخدم أداة تسمى "عدسة اللوجيت" لاستراق النظر داخل دماغ الروبوت ومعرفة الكلمات التي تفكر فيها رقع الصور سراً.
أفضل ما في الأمر؟ لم يضطروا لإعادة بناء الروبوت أو إضافة أي أجزاء جديدة. لقد قاموا فقط بتعديل قواعد التدريب. وعندما اختبروا هذه القاعدة الجديدة على روبوتين مشهورين (LLaVA-v1.5 و Qwen2.5-VL)، كانت النتائج بمثادة تشغيل كشاف ضوئي. قبل ذلك، كانت "خريطة الثقة" الخاصة بالروبوت (وهي خريطة حرارية توضح أين يعتقد أن الشيء موجود) ضبابية ومشتتة، مثل نافذة مغطاة بالضباب. أما بعد استخدام قاعدتهم الجديدة، فقد أصبحت الخريطة حادة ودقيقة، حيث أضاءت بالضبط مكان وجود القطة.
تظهر الورقة البحثية أن هذا الإصلاح البسيط يقوم بعمل جبار. فهو يجعل الروبوتات أفضل بكثير في تحديد الأشياء في الصور (التوطين/Grounding)، ويقلل من المرات التي يختلق فيها أشياء ليست موجودة (الهلوسة)، بل ويساعدها أيضاً في الإشارة إلى الأشياء في صور جديدة لم يسبق له رؤيتها من قبل. ومن المثير للدهشة، أنه لم يجعل الروبوتات أسوأ في الإجابة على الأسئلة أو سرد القصص؛ بل في الواقع، حافظ على مهاراتها اللغوية قوية كما كانت. يشير المؤلفان إلى أنه من خلال إبقاء إشارات الصور مرتبطة بمعناها الأصلي، تصبح الروبوتات أكثر ذكاءً وأكثر صدقاً بشأن ما تراه. إنه يشبه تعليم طالب ليس فقط حفظ الإجابة، بل فهم الخريطة التي ينظر إليها بالفعل.
ملخص تقني: الإشراف بأسلوب عدسة اللوجيت (Logit Lens) للتفسيرات على مستوى الرقع (Patch-Level) في النماذج البصرية اللغوية
بيان المشكلة تجمع النماذج البصرية اللغوية (VLMs) التوليدية الحديثة، مثل LLaVA و Qwen-VL، بين المشفرات البصرية والنماذج اللغوية الكبيرة (LLMs) لإنتاج نصوص سلسة. ومع ذلك، أثناء انتقال الرموز البصرية عبر طبقات الانتباه في النموذج اللغوي الكبير، فإنها تخضع لعمليات تحول واختلاط كبيرة مع الرموز اللغوية. يرى المؤلفون أن هذا "الاختلاط غير المنضبط للأنماط" (uncontrolled modality mixing) يتسبب في فقدان التضمينات البصرية لارتباطها المباشر بمناطق الصورة المحددة (الرقع - patches) التي نشأت منها. نتيجة لذلك، يصبح الاتصال بين الرمز البصري والمحتوى الدلالي للرقعة المصدر يصبح باهتًا. يؤدي هذا إلى مشكلتين رئيسيتين:
ضعف التفسير على مستوى الرقعة: غالبًا ما تفشل تصورات "عدسة اللوجيت" (Logit Lens) القياسية (التي تسقط التضمينات على احتمالات المفردات) في إنتاج خرائط ثقة حادة وموضعية، لا سيما في النماذج البصرية اللغوية الجديدة مثل Qwen2.5-VL.
الهلوسة وتدهور التوطين (Grounding): قد يتم تجاهل الرموز البصرية بشكل فعال أو يتم نقل معلوماتها بالكامل إلى الرموز اللغوية، مما يسمح للنماذج بالهلوسة بوصف الأشياء حتى عند إزالة الأدلة البصرية المقابلة أو غيابها.
المنهجية: خسارة عدسة اللوجيت (Logit Lens Loss - LLL) لمعالجة انفصال الرموز البصرية عن مناطق الصورة المصدر، يقترح المؤلفون خسارة عدسة اللوجيت (LLL)، وهي هدف مساعد خفيف الوزن يُطبق أثناء الضبط الدقيق (fine-tuning).
المفهوم الجوهري: تستفيد الطريقة من تقنية "عدسة اللوجيت"، التي تسقط تضمينات الطبقة المتوسطة (hl) عبر مصفوفة عدم التضمين (Uθ) للنموذ de LLM لتوليد توزيع احتمالي على المفردات.
الآلية: على عكس خسارة التنبؤ بالرمز التالي (NTP) القياسية، التي تشرف فقط على توليد الرموز النصية، تقوم LLL بالإشراف مباشرة على الرموز البصرية.
بالنسبة للرموز البصرية (s) التي تقابل الرقع البصرية داخل إطار مستطيل (bounding box) لكائن مستهدف (المجموعة P′)، تعمل الخسارة على تعظيم احتمال ظهور رمز المفردة الذي يصف ذلك الكائن (مثل <cat>).
بالنسبة للرموز البصرية خارج منطقة الكائن (المجموعة P∖P′)، تعمل الخسارة على تقليل احتمال ظهور ذلك الرمز المحدد من المفردات.
الصيغة الرياضية: تُعرّف الخسارة الإجمالية كالتالي: Ltotal=LNTP+λLLLL، حيث تم تحديد λ تجريبيًا بـ 0.5. مصطلح LLL هو خسارة الإنتروبيا المتقاطعة (cross-entropy) المطبقة على توزيع المفردات المستمد من التضمينات الرمزية البصرية في الطبقة النهائية للنموذج اللغوي الكبير.
التمييز الرئيسي: لا تتطلب هذه الطريقة أي تعديلات معمارية (لا فك تشفير للقناع، ولا رؤوس لتحديد المواقع، ولا وحدات للتنبؤ بالإطارات المستطيلة). فهي تعتمد فقط على التضمينات الرمزية البصرية الموجودة ورأس إسقاط المفردات. يتم اشتقاق إشارة الإشراف مباشرة من تسميات الإطارات المستطيلة لتحديد أي الرقع تتوافق مع المفهوم المستهدف، ولكن لا يتم تدريب النموذج على إخراج الإحداثيات؛ بل يتم تدريبه على محاذاة التمثيل الداخلي للرقعة مع المفهوم الدلالي.
المساهمات الرئيسية
خسارة توطين بصري مبتكرة: تقديم LLL، التي تقيد صراحةً التضمينات الرمزية البصرية لتبقى متوافقة دلاليًا مع المفاهيم اللغوية التي تصف مناطق الصور الخاصة بها أثناء مرورها عبر طبقات النموذج اللغوي الكبير.
التوطين الجوهري: على عكس الأعمال السابقة التي تتنبأ بالإطارات المستطيلة أو الأقنعة كمخرجات خارجية، تقوم LLL بدمج الوعي بالتوطين مباشرة في التضمينات العميقة للرموز البصرية. وهذا يخلق رابطًا جوهريًا بين الرقع البصرية والمفاهيم النصية دون تعديل بنية النموذج.
تعزيز القابلية للتفسير: تحسن الطريقة بشكل كبير جودة خرائط الثقة لعدسة اللوجيت. فالنماذج التي تم ضبطها بدقة باستخدام LLL تنتج خرائط أكثر حدة وموضعية تعكس بدقة أي الرقع البصرية التي يربطها النموذج بمفاهيم نصية محددة.
إشارة تدرج مباشرة: أظهر المؤلفون أن LLL توفر إشارة تدرج مباشرة للرموز البصرية، بينما يجب أن تنتقل الإشارة من NTP القياسية عبر طبقات الانتباه، مما يؤدي غالبًا إلى إشارة ضعيفة للرموز البصرية.
النتائج التجريبية قيم المؤلفون LLL على نماذج LLaVA-v1.5-7B و Qwen2.5-VL-7B عبر عدة مقاييس:
تجزئة التعبير المرجعي (RES): باستخدام خرائط عدسة اللوجيت لتوليد أقنعة التجزئة (عبر تحديد العتبة أو التوجيه لنموذج SAM مجمد)، أظهرت النماذج التي تم ضبطها باستخدام LLL تحسنًا ملحوظًا في درجات cIoU مقارنة بالنماذج الأساسية ونماذج NTP فقط. مع المعالجة اللاحقة بواسطة SAM، حقق نموذج Qwen2.5-VL+LLL أداءً يضاهي نماذج التوطين المتخصصة ذات الحالة الراهنة (SOTA).
هلوسة الكائنات (POPE): في اختبار POLE، قللت LLL من هلوسة الكائنات، مما زاد من دقة "نعم/لا". والجدير بالذكر أن النماذج التي تم ضبطها فقط على RefCOCO (بيانات التوطين) وتم تقييمها على POPE أظهرت تحسنًا في الدقة باستخدام LLL، بينما أدى الضبط الدقيق بنظام NTP فقط إلى تدهور الأداء مقارنة بالنموذج الأساسي.
الإشارة بنمط الصفر (Zero-Shot Pointing): أظهرت النماذج التي تم ضبطها باستخدام LLL على RefCOCO قدرة نقل قوية إلى مجموعة بيانات PixMo-Points (فئات كائنات غير مرئية)، محققة أخطاء توطيع وسيطة أقل من العديد من النماذج المملوكة والنماذج المخصصة للمهام التي تستخدم إشرافًا صريحًا للإحداثيات.
الإجابة على الأسئلة البصرية (VQA): حافظت LLL على الأداء أو حسنته قليلاً في اختبارات VQAv2 و GQA، مما يشير إلى أن تعزيز التوطين البصري لا يضعف قدرات توليد اللغة في النموذج.
التصور البصري: أظهرت النتائج النوعية (الشكل 2) أن LLL تحول إشارات عدسة اللوجيت المتفرقة والمربكة إلى خرائط ثقة حادة ومتوافقة مع الكائنات.
الأهمية والادعاءات يزعم البحث أن LLL تقدم آلية بسيطة وفعالة للحفاظ على "محلية" (locality) المعلومات البصرية داخل النماذج البصرية اللغوية التوليدية دون تعقيد إضافة مكونات معمارية جديدة. من خلال ربط التضمينات البصرية مباشرة في فضاء المفردات، تجعل هذه الطريقة النماذج الأساسية أكثر قابلية للتفسير (عبر خرائط عدسة لوجيت وفية) وأكثر قوة ضد الهلوسة. يؤكد المؤلفون أن LLL لا تهدف إلى تعليم مفاهيم جديدة، بل تهدف إلى منع تدهور الفهم المحلي الحالي للصور أثناء عملية نمذجة اللغة. تشير النتائج إلى أنه يمكن تحقيق توطين داخلي أفضل من خلال الإشراف المساعد الذي يربط الرموز البصرية بأوصافها الدلالية، مما يؤدي إلى نماذج أكثر فعالية وأكثر قابلية للتفسير.