Transcoders Trace Visual Grounding and Hallucinations in Vision-Language Models
تقدم هذه الورقة إطار عمل متمحور حول الوظائف باستخدام المبدلات عبر النماذج (Transcoders) لتفسير نماذج الرؤية واللغة، مما يثبت أن هذا النهج يحقق تجذيراً بصرياً أكثر استقراراً من المشفرات التلقائية المتفرقة (Sparse Autoencoders) ويسمح بالتنبؤ بالهلوسة من خلال تحليل الرسم البياني الآلي.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل نموذج الرؤية واللغة (VLM) كمترجم موهوب للغاية ولكنه غامض نوعًا ما. إنه ينظر إلى صورة ويكتب قصة عنها. نحن نعلم أنه يعمل بشكل جيد، لكننا لا نعرف حقًا كيف يقرر الكلمات التي سيكتبها بناءً على أي أجزاء من الصورة. الأمر يشبه مشاهدة ساحر يُخرج أرنبًا من قبعة؛ نحن نرى النتيجة، لكن الخدعة داخل القبعة تظل صندوقًا أسود.
تحاول هذه الورقة البحثية فتح تلك القبعة وشرح الخدعة. إليك تفصيل لما فعلوه، باستخدام تشبيهات بسيطة.
١. المشكلة: "الصورة الثابتة" مقابل "الفيلم"
كانت الطرق السابقة لفهم هذه النماذج تشبه التقاط صورة فوتوغرافية ثابتة لعقل المترجم في لحظة واحدة. لقد استخدموا أدوات تسمى "المشفرات التلقائية المتفرقة" (SAEs) للنظر فيما كان النموذج "يفكر" فيه عند طبقة معينة.
يرى المؤلفون أن هذا النهج معيب لأن المترجم لا يجلس ساكنًا فحسب؛ بل هو في حالة عمل مستمر. إنه يأخذ مدخلًا بصريًا ويقوم بتحويله بنشاط إلى نص. الصورة الثابتة تغفل عن الحركة.
الحل: استخدموا أداة جديدة تسمى "المحول البرمجي" (Transcoder).
- التشبيه: إذا كان الـ SAE عبارة عن صورة لسيارة مركونة في مرآب، فإن الـ Transcoder هو فيديو للمحرك وهو يعمل. فهو لا ينظر فقط إلى أجزاء السيارة؛ بل يراقب كيف يقوم المحرك بتحويل الوقود إلى حركة. إنه يركز على الوظيفة (العمل الذي يتم القيام به) بدلاً من مجرد الحالة (كيف تبدو البيانات).
٢. التجربة: إيجاد "الارتباط البصري"
أراد الباحثون معرفة ما إذا كانت أداة "فيديو المحرك" الجديدة هذه يمكنها شرح كيفية ربط النموذج بين صورة وكلمة محددة بشكل أفضل.
- الاختبار: طلبوا من النموذج وصف صورة. ثم استخدموا أدواتهم لتخمين أي جزء من الصورة كان الأكثر أهمية لكلمة معينة (مثل كلمة "كلب").
- "الاستئصال" (اختبار الممحاة): للتحقق مما إذا كان تخمينهم صحيحًا، أخذوا ممحاة رقمية ومسحوا الجزء المحدد من الصورة الذي اعتقدوا أنه مهم.
- النتيجة: عندما مسحوا الأجزاء التي حددها الـ Transcoder، ارتبك النموذج بشدة وتوقف عن كتابة كلمة "كلب" بشكل صحيح. وعندما مسحوا الأجزاء التي حددتها طريقة الـ SAE القديمة، لم يلاحظ النموذج فرقًا يُذكر.
- التشبيه: الأمر يشبه محاولة تخمين المكون الذي يجعل الكعكة بطعم الشوكولاتة. إذا أزلت المكون الذي حدده الـ Transcoder، ستتوقف الكعكة عن كونها بطعم الشوكولاتة. أما إذا أزلت المكون الذي حددته الطريقة القديمة، فستظل الكعكة بطعم جيد. لقد وجد الـ Transcoder "الشوكولاتة الحقيقية".
٣. فحص "الارتباط الزائف"
للتأكد من أن الـ Transcoder لا يخمن عشوائيًا أو يرتبك، أجروا اختبار خدعة يسمى "الارتباط البصري الزائف".
- الإعداد: طرحوا على النموذج أسئلة رياضية (مثل "ما هو ٢٠ + ٣٠؟") أو أسئلة معرفية عامة ("ما هي عاصمة فرنسا؟") ولكن مع عرض صورة عشوائية لقطة. الإجابة ليس لها أي علاقة بالقطة.
- النتيجة: تجاهل الـ Transcoder صورة القطة بشكل صحيح. لم يحاول ربط القطة بالإجابة. أما الطرق القديمة، فقد حاولت أحيانًا فرض وجود صلة حيث لا توجد صلة.
- الخلاية: الـ Transcoder ذكي بما يكفي ليعرف متى تكون الصورة مجرد تشتيت وليس لها علاقة بالإجابة.
٤. محقق "الهلوسة"
أخيرًا، بحث الباحثون في متى "يهلوس" النموذج — أي عندما يكتب بثقة حقائق غير موجودة في الصورة.
- التحقيق: عاملوا عملية التفكير الداخلي للنموذج كأنها خريطة طريق أو لوحة دارة كهربائية. تتبعوا المسار الذي اتخذته المعلومات من الصورة وصولًا إلى الكلمة النهائية.
- الاكتشاف: وجدوا أنه عندما يقول النموذج الحقيقة، تبدو "خريطة الطريق" بطريقة معينة. وعندما يكذب (يهلوس)، تبدو خريطة الطريق مختلفة.
- الفرق: بدا أن الهلوسات تسلك مسارات أقصر، وأكثر ازدحامًا، وأكثر تركيزًا. الأمر يشبه أن الحقيقة تسلك طريقًا طويلًا ومتعرجًا تمر فيه بالعديد من المعالم، بينما يسلك الكذب طريقًا مختصرًا عبر نفق، متجاهلاً ما يحيط به.
- التنبؤ: بنوا "جهاز كشف كذب" بسيطًا (مصنف لوجستي) ينظر فقط إلى شكل خرائط الطرق هذه. دون قراءة النص أو رؤية الصورة، استطاع هذا الكاشف تخمين ما إذا كان النموذج يهلوس بدقة تصل إلى حوالي ٦٨٪ (وهي نسبة أفضل بكثير من التخمين العشوائي).
الملخص
باختصر، تقول هذه الورقة:
١. توقفوا عن النظر إلى اللقطات الثابتة؛ شاهدوا الفيلم. استخدام "المحولات البرمجية" (Transcoders) لمراقبة كيفية معالجة النموذج للمعلومات أفضل من مجرد النظر إلى ما يحتفظ به في ذاكرته.
٢. إنه يجد الروابط الصحيحة. تحدد هذه الطريقة بشكل صحيح الأجزاء من الصورة التي تهم بالفعل الكلمات التي يتم كتابتها.
٣. للأكاذيب شكل مختلف. حتى دون قراءة المخرجات، يمكننا معرفة ما إذا كان النموذج يكذب بمجرد النظر إلى "الأسلاك" الداخلية لكيفية حسابه للإجابة.
يخلص المؤلفون إلى أن هذا النهج "المتمحور حول الوظيفة" يعطينا خريطة أوضح وأكثر موثوقية لكيفية عمل هذه النماذج من الذكاء الاصطناعي في الواقع.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.