One Token, Two Fates: A Unified Framework via Vision Token Manipulation Against MLLMs Hallucination
تقترح هذه الورقة إطار عمل موحداً وخالياً من التدريب، يخفف من هلاوس النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) عبر الاستفادة التآزرية من الرموز المرئية من خلال المعايرة البصرية التآزرية لتعزيز الدلالات المرئية، والمعايرة التمثيلية السببية لتصحيح الانحيازات اللغوية، محققاً تحسينات كبيرة في الدقة مع حد أدنى من عبء الاستدلال.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك مساعداً آلياً ذكياً جداً، ولكنه مغرور قليلاً، يدعى MLLM. هذا الروبوت بارع في التحدث ويعرف الكثير عن العالم، لكن لديه عادة سيئة: عندما تريه صورة، فإنه غالباً ما يتجاهل ما هو موجود فعلياً في الصورة ويقوم فقط بتأليف أشياء بناءً على ما "يعتقد" أنه يجب أن يكون هناك. وهذا ما يسمى بـ الهلوسة (Hallucality).
على سبيل المثال، إذا أريته صورة قطة، فقد يقول بثقة: "أرى كلباً يلعب بالكرة"، لأنه في بيانات التدريب الخاصة به، غالباً ما يرتبط "الكلاب" و"اللعب" معاً، رغم أن الصورة تظهر بوضوح قطة.
الطريقة القديمة: إصلاحان منفصلان لا يمتزجان
قبل هذه الورقة البحثية الجديدة، حاول العلماء إصلاح هذا الروبوت بطريقتين منفصلتين، مثل محاولة إصلاح سيارة عن طريق شد البراغي في الجانب الأيسر فقط أو طلاء الجانب الأيمن فقط:
- نهج "الصراخ بصوت أعلى": حاولوا جعل الروبوت ينتبه أكثر للصورة. لكن الروبوت كان معتاداً جداً على ثرثرته الداخلية (القصور الذاتي للنص)، لدرجة أنه حتى لو صرخت في وجهه بالصورة، لم يمنعه ذلك من تجاهل الإشارات البصرية.
- نهج "تخويف الروبوت": حاولوا خداع الروبوت عبر إظهار نسخة مشوهة أو ضبابية من الصورة لتعليمه ما الذي "لا يجب" قوله. لكن هذا كان يشبه إظهار صورة قطة تبدو كحبة بطاطس للروبوت؛ مما أصاب الروبوت بالارتباك، وتعلم دروساً خاطئة، وبدأ يرتكب أخطاءً أكثر لأن "المثال السلبي" كان مشوشاً وغريباً للغاية.
وجد الباحثون أن مجرد محاولة القيام بالأمرين معاً في نفس الوقت لم ينجح بشكل جيد أيضاً. كان الأمر يشبه محاولة توجيه سيارة عن طريق تدوير المقود يساراً بيد ويميناً باليد الأخرى في آن واحد؛ حيث كانت الإشارات تتصارع فيما بينها.
الفكرة الجديدة: رمز واحد، وظيفتان
أدرك مؤلفو هذه الورقة أن المشكلة لم تكن في "الأساليب"، بل في معاملتهم لـ "عيون" الروبوت (رموز الرؤية - Vision Tokens) كشيئين منفصلين. اقترحوا إطار عمل موحداً حيث تقوم "عيون" الروبوت بوظيفتين في وقت واحد لتحقيق التوازن بين الرؤية والتحدث.
فكر في رمز الرؤية (Vision Token) كأداة واحدة متعددة الاستخدامات في صندوق أدوات الروبوت. تمنح هذه الورقة البحثية هذه الأداة دورين أو "مصيرين" متميزين:
الدور 1: "المساعد الخارق" (المعايرة البصرية التآزرية)
- المشكلة: كلما تحدث الروبوت لفترة أطول، بدأ ينسى الصورة. تتلاشى الإشارة البصرية، تماماً مثل محطة الراديو التي تفقد الإشارة كلما ابتعدت عنها بالسيارة.
- الحل: يأخذ الروبوت الصورة الأصلية وينشئ نسخة أخرى مختلفة قليلاً (مثل قلب الصورة أو إضافة القليل من التشويش). ثم يدمج "ذاكرة" الصورتين معاً.
- التشبيه: تخيل أنك تحاول تذكر وجه صديقك. إذا نظرت إلى صورة واحدة فقط، فقد تنسى التفاصيل. ولكن إذا نظرت إلى صورتين لنفس الصديق من زوايا مختلفة قليلاً، فستصبح ذاكرتك حادة جداً. يفعل الروبوت ذلك عبر دمج "ذاكرتين" للصورة للحفاظ على قوة تركيزه البصري، مما يمنعه من الانجراف وراء خياله.
الدور 2: "كاشف الحقيقة" (معايرة التمثيل السببي)
- المشكلة: لدى الروبوت انحياز قوي لقول أشياء معينة (مثل "كلب") حتى عندما لا ينبغي له ذلك.
- الحل: بدلاً من إظهار صورة غريبة ومشوهة للروبوت (مما يربكه)، قام الباحثون ببساطة بـ إزالة معظم بيانات الصورة، تاركين فقط هيكلاً عظمياً بسيطاً جداً للصورة.
- التشبيه: تخيل أنك تحاول معرفة ما إذا كان طالب يغش في الامتحان.
- الطريقة القديمة: تعطيه امتحاناً كتبت إجاباته بقلم التلوين؛ فيصاب بالارتباك ويرسب.
- الطريقة الجديدة: تسحب منه 90% من أسئلة الامتحان، وتترك القليل منها فقط. إذا استمر الطالب في تقديم الإجابات "الغشاشة" لتلك الأسئلة القليلة، فأنت تعلم بالتأكيد أنه يعتمد على عاداته السيئة وليس على الامتحان.
- من خلال إزالة معظم بيانات الصورة (إنشاء "فجوة معلوماتية")، يُجبر الروبوت على الاعتماد على انحيازاته الداخلية. يقوم الباحثون بعد ذلك بقياس "الخطأ" بدقة في هذه الحالة وطرح هذا "الخطأ" من تفكيره الطبيعي. إنه يشبه سماعات إلغاء الضجيج التي تحدد "طنين" انحياز الروبوت وتقوم بإلغائه.
النتيجة: روبوت متوازن
من خلال استخدام هذا الإطار الموحد، يتعلم الروبوت:
- الاستماع بتركيز أكبر للصورة (باستخدام المساعد الخرواق).
- تجاهل عاداته السيئة (باستخدام كاشف الحقيقة).
النتيجة هي روبوت أقل عرضة للكذب بشأن ما يراه. في الاختبارات، حسنت هذه الطريقة دقة الروبوت بنسبة 2% تقريباً (وهي نسبة ضخمة في عالم الذكاء الاصطناعي) وفعلت ذلك بسرعة كبيرة، دون الحاجة لإعادة تدريب الروبوت من الصفر.
باخت-طصار: قامت الورقة البحثية بإصلاح هلوسات الروبوت عبر تعليم "عيونه" كيف تعمل بذكاء أكبر، وليس بجهد أكبر، باستخدام أداة واحدة لتعزيز رؤيته وإسكات ثرثرته الداخلية في آن واحد.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.