YARD: Y-Architecture Register Decoding for Efficient Hallucination Mitigation in Large Vision-Language Models
يُعد YARD إطار عمل لا يتطلب تدريباً يعمل على الحد من الهلوسة في النماذج اللغوية البصرية الكبيرة عبر توظيف بنية على شكل حرف Y لمشاركة الحسابات الضحلة والتفرع عند الطبقات المتوسطة، حيث يستبدل الرموز البصرية دقيقة التفاصيل برموز سجل (register tokens) لتوليد إشارة تباينية فعالة دون التسبب في تأخير ناتج عن تمريرة أمامية ثانية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل نموذج رؤية ولغة ضخم (LVLM) كأنه قاصّ قصص موهوب جداً ولكنه مفرط في الثقة بنفسه. تعرض عليه صورة لشاطئ، فيبدأ بوصف المشهد. أحياناً يصيب في وصفه ("هناك مظلات وأشخاص")، ولكن في أحيان أخرى، يخترع تفاصيل ببراعة ليست موجودة في الصورة ("وانظر، هناك لوح تزلج وكلب!"). هذا ما يسمى بالهلوسة (Hallucination).
تقدم هذه الورقة البحثية طريقة جديدة تسمى YARD (فك تشفير سجل بنية Y - Y-Architecture Register Decoding) لإيقاف هذا القاصّ عن اختلاق الأمور، دون الحاجة إلى إعادة تدريب النموذج أو إبطاء سرعته.
إليك كيف تعمل YARD، مقسمة إلى مفاهيم بسيطة:
1. المشكلة مع الطرق القديمة
قبل YARD، حاول الباحثون إصلاح الهلوسة باستخدام تقنية تسمى "فك التشفير التبايني" (Contrastive Decoding). تخيل هذا الأمر كأنك تطلب من القاص أن يروي القصة مرتين:
- النسخة (أ) (النظيفة): "انظر إلى الصورة الحقيقية وأخبرني بما تراه."
- النسخة (ب) (المتدهورة): "أخبرني بما تراه، ولكن تظاهر بأن الصورة مشوشة أو ناقصة الأجزاء."
ثم يقوم الكمبيوتر بمقارنة القصتين. إذا اخترعت النسخة (ب) وجود لوح تزلج بينما لم تفعل النسخة (أ) ذلك، يدرك الكمبيوتر وجوب كبح فكرة "لوح التزلج" في الإجابة النهائية.
ومع ذلك، كانت للطرق السابقة عيبان كبيران:
- نهج "العصابة على العينين": بعض الطرق كانت تزيل المدخلات البصرية تماماً للنسخة (ب). كان هذا متطرفاً للغاية؛ إذ سيبدأ النموذج بمجرد التخمين بناءً على المعرفة العامة (مثلاً: "الشواطئ عادة ما تحتوي على ألواح تزلج")، وهو ما لم يساعد في كشف الأكاذيب المحددة المتعلقة بهذا الشاطئ بعينه.
- نهج "العمل المزدوج": طرق أخرى كانت تفسد بكسلات الصورة (بإضافة الضجيج). كان هذا يتطلب من الكمبيوتر معالجة الصورة مرتين من الصفر، مما كان بطيئاً ومكلفاً للغاية.
2. حل YARD: شكل حرف "Y"
تغير YARD قواعد اللعبة عبر بناء مسار على شكل حرف "Y" داخل عقل النموذج.
- الجذع (المسار المشترك): تبدأ كل من القصة "النظيفة" والقصة "المتدهورة" معاً. إنهما تتشاركان الطبقات الأولى من المعالجة. هذا يشبه قراءة الفقرة الأولى من كتاب معاً، مما يوفر الوقت لأن النموذج لا يضطر للقيء بعمل مضاعف.
- الانقسام (الطبقة الوسطى): عند نقطة معينة في عملية تفكير النموذج، ينقسم المسار.
- الفرع الأيسر (النظيف): يستمر بشكل طبيعي، حيث ينظر إلى كل التفاصيل الدقيقة (القطع/Patches) في الصورة.
- الفرع الأيمن (المتدهور): هنا يحدث السحر. بدلاً من النظر إلى كل تفصيل دقيق، يُجبر هذا الفرع على النظر إلى الصورة من خلال "سجل" (Register).
3. استعارة "السجل" (Register)
تخيل أن الصورة هي خريطة عالية الدقة.
- الفرع النظيف ينظر إلى الخريطة ويرى كل شارع، وشجرة، ومنزل.
- الفرع المتدهور (باستخدام YARD) يُعطى "سجلاً". السجل هو مثل ملخص ملاحظات يقول: "هذا مشهد شاطئ به ماء ورمال"، ولكنه يخفي التفاصيل المحددة. هو يعرف أن هناك أشخاصاً، لكنه لا يستطيع رؤية أين يقفون أو ماذا يحملون.
لما لماذا هذا ذكي؟
إذا حاول النموذج قول "هناك لوح تزلج"، فإن الفرع النظيف (الذي يرى التفاصيل) يتحقق من الخريطة ويقول: "لا، أنا لا أرى لوح تزلج". أما الفرع المتدهور (الذي يرى فقط الأجواء العامة للشاطئ) فقد يقول: "حسناً، الشواطئ غالباً ما تحتوي على ألواح تزلج، لذا ربما؟".
عندما يقارن الكمبيوتر بين هذين، يدرك: "الفرع النظيف يقول 'لا'، لكن الفرع المتدهور يخمن 'نعم' بناءً على الأجواء العامة". تقوم YARD حينها بكبح تخمين "لوح التزلج". إنها تبقي القصة مرتكزة على الواقع لأن "الفرع النظيف" لديه الدليل، و"الفرع المتدهور" يعمل ككاشف للأشياء التي يخمنها النموذج فقط.
4. لماذا "المنتصف" مهم؟
اكتشفت الورقة أن عقل النموذج يعمل على مراحل.
- الطبقات المبكرة: مجرد تجهيز الصورة.
- الطبقات الوسطى: هذه هي "النقطة المثالية" حيث يبدأ النموذج في ربط النص بالتفاصيل البصرية المحددة.
- الطبقات المتأخرة: يكون النموذج قد قرر بالفعل ما سيقوله.
تقوم YARD بتقسيم المسار في المنتصف تماماً. إذا قمت بالتقسيم مبكراً جداً، فلن يكون النموذج قد رأى الصورة كفاية بعد. وإذا قمت بالتقسيم متأخراً جداً، فسيكون النموذج قد "حفظ" التفاصيل بالفعل ولن يتم خداعه بالنسخة المتدهورة. المنتصف هو الوقت المثالي لتقديم "السجل" لاختبار ما إذا كان النموذج ينظر حقاً إلى الصورة أم أنه يكتفي بالتخمين بناءً على ما يحدث عادةً.
5. النتيجة
من خلال استخدام هذا المسار الذي يشبه حرف Y وحيلة "السجل":
- إنها أسرع: لأن المسارين يتشاركان البداية، فلا يضطر النموذج لمعالجة الصورة مرتين من الصفر.
- إنها أذكى: فهي تمسك بالهلوسة بشكل أفضل من الطرق السابقة لأنها تخلق "مواجهة عادلة" بين رؤية تفصيلية ورؤية عامة، بدلاً من رؤية تفصيلية مقابل تخمين أعمى.
- تعمل في كل مكان: اختبرت الورقة البحثية هذه الطريقة على العديد من نماذج الذكاء الاصطنا مختلفة، وعملت بشكل متسق جيداً دون الحاجة إلى إعادة تدريبها.
باخت مختص، YARD هي مثل مدقق حقائق يجلس داخل عقل الذكاء الاصطناعي، يسأل: "هل أنت متأكد أنك ترى ذلك، أم أنك تخمن فقط بناءً على ما يحدث عادةً؟". وهي تفعل ذلك بكفاءة، دون إبطاء المحادثة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.