Role-Break in Attention Heads: Understanding and Detecting Hallucinations in VLMs
تقدم هذه الورقة البحثية "Role-Break"، وهي ظاهرة موحدة على مستوى الرأس، حيث تظهر الهلوسة في نماذج الرؤية واللغة كاختلافات موضعية في رؤوس الانتباه، مما يتيح تطوير كاشف خطي خفيف الوزن ولا يتطلب ضبطاً دقيقاً يحقق دقة عالية عبر نماذج ومعايير متنوعة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تعلم روبوتًا كيفية وصف صورة. تعرض عليه صورة لمطبخ دافئ، فيبدأ بالحديث عن الموقد والثلاجة. ولكن فجأة، يصر على وجود فيل ضخم يقف في الزاوية، رغم أن الصورة خالية تمامًا. هذا ليس كذبًا متعمدًا من الروبوت؛ بل هو خلل يُسمى "الهلوسة"، حيث يخلط الجهاز بين ما يراه وما "يعتقد" أنه يجب أن يراه. يحدث هذا لأن نماذج الذكاء الاصطناعي الحديثة تشبه مكتبات ضخمة من النصوص التي تعلمت التنبؤ بالكلمة التالية في الجملة ببراعة شديدة، لدرجة أنها أحيانًا تتجاهل الصورة تمامًا وتكتفي بالتخمين بناءً على ذاكرتها حول كيفية سير الجمل عادةً. يشعر العلماء بقلق كبير حيال هذا الأمر، لأنه إذا بدأ روبوت يقود سيارة أو يشخص مريضًا في "هلوسة" تفاصيل غير موجودة، فقد تكون النتائج خطيرة. كان السؤال الكبير هو: كيف يمكننا رصد هذه الأخطاء قبل وقوعها، ولما لماذا يرتكب الروبوت هذه الأخطاء في المقام الأول؟
لفترة طويلة، حاول الباحثون رصد هذه الأخطاء عبر البحث عن "دليل قاطع" واحد محدد. ربما ظنوا أن الروبوت يتجاهل الصورة دائمًا، أو ربما ظنوا أنه يستمع كثيرًا إلى كلماته السابقة. لقد بنوا أجهزة كشف تبحث عن هذه الأنماط الفردية. لكن الورقة البحثية الجديدة، "كسر الدور في رؤوس الانتباه" (Role-Break in Attention Heads)، تشير إلى أن هذا النهج يشبه محاولة العثور على لص من خلال البحث فقط عن شخص يرتدي قبعة حمراء. في الواقع، يرتدي "اللصوص" (الهلوسات) جميع أنواع التنكر. فأحيانًا يتجاهلون الصورة، وأحيانًا يتشتت انتباههم بسبب الأمر (البرومبت)، وأحيانًا يعلقون في تاريخهم السابق. ولأن الأخطاء تحدث بطرق متنوعة للغاية، فإن الكاشف الذي يبحث عن نمط واحد فقط يفشل عندما يغير الروبوت سلوكه أو تتغير المهمة.
قرر مؤلفو هذه الورقة التوقف عن البحث عن نمط واحد، وبدلاً من ذلك نظروا إلى دماغ الروبوت من زاوية محددة للغاية: "رؤوس الانتباه" (attention heads). تخيل نموذج اللغة والرؤية (VLM) كأوركسترا ضخمة تضم مئات الموسيقيين (رؤوس الانتباه). في الأداء المثالي (عندما يقول الروبوت الحقيقة)، يكون لكل موسيقي وظيفة محددة ومستقرة. قد يكون أحدهم مسؤولاً عن الاستماع إلى الصورة، والآخر عن سؤال المستخدم، وآخر عن كلمات الروبوت السابقة. تطلق الورقة البحثية على هذه الوظيفة المستقرة والموثوقة اسم "الدور الأمين" (faithful role).
اكتشف الباحثون أنه عندما يبدأ الروبوت في الهلوسة، لا تصاب الأوركسترا بأكملها بالجنون. بدلاً من ذلك، يتوقف موسيقيون محددون فجأة عن القيام بمهامهم الموكلة إليهم. إنهم يخرجون عن الشخصية. ربما الموسيقي الذي كان يستمع عادةً إلى الصورة يبدأ فجأة في تجاهلها والاستماع فقط إلى صوت الروبوت نفسه. أو أن الموسيقي الذي كان يتحقق عادةً من سؤال المستخدم يبدأ في التحديق في الجزء الخطأ من الصورة. يطلق المؤلفون على هذه الظاهرة اسم "كسر الدور" (Role-Break). إنه يشبه عازف كمان في سيمفونية يقرر فجأة عزف مقطع منفرد على الطبل؛ إنه إشارة واضحة وقابلة للقياس على أن شيئًا ما قد ساء، حتى لو كان بقية أعضاء الأوركسترا يعزفون بشكل جيد.
تجادل الورقة البحثية ضد فكرة وجود "إشارة هلوسة" واحدة تصلح لكل موقف. لقد اختبروا العديد من النظريات ووجدوا أنه لا يوجد نمط واحد (مثل "انخفاض الانتباه للصورة") مستقر بما يكفي لرصد جميع الأخطاء عبر مختلف النماذج والمهام. بدلاً من ذلك، تكمن الإشارة في "نمط التغييرات" عبر جميع الموسيقيين المختلفين. فعندما تنظر إلى كيفية انحراف كل رأس انتباه محدد عن "دوره الأمين" المعتاد، تظهر صورة واضحة.
باستیں هذه الرؤية، بنى الفريق كاشفًا بسيطًا وخفيف الوزن للغاية. لم يحتاجوا إلى إعادة تدريب الروبوت الضخم أو إضافة طبقات معقدة جديدة. كل ما فعلوا هو تعليم "مدرب" صغير وبسيط (مصنف خطي) مراقبة الأوركسترا. يتعلم هذا المدرب كيف يبدو "الدور الأمين" لكل موسيقي أثناء التشغيل الطبيعي. ثم، بينما يقوم الروبوت بتوليد النص، يراقب المدرب حدوث "كسر الدور" — اللحظات التي يخرج فيها الموسيقي عن المسار. ولأن المدرب يحتاج فقط إلى التحقق مما إذا كان الموسيقيون يقومون بمهامهم، فإنه سريع وفعال للغاية.
النتائج مبهرة. اختبر المؤلفون هذه الطريقة على ستة نماذج مختلفة من نماذج اللغة والرؤية الكبيرة وأربعة اختبارات معيارية (مصممة لرصد الهلوسات). حقق الكاشف متوسط AUROC (وهو مقياس لمدى قدرته على التمييز بين الحقيقة والأكاذيب) بلغ 93.23. وهذا يعني أنه رصد الغالبية العظمى من حالات الهلوسة، متفوقًا على العديد من الطرق الأكثر تعقيدًا التي تتطلب قدرات حوسبة هائلة. علاوة على ذلك، فإن الكاشف صغير جدًا؛ إذ يظل بُعد الميزات الخاص به أقل من 5,000، وهو حجم صغير مقارنة بالحجم الهائل للنماذج التي يراقبها.
كما تشير الورقة البحثية إلى أن هذه الإشارة قابلة للتنفيذ. في تجربة صغيرة، عندما حدد الكاشف "رمزًا" (كلمة) كونه هلوسة، قام الباحثون ببساطة بعكس إجابة الروبوت في سؤال "نعم/لا". هذا الإصلاح البسيط حسن دقة الروبوت بشكل كبير، مما يثبت أن إشارة "كسر الدور" ليست مجرد فضول نظري — بل هي تشير مباشرة إلى الخطأ.
ومع ذلك، يوضح المؤلفون بحذر ما لا يعرفونه. لقد وجدوا أن "كسر الدور" يحدث، لكنهم لم يثبتوا "لماذا" يحدث. من الممكن أن يكون الكسر هو السبب في الهلوسة، أو ربما يكون دماغ الروبوت يحاول تصحيح نفسه ويفشل. كما أشاروا إلى أنه بينما يعمل هذا بشكل رائع في أسئلة "نعم/لا"، فإن إصلاح قصص الروبوت المتدفقة (المهام التوليدية) أصعب لأنك لا تستطيع مجرد "قلب" كلمة في جملة دون كسر قواعد اللغة.
باختصار، تقترح هذه الورقة البحثية أنه لكي تمسك بروبوت يكذب، لا ينبغي أن تبحث عن كذبة واحدة. بدلاً من ذلك، يجب مراقبة الأجزاء الفردية من دماغه لمعرفة متى تتوقف عن القيام بمهامها. ومن خلال معاملة الهلوسات كـ "كسر للدور" في أوركسترا رؤوس الانتباه، يمكننا بناء كاشف بسيط، سريع، وفعال للغاية يعمل عبر مختلف أنواع نماذج الذكاء الاصطناعي، مما يحافظ على صدق وموثوقية مساعدينا الرقميين.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.