Attention Sinks as Internal Signals for Hallucination Detection in Large Language Models

تخيل أنك تقرأ قصة كتبها روبوت واثق للغاية وسريع بشكل مذهل. هذا الروبوت قرأ كل كتاب كُتب تقريبًا ويمكنه الإجابة على الأسئلة حول أي شيء، من التاريخ القديم إلى فيزياء الكم. ولكن في بعض الأحيان، عندما يتعثر الروبوت أو لا يعرف الإجابة، فإنه لا يقول "لا أعرف"، بل يستمر في التحدث بصوت سلس ولبق، ويختلق حقائق تبدو مثالية لكنها مختلقة تمامًا. في عالم علوم الحاسوب، يسمى هذا "الهلوسة" (Hallucination). وهي مشكلة كبيرة لأنه إذا وثقنا في هذه الروبوتات لمهام مهمة مثل المشورة الطبية أو القرارات القانونية، فإن أكاذيبها الواثقة قد تسبب مشاكل حقيقية.

لفهم كيفية كشف هذه الأكاذيب، نحتاج أولاً إلى إلقاء نظورة داخل دماغ الروبوت. تستخدم الروبوتات الحديثة مثل هذه نظامًا يسمى "المحول" (Transformer)، والذي يعمل من خلال الانتباه إلى أجزاء مختلفة من الجملة لتحديد ما سيأتي بعد ذلك. فكر في الأمر كأنها مجموعة من المحققين (يُطلق عليهم "رؤوس الانتباه" - attention heads) ينظرون إلى مسرح جريمة (الجملة). عادةً ما يركزون على الأدلة الأكثر أهمية. ومع ذلك، اكتشف الباحثون مؤخرًا شيئًا غريبًا: أحيانًا، يصبح هؤلاء المحققون مهووسين ببعض الأدلة المحددة والمملة — مثل الكلمة الأولى من الجملة أو مسافة فارغة — متجاهلين بقية الأدلة. ويسمون هذه الهواجس "بالبالوعات" (attention sinks). الأمر يشبه كون المحققين يحدقون بشدة في ذرة غبار بينما يغفلون عن سلاح الجريمة الفعلي.

هذه الورقة البحثية، التي تحمل عنوان "البالوعات كإشارات داخلية للكشف عن الهلوسة في النماذج اللغوية الكبيرة"، تطرح سؤالًا بسيطًا ولكنه عبقري: هل يمكننا استخدام هذه "البالوعات" الغريبة للإمساك بالروبوت وهو يكذب؟ يقترح المؤلفون، جاكوب بينكوفسكي وفريقه، طريقة جديدة تسمى SinkProbe. إنهم يقترحون أنه عندما يبدأ الروبوت في الهلوسة، فإن نظام الانتباه الداخلي لديه يصبح "مسدودًا" أو "منهارًا" على هذه الرموز غير المهمة، مما يؤدي إلى فقدان اتصاله بالحقائق الحقيقية. ومن خلال قياس مقدار الانتباه الذي يوجهه الروبوت نحو هذه "البالوعات"، يمكنهم التنبؤ بما إذا كان الرجع على وشك البدء في اختلاق الأمور.

أداة المحقق الجديدة: SinkProbe

لم يكتفِ المؤلفون بالتخمين؛ بل بنوا أداة لاختبار هذه الفكرة. لقد نظروا في خرائط الانتباه لعدة نماذج لغوية كبيرة (LLMs) شهيرة مثل Llama وMistral أثناء إجابتها على أسئلة في مجموعات بيانات معقدة، بما في ذلك المسائل الرياضية واختبارات المعرفة العامة.

إليك كيف تعمل طريقتهم، باستخدام تشبيه بسيط: تخيل أن دماغ الروبوت هو طريق سريع مزدحم بالعديد من الحارات (الطبقات) والعديد من السيارات (الرموز/Tokens). عادةً ما تتوزع السيارات، وتنظر إلى أجزاء مختلفة من الطريق. ولكن عندما توشك الهلوسة على الحدوث، يزداد الازدحام المروري. تتعطل بضع سيارات محددة (البالوعات) في ازدحام مروري هائل، وتبدأ كل سيارة أخرى تقريبًا على الطريق السريع في التحديق فيها بدلاً من النظر إلى الطريق أمامها.

طور المؤلفون درجة تسمى درجة البالوعة (Sink Score) لقياس مدى ازدحام حركة المرور بالضبط عند هذه النقاط المحددة. وقد وجدوا أنه عندما يكذب الروبوت، ترتفع درجات هذه البالوعات بشكل حاد. ولكن هناك تحول: ليست كل حالات الازدحام المروري متساوية. اكتشف المؤلفون أن "البالوعات" التي تهم حقًا لكشف الأكاذيب هي تلك التي لا تحصل فقط على الكثير من الانتباه، بل تحمل أيضًا حمولة ثقيلة (متجه قيمة كبير - large value vector). الأمر يشبه العثور على ازدحام مروري حيث تكون السيارات العالقة تحمل أيضًا صناديق ثقيلة؛ عندها فقط تعلم أن هناك خطبًا خطيرًا في تدفق المعلومات.

ما وجدوه (وما لم يجدوه)

كانت النتائج واعدة للغاية. فعندما قاموا بتدريب برنامج حاسوبي بسيط (مصنف انحدار لوجستي) للنظر في درجات البالوعات هذه، أصبح بارعًا جدًا في رصد الهلوسة. في الواقع، في معظم الاختبارات التي أجروها، تفوقت طريقتهم الجديدة، SinkProbe، على الطرق الأخرى الموجودة التي حاولت اكتشاف الأكاذيب من خلال النظر إلى أنماط الانتباه بطرق مختلفة.

على سبيل المثال، في مجموعة بيانات تسمى GSM8K (والتي تحتوي على مسائل رياضية)، حققت SinkProbe درجة 0.845، متفوقة على أفضل طريقة سابقة والتي سجلت 0.835. وفي TruthfulQA، وهي مجموعة بيانات مصممة لخداع النماذج لجعلها تكذب، سجلت SinkProbe درجة 0.785، لتأتي في المقدمة مرة أخرى. وأشار المؤلفون إلى أن هذه الطريقة تعمل بشكل جيد عبر أحجام مختلفة من النماذج، من النماذج الصغيرة ذات 3 مليارات معلمة وصولًا إلى النماذج الأكبر ذات 12 مليار معلمة.

ومع ذلك، فإن الورقة البحثية حذرة في عدم الادعاء بأنهم قد "حلوا" مشكلة الهلوسة. فقد ذكروا صراحة أن طريقتهم تتطلب الوصول إلى أوزان الانتباه الداخلية للنموذج، مما يعني أنها تعمل فقط على النماذج مفتوحة المصدر حيث يمكنك رؤية توصيلات الدماغ، وليس على النماذج المغلقة والسرية. كما أوضحوا أنه بينما وجدوا ارتباطًا قويًا بين بالوعات الانتباه والهلوسة، إلا أنهم لم يثبتوا أن البالوعات هي التي تسبب الأكاذيب. الأمر يشبه رؤية محرك السيارة يسخن عندما تتحطم؛ الحرارة هي إشارة واضحة لوجود مشكلة، لكن الحرارة نفسها قد لا تكون هي السبب في تحطم السيارة.

لماذا يهم هذا الأمر

تكمن روعة هذا العمل في أنه يوحد العديد من الأفكار المختلفة. فقد أظهر المؤلفون أن الطرق الأخرى التي جربها الناس — مثل النظر إلى "شكل" رسم الانتباه البياني أو مقارنة مقدار الانتباه الموجه للسؤال مقابل الإجابة — هي في الواقع مجرد طرق مختلفة للنظر إلى ظاهرة "البالوعة" نفسها. الأمر يشبه إدراك أن ثلاثة أشخاص مختلفين يحاولون جميعًا وصف فيل عن طريق لمس ساقه، وأذنه، وذيله؛ إنهم جميعًا يلمسون نفس الحيوان، ولكن من زوايا مختلفة.

من خلال التركيز على "بالوعات الانتباه" هذه، يقدم المؤلفون طريقة أبسط وأكثر مباشرة للاستماع إلى الأفكار الداخلية للروبوت. لقد وجدوا أن "أكاذيب" الروبوت غالبًا ما تُشار إليها بنوع معين من الازدحام المروري الداخلي حيث يتوقف الدماغ عن معالجة المعلومات الجديدة ويبدأ في إعادة تدوير الإشارات القدة وغير المهمة. وبينما لا يعالج هذا ميل الروبوت للكذب، فإنه يمنحنا نظام إنذار فعال للغاية لمعرفة متى يبدأ الروبوت في الانجراف نحو الخيال.

باختختصار، تقترح الورقة أنه إذا كنت تريد معرفة ما إذا كان الذكاء الاصطناعي فائق الذكاء يقول الحقيقة، فلا ينبغي لك فقط الاستماع إلى ما يقوله، بل يجب عليك أيضًا مراقبة أين ينظر. إذا كان يحدق بشدة في الأشياء الخاطئة، فمن المحتمل أنه يختلق أمورًا من خياله.