Harnessing Reasoning Trajectories for Hallucination Detection via Answer-agreement Representation Shaping

ملخص تقني: تسخير مسارات الاستدلال للكشف عن الهلوسة عبر تشكيل تمثيل الاتفاق في الإجابة

بيان المشكلة
تنتج نماذج الاستدلال الكبيرة (LRMs) مسارات استدلال طويلة ومتماسكة قبل إنتاج الإجابة النهائية. ورغم أن هذه المسارات توفر إشارات غنية، إلا أنها غالباً ما تحجب عملية الكشف عن الهلوسة على مستوى الإجابة. إن فحص الحالات الخفية (hidden states) مباشرة على طول المسار الكامل أو استخدام نص المسار للكشف يعد أمراً هشاً؛ حيث تميل أدوات الكشف إلى الإفراط في التكيف (overfitting) مع الأنماط الأسلوبية السطحية في عملية الاستدلال بدلاً من التقاط صحة الإجابة النهائية. علاوة على ذلك، تعتمد الطرق الحالية غالباً على أخذ عينات مكلف وقت الاختبار (مثل توليد استجابات متعددة لقياس الاتساق) أو تتطلب تسميات بشرية لتدريب المصنفات. ويتمثل التحدي الجوهري في استخلاص إشارة مستقرة متمحورة حول الإجابة من مسار الاستدلال، تكون قوية تجاه تغيرات الصيغة السطحية ومؤشرة على خطر الهلوسة دون تكبد تكاليف استدلال عالية.

المنهجية: تشكيل تمثيل الاتفاق في الإجابة (ARS)
يقترح المؤلفون إطار عمل ARS، وهو إطار يتعلم تمثيلات للإجابة مشروطة بالمسار وصديقة للكشف، وذلك من خلال ترميز استقرار الإجابة صراحةً عبر التدخلات الكامنة. تعمل هذه الطريقة في مرحلتين رئيسيتين:

1. التدخل الكامن للإجابات المضادة للواقع (Counterfactual Answers):
بدلاً من تشويه نص مسار الاستدلال (الذي يمكن أن يقطع التماسك أو يُدخل إشارات زائفة)، يتدخل ARS مباشرة في الحالة الكامنة للنموذج. وتحديداً، يستهدف تضمين حدود المسار ($h$)، والذي يُعرف بأنه حالة الرمز الأخير (last-token hidden state) لمسار الاستدلال عند الطبقة قبل الأخيرة من نموذج LRM.

• يتم أخذ متجهات اضطراب صغيرة ($\delta$) من توزيع (مثل التوزيع الطبيعي المتماثل - isotropic Gaussian) وإضافتها إلى $h$ لإنشاء حالة معدلة $\tilde{h} = h + \delta$.
• يستمر النموذج في فك التشفير من $\tilde{h}$ لتوليد إجابة مضادة للواقع ($\tilde{a}$).
• تُكرر هذه العملية $M$ من المرات لتوليد مجموعة من الإجابات المضادة للواقع.

2. تشكيل تمثيل الاتفاق في الإجابة:
يبني إطار العمل أزواجاً تدريبية بناءً على الاتفاق بين الإجابة الأصلية ($a$) والإجابات المضادة للواقع ($\tilde{a}$).

• الأزواج الإيجابية: الإجابات المضادة للواقع التي تتفق مع الإجابة الأصلية ($Agr(a, \tilde{a}) = 1$).
• الأزواج السلبية: الإجابات المضادة للواقع التي تختلف مع الإجابة الأصلية ($Agr(a, \tilde{a}) = 0$).
• يتم تدريب دالة رسم خرائط خفيفة الوزن $g_\phi$ لتحويل تضمينات الإجابة العادية ($u$) إلى تضمينات مشكلة ($z$). الهدف هو خسارة تباينية (contrastive loss) تجذب التضمينات المتفقة نحو المرتكز (anchor) وتدفع التضمينات المختلفة بعيداً عنه.
• من الضروري ملاحظة أن معاملات نموذج LRM الأساسية ($\theta$) تظل ثابتة؛ حيث يتم تدريب الرأس الخفيف $g_\phi$ فقط. هذه العملية لا تتطلب تسميات حقيقية للهلوسة، بل تعتمد فقط على الاتساق الداخلي لتوليدات النموذج نفسه.

المساهمات الرئيسية

• أول إطار عمل لتشكيل المسار: يُقدم ARS كأول إطار عمل يستخدم مسارات الاستدلال بشكل منهجي لتشكيل تمثيلات الإجابة للكشف عن الهلوسة في نماذج LRM، وذلك باستخدام الاضطرابات الكامنة عند حدود المسار لاستحثاث إجابات مضادة للواقع.
• هدف مدفوع بالاتفاق: يقدم البحث هدفاً ينظم تضمينات الإجابة بناءً على ما إذا كانت التغييرات الداخلية الصغيرة تحافظ على الإجابة، متجنباً الاعتماد على تشويه النصوص الهش أو التسميات البشرية.
• التحليل النظري والتجريبي: يقدم المؤلفون مقترحاً نظرياً (Proposition 4.2) يربط بين احتمالية فصل الاتفاق للتضمينات المشكلة والحد الأعلى لخطأ الكشف عن الهلوسة. ومن الناحية التجريبية، أثبتوا أن استقرار الإجابة (المقاس بالاتساق المضاد للواقع) هو مؤشر على الصدق.

النتائج
أُجريت التجارب على أربع مجموعات بيانات (TruthfulQA, TriviaQA, GSM8K, MATH-500) باستخدام عائلات متعددة من نماذج LRM (متغيرات Qwen3-8B/14B و DeepSeek-R1-Distill).

• مكاسب الأداء: يتفوق ARS باستمرار على النماذج المرجعية القوية، بما في ذلك الطرق القائمة على عدم اليقين (Perplexity, Semantic Entropy)، والطرق القائمة على الاتساق (Lexical Similarity, SelfCKGPT)، وأدوات الكشف الخاصة بـ LRM (مثل RHD, RACE, G-Detector).
  • في اختبار TruthfulQA مع Qwen3-8B، حقق ARS درجة AUROC بلغت 86.64% (باستخدام CCS ككاشف لاحق)، وهو تحسن كبير عن خط الأساس لتضمينات LRM العادية (66.85%) وعن غيرها من الطرق المتطورة (مثل TSV التي حققت 77.08%).
  • لوحظت مكاسب مماثلة عبر جميع مجموعات البيانات وأحجام النماذج، حيث تراوحت التحسينات بين 10% إلى 20% مقارنة بالتضمينات العادية.
• القدرة على التعميم: تنتقل التمثيلات المشكلة بفعالية عبر مجموعات البيانات (على سبيل المثال، التدريب على GSM8K والاختبار على TriviaQA) وتتوسع لتشمل نماذج أكبر (14 مليار معلمة).
• الكفاءة: على عكس النماذج المرجعية القائمة على أخذ العينات التي تتطلب عمليات تمرير أمامي متعددة أثناء الاختبار، يتطلب ARS عملية توليد واحدة فقط عند الاختبار. كما أن عبء التدريب ضئيل (حوالي 649 ثانية لمجموعة تدريب TruthfulQA).

الأهمية والادعاءات
يزعم البحث أن ARS يعالج فشلاً حرجاً في الموثوقية في نماذج LRM، حيث يمكن لمسارات الاستدلال الفصيحة أن تخفي الأخطاء الواقعية. ومن خلال تشكيل التمثيلات لتعكس استقرار الإجابة تحت الاضطرابات الكامنة، يكشف ARS عن الحالات الداخلية "الهشة" المرتبطة بالهلوسة. يؤكد المؤلفون أن ARS هو مكون كشف وليس ضماناً للصدق، وهو مصمم ليُقرن مع ضمانات أخرى. يوفر العمل رؤى حول هندسة الهلوسة في نماذج الاستدلال، مما يشير إلى أن الإجابات المهلوسة غالباً ما تقع في مناطق من الفضاء الكامن ذات هوامش استقرار منخفضة، والتي يمكن كشفها بفعالية من خلال تشكيل الاتفاق في الإجابة دون إشراف بشري.