HalluTracer: Hallucination Detection via Depth-Averaging Truth Signals
يعتبر HalluTracer إطار عمل للكشف عن الهلوسة بنظام الصندوق الأبيض، وهو يعمل على تحسين الدقة من خلال تجميع إشارات الصدق عبر جميع طبقات المحولات (transformer layers) عبر عملية متوسط عمق بسيطة، مما يتغلب بذلك على فقدان المعلومات في الأساليب الحالية التي تعتمد على طبقات أو مكونات معزولة.
تُعد النماذج اللغوية الكبيرة هي المحركات التي تقف وراء العديد من أدوات الذكاء الاصطناعي الحديثة، وهي قادرة على كتابة نصوص بليغة، والإجابة على أسئلة معقدة، وحل المشكلات بسلاسة تشبه السلاسة البشرية. ومع ذلك، تعاني هذه الأنظمة من خلل مستمر: فهي أحياناً تولد عبارات واثقة ولكنها غير صحيحة واقعياً، وهو فشل يُعرف باسم "الهلوسة". هذا ليس مجرد خلل في المخرجات؛ بل هو خطر جوهري يمس الموثوقية، خاصة عندما تُستخدم هذه النماذج في مجالات عالية الخطورة مثل الرعاية الصحية أو القانون. لسنوات، اشتبه الباحثون في أنه حتى عندما يكذب النموذج، فإن آلياته الداخلية تحتفظ بالحقيقة. فدماغ النموذج، إن جاز التعبير، يشفر إشارة تميز بين الحقيقة والتلفيق قبل وقت طويل من ظهور الكلمات النهائية على الشاشة. وكان التحدي يكمن في تعلم كيفية قراءة تلك الإشارة دون الضياع في ضجيج بنية النموذج الضخمة والمعقدة.
لقد طور فريق من الباحثين الآن طريقة جديدة تسمى "HalluTracer" لحل هذه المشكلة. فبدلاً من محاولة البحث عن "مفتاح حقيقة" واحد داخل النموذج أو النظر إلى جزء واحد فقط من معالجته، قرروا الاستماع إلى المحادثة بأكملها التي يجريها النموذج مع نفسه. فبينما يعالج النموذج اللغوي الكبير أمراً ما، فإنه يمرر المعلومات عبر سلسلة من الطبقات المتراكمة، مما يصقل فهمه خطوة بخطوة. وقد اكتشف الباحثون أنه عند كل طبقة من هذه الطبقات، ينتج النموذج إشارة خافتة وضئيلة تشير إلى ما إذا كانت الإجابة القادمة من المرجح أن تكون صحيحة أم خاطئة. وبشكل فردي، تكون هذه الإشارات ضعيفة ومليئة بالضجيج، مثل محاولة سماع همس في غرفة مزدحمة. لكن الباحثين وجدوا أن هذه الهمسات ليست عشوائية؛ فهي متسقة بما يكفي بحيث إذا استمعت إليها جميعاً معاً، تصبح الرسالة واضحة.
يكمن جوهر اكتشافهم في رؤية هندسية حول كيفية عمل هذه الطبقات. فقد وجدوا أن الطريقة التي تتحقق بها كل طبقة من الحقيقة تختلف قليلاً عن الطبقة التي تسبقها، كما لو أن كل طبقة تنظر إلى المشكلة من زاوية مختلفة قليلاً. ولأن هذه الزوايا مختلفة جداً، فإن الأخطاء أو الضجيج في طبقة ما لا يتطابق مع الأخطاء في الطبقة التالية. وهذا أمر بالغ الأهمية؛ فعندما قام الباحثون بمتوسط الإشارات من كل طبقة، تلاشت الضوضاء العشوائية، بينما نمت إشارة الحقيقة المتسقة. الأمر يشبه التقاط صورة بيد مرتجفة: قد تكون لقطة واحدة ضبابية، ولكن إذا التقطت لقطات عديدة من مواقع مختلفة قليلاً ودمجتها معاً، تصبح الصورة النهائية حادة وواضحة. ومن خلال مجرد حساب متوسط إشارات الحقيقة عبر جميع الطبقات، استطاع نظامهم اكتشاف الهلوسة بدقة مذهلة، متفوقاً في كثير من الأحيان على الطرق التي حاولت اختيار الطبقة "الأفضل" للنظر إليها.
ولاختبار هذه الفكرة، طبق الفريق "HalluTracer" على ستة نماذج لغوية كبيرة وخمسة معايير مرجعية مصمسة لكشف الأخطاء الواقعية. وكانت النتائج متسقة وقوية؛ حيث اكتشفت الطريقة الجديدة الهلوسة بشكل أفضل من التقنيات السابقة في جميع المجالات، مع تحسينات تتراوح بين واحد وأربعة عشر نقطة مئوية اعتماداً على صعوبة المهمة. وفي المهام المعقدة بشكل خاص والتي تتضمن استدلالاً متعدد الخطوات، كان التحسن أكثر دراماتيكية، حيث حقق النظام الجديد درجات كشف تقترب من الكمال في الحالات التي تعثرت فيها الطرق القديمة. كما أثبت الباحثون أن هذا النجاح لم يكن ناتجاً عن اختيار محظوظ للجزء الذي يجب النظر إليه في النموذج؛ فقد أظهروا أن الإشارة موزعة بالتساوي لدرجة أنه لا يهم أي مكون داخلي محدد فحصوه؛ إذ جاءت القوة بالكامل من عملية دمج المعلومات من كامل عمق النموذج.
يغير هذا العمل طريقة تفكيرنا في اكتشاف الأكاذيب في الذكاء الاصطناعي. ففي السابق، كان التركيز ينصب على إيجاد اللحظة المثالية أو الطبقة المثالية لقراءة عقل النموذج. لكن "HalluTracer" يظهر أن الحقيقة ليست مخبأة في بقعة واحدة، بل هي منسوجة طوال العملية بأكملها. ومن خلال معاملة الحالة الداخلية للنموذج كرحلة وليس كلقطة ثابتة، حوّل الباحثون مشكلة الاختيار الصعبة إلى مشكلة بسيطة من حساب المتوسطات. وتتميز هذه الطة بأنها خفيفة وسريعة، وقادرة على رصد الهلوسة المحتملة قبل أن ينهي النموذج توليد إجابته حتى. وهذا يعني أنه في المستقبل، يمكن تجهيز أنظمة الذكاء الاصطناعي بمراقب سلامة في الوقت الفعلي يستمع إلى الاستدلال الداخلي للنموذذ ويوقف البيان الخاطئ قبل أن يصل إلى المستخدم، مما يجعل هذه الأدوات القوية أكثر موثوقية للاستخدام في العالم الحقيقي.
ملخص تقني: HalluTracer
1. بيان المشكلة
غالبًا ما تقوم النماذج اللغوية الكبيرة (LLMs)، حتى عندما تكون متوافقة جيدًا، بتوليد نصوص سلسة ولكنها غير صحيحة واقعيًا (هلوسات)، مما يشكل مخاطر موثوقية كبيرة في عمليات النشر ذات الأهمية القصوى للسلامة. وبينما تشير الدراسات الميكانيكية إلى أن النماذج اللغوية الكبيرة تشفر داخليًا بنية ذات صلة بالحقيقة — يمكن استردادها عبر مجسات خطية من التنشيطات الخفية — فإن طرق الكشف الحالية تفشل في استغلال هذه الأدلة الداخلية بشكل كامل.
تقوم كواشف الصندوق الأبيض (white-box) الحالية عادةً باختزال الأدلة الداخلية إلى مكونات معزولة، مثل رأس انتباه واحد، أو طبقة محددة، أو حالة خفية نهائية. يفترض هذا النهج ضمنيًا أن الحقيقة هي خاصية موضعية الطبقة. ومع ذلك، فإن تيار البقايا (residual stream) وطبقات التغذية الأمامية تعمل كآليات موزعة تعمل على تحسين التنبؤات بشكل هرمي؛ حيث يتم بناء الحقيقة تدريجيًا عبر المسار الأمامي وليس بشكل لحظي. وبناءً على ذلك، فإن الطرق الحالية تتجاهل المعلومات التمييزية الموزعة عبر كامل عمق النموذج.
2. المنهجية: HalluTracer
يقدم المؤلفون HalluTracer، وهو إطار عمل للكشف قبل فك التشفيد (pre-decoding) يعامل إشارة الحقيقة ككمية متطورة عبر عمق نموذج الـ Transformer. تعمل هذه الطريقة قبل أن يصدر النموذج أي رمز للإجابة.
البنية الأساسية
القراءة على مستوى الطبقة (Layer-wise Readout): عند كل طبقة Transformer l، يتم استخراج الحالة الداخلية للنموذذ عند موضع بدء الإجابة (آخر رمز في المطالبة الذي يسبق التوليد) هو المستخرج.
المجس لكل طبقة (Per-Layer Probing): يقوم مجس خطي مُشرف ومحدد لكل طبقة برسم هذه التمثيل المستخرج إلى لوجيت حقيقة (truth logit) عددي Ll. وهذا ينشئ تسلسلًا من اللوجيتات τ=[L0,L1,…,Lm−1]⊤، يُسمى مسار اللوجيت (logit trajectory).
تجميع العمق (Depth Aggregation): يقوم إطار العمل بتجميع هذه الدرجات لكل طبقة في إشارة خطر عددية واحدة عبر متوسط العمق: Lˉ=m1∑Ll. يتم تغذية هذا العدد في مصنف انحدار لوجستي للكشف عن الهلوسة.
التحليل الهندسي والتبرير النظري
يقدم البحث تحليلًا هندسيًا يوضح لماذا يعد متوسط العمق البسيط قريبًا من المثالية:
ندرة الإشارة والتماثل (Signal Sparsity & Isotropy): يوضح المؤلفون أن مجسات الحقيقة هي منخفضة الطاقة (تلتقط أقل من 1% من تباين التمثيل) وأن اتجاهات المجسات المتجاورة شبه متعامدة عبر الطبقات. وهذا يعني أن ضوضاء الطبقة المحددة ضعيفة الارتباط.
تفكيك شكل المستوى (Level-Shape Decomposition): يتم تفكيك مسار اللوجيت إلى مكون "المستوى" (النمط المشترك لجميع العينات والوسط الشرطي للفئة) ومكون "الشكل" (البواقي الخاصة بكل طبقة).
هيمنة نسبة الإشارة إلى الضوضاء (SNR Dominance): يظهر تحليل نسبة الإشارة إلى الضوضاء (SNR) أن متوسط المسار Lˉ يلتقط الإشارة السائدة للشرط الفئوي. ولأن المجسات المتجاورة شبه متعامدة، فإن عملية المتوسط تقلل من ضوضاء الطبقة المحددة (ϵi,l) مع الحفاظ على الإشارة المشتركة.
مثالية فيشر (Fisher-Optimality): توفر النظرية 3.6 هوية فيشر مدركة للتباين، مما يثبت أنه في الأنظمة التي تم تقييمها، فإن المتوسط الموحد هو قريب من المثالية وفقًا لفيشر. إن المكاسب المحتملة من التجميع الخطي المعقد والمدرك للتباين ضئيلة (تحسن بنسبة 2-4% في SNR) وتتطلب تقدير مصفوفة تباين كاملة m×m، وهو أمر مكلف حاسبيًا وغير مستقر إحصائيًا.
3. المساهمات الرئيسية
كاشف ما قبل فك التشفيد عبر العمق: يعد HalluTracer كاشفًا خفيف الوزن يقرأ أدلة الحقيقة من كل طبقة Transformer عند موضع بدء الإجابة ويجمع هذه الدرجات، مستبدلًا مشكلة اختيار الطبقة بمشكلة تجميع العمق.
التفسير الهندسي لتجميع العمق: يستنتج البحث تشخيصًا مدركًا للتباين يوضح أن مخرجات الحقيقة هي ضئيلة وذات طاقة منخفضة ومتوافقة بشكل ضعيف عبر العمق. ويثبت أن متوسط العمق البسيط يلتقط جميع الإشارات المتاحة خطيًا للكشف، مما يقلل من ضوضاء الطبقة المحددة.
التحقق التجريبي: أظهرت التجارب المكثفة عبر ستة نماذج لغوية مفتوحة الأوزان (سلسلة LLaMA-2، LLaMA-3.1، Qwen2.5) وخمسة معايير للهلوسة تحسنات مستمرة مقارنة بالنماذج المرجعية المتطابقة من نوع الصندوق الأبيض.
4. النتائج التجريبية
تم تقييم HalluTracer على خمسة معايير: TruthfulQA، TrueFalse، HaluEval2، HELM، وAgentic.
مكاسب الأداء: يتفوق HalluTracer باستمرار على النماذج المرجعية المتطابقة لما قبل فك التشفيد (Fact-Probe، ITI-Probe، IRIS) وعلى نموذج ما بعد التوليد (HalluGuard) من حيث AUROC وAUPRC.
تتراوح المكاسب بين 1 إلى 14 نقطة مئوية في AUROC اعتمادًا على المعيار والنموذج.
في معيار Agentic المعقد مع Qwen2.5-72B، حقق HalluTracer نسبة 97.86% AUROC، متفوقًا على أفضل نموذج أحادي الطبقة (ITI-Probe بنسبة 86.16%) بـ 11.7 نقطة.
دراسات الاستئصال (Ablation Studies):
كفاية المتوسط: يتطابق متوسط المسار Lˉ وحده في الأداء مع مجموعة تشخيصية كاملة خماسية الأبعاد (بما في ذلك الميل وتباين المنطقة)، مما يؤكد أن ميزات المسار من الرتب العليا لا تضيف قدرة تمييزية تذكر.
متانة القراءة: الأداء قوي تجاه اختيار آلية القراءة (لكل رأس مقابل تيار البقايا الكامل) واختيار رأس انتباه محدد، مما يشير إلى أن الإشارة موزعة وليست معتمدة على رأس "سحري" معين.
أخذ عينات العمق: يتحسن الأداء بشكل رتيب مع عدد الطبقات المضمنة، ويصل إلى مرحلة التشبع بعد حوالي 8-12 طبقة، وهو ما يتوافق مع تقليل التباين المتوقع من نموذج البواقي المستقل.
5. الأهمية والادعاءات
يعيد البحث صياغة كشف الهلوسة من مشكلة اختيار الطبقة إلى مشكلة تجميع العمق. تكمن الأهمية الأساسية في الرؤية الهندسية التي تشير إلى أن إشارات الحقيقة هي إشارات ضئيلة وموزعة عبر عمق الشبكة.
الكفاءة: من خلال الاعتماد على متوسط العمق البسيط، يتجنب HalluTracer التكاليف الحسابية والإحصائية لتقدير هياكل التباين المعقدة أو اختيار طبقات/رؤوس محددة.
العمومية: تنتقل الطريقة عبر بنيات النماذج المختلفة وأحجام المعلمات المختلفة دون الحاجة إلى إعادة ضبط أوزان التجميع.
النطاق: يشير المؤلفون صراحةً إلى أن HalluTracer يكشف عن هلوسات النزوع (propensity hallucinations)—وهي الأخطاء المشفرة في الحالة الداخلية عند موضع بدء الإجابة. هو لا يدعي كشف الهلوسات الناشئة فقط عن تراكم الخطأ التلقائي أثناء توليد تسلسلات طويلة (الهلوسات التوليدية)، رغم أنه يمكن دمجه مع مراقبين أثناء وقت التوليد لهذا الغرض.
يؤسس هذا العمل حقيقة أن تجميع إشارات الحقيقة الضعيفة وشبه المتعامدة عبر جميع الطبقات ينتج كاشفًا قويًا وخاليًا من المعلمات يتفوق بشكل كبير على الطرق التي تعتمد على حالات داخلية معزولة.