Geometric Deviation as an Unsupervised Pre-Generation Reliability Signal: Probing LLM Representations for Answerability

ملخص تقني: الانحراف الهندسي كإشارة موثوقية غير مُراقبة ما قبل التوليد

بيان المشكلة
لا تزال الهلوسة – وهي توليد استجابات واثقة ولكنها غير صحيحة – تشكل تحدياً حرجاً لموثوقية النماذج اللغوية الكبيرة (LLMs) المنشورة. وبينما بحثت أعمال سابقة في معايرة عدم اليقين، والمصنفات الاستقصائية الداخلية، وتوجيه التمثيلات، فإن العديد من الطرق الحالية تعتمد على بيانات أخطاء مصنفة، أو تتطلب الوصول إلى مخرجات النموذج (ما بعد التوليد)، أو تكون حساسة لبنيات نماذج معينة. السؤال المركزي الذي تعالجه هذه الدراسة هو ما إذا كانت هندسة التمثيل غير المُراقبة وحدها يمكن أن تعمل كإشارة موثوقية عملية ما قبل التوليد. وتحديداً: هل يمكن للنموذج أن يدرك أن الطلب غير قابل للإجابة قبل توليد الرموز (tokens)، دون الحاجة إلى أمثلة خطأ مصنفة أو أخذ عينات من المخرجات؟

المنهجية
يقترح المؤلفون نهجاً بسيطاً وغير مُراقب يقيس المسافة الجيبية (cosine distance) لتمثيل الحالة الخفية للمطالبة (prompt) عن مركز مجموعة مرجعية من المطالبات المعروفة بأنها قابلة للإجابة ("تمثيلات فئة الإجابة الممكنة").

• التصميم التجريبي: تستخدم الدراسة ثلاثة نماذج مضبوطة التعليمات (instruction-tuned) ذات حجم مماثل (7-8 مليار معلمة): Llama 3.1-8B، و Qwen 2.5-7B، و Mistral-7B.
• بناء المطالبات (الأزواج المزدوجة): لعزل قابلية الإجابة عن الاختلافات السطحية (المجال، الطول، البنية النحوية)، صاغ المؤلفون أزواجاً مزدوجة لثلاثة أشكال من المطالبات:
  • الرياضيات (MATH): أسئلة حسابية أو جبرية محددة جيداً (قابلة للإجابة، A)، مقترنة بمتغيرات متطابقة بنيوياً تحتوي على كميات أو عمليات غير معرفة (غير قابلة للإجابة، U).
  • الحقائق (FACT): أسئلة حقائقية يمكن التحقق منها، مقترنة بمتغيرات تشير إلى أحداث مستقبلية غير قابلة للرصد أو كيانات غير موجودة.
  • البرمجة (CODE): تعبيرات بايثون ذات قيم عودة حتمية، مقترنة بمتغيرات غير معرفة، أو تسبب استثناءات، أو تتطلب عمليات حسابية لانهائية.
• استخراج الإشارة: يتم استخراج الحالات الخفية (hidden states)، وتجميعها عبر متوسط الرموز المدخلة (mean-pooling)، وتوسيطها (mean-centering) لإزالة تباين الخواص (anisotropy). درجة الموثوقية هي المسافة الجيبية للمطالبة بالنسبة لمركز مجموعة (A) ضمن شكلها المحدد.
• المقارنة المرجعية (Baselines): تمت مقارنة الإشارة الهندسية مع:
  1. المرجع القائم على الرفض (Refusal Baseline): مصنف يعتمد على الكلمات المفتاحية في المخرجات المولدة (كشف حالات الرفض الصريح).
  2. الاتساق الذاتي (Self-Consistency - SC): مرجع ما بعد التوليد باستخدام 5 عينات لقياس انحراف المخرجات.

المساهمات الرئيسية والنتائج

1. الهندسة تُشفّر شكل المهمة: تُنظم هندسة التمثيل أساساً بناءً على الشكل النحوي للمهمة (رياضيات، حقائق، برمجة) بدلاً من المحتوى الدلالي فقط. تميل المطالبات غير القابلة للإجابة ضمن شكل معين إلى البقاء ضمن الكتلة الهندسية لذلك الشكل، رغم تباين موقعها بالنسبة للمركز.
2. إشارة الموثوقية المشروطة بالشكل:
   • الرياضيات (إشارة قوية): تنحرف مطالبات الرياضيات غير القابلة للإجابة باستمرار عن مركز المطالبات القابلة للإجابة. ينتج عن ذلك فصل قوي عبر النماذج الثلاثة (ROC-AUC 0.78–0.84)، وهو ما يتفوق بشكل كبير على كل من مرجع الرفض والاتساق الذاتي. تلتقط الإشارة الحالات التي تهلوس فيها النماذج دون الرفض صراحةً.
   • الحقائق (لا توجد إشارة): لا يحدث فصل هندسي موثوق لعدم قابلية الإجابة الحقائقية (p > 0.34). فعدم القدرة على الإجابة عن الحقائق (مثل الأحداث المستقبلية) لا يمكن تمييزه نحوياً عن الحقائق القابلة للإجابة، مما يبقي الكتلة الهندسية سليمة.
   • البرمجة (إشارة مختلطة/متغيرة): لوحظت أحجام تأثير كبيرة (Cohen's d > 1.0)، مما يشير إلى أن الظاهرة تعمم على البرمجة، رغم أن الأهمية الإحصائية كانت مختلطة بسبب ارتفاع التباين داخل المجموعة لتعبيرات بايثون مقارنة بالرياضيات.
3. ملف الإشارة عبر الطبقات: إشارة قابلية الإجابة هي ظاهرة طبقات مبكرة. الفجوة بين تمثيلات المطالبات القابلة وغير القابلة للإجابة تصل لذروتها في الطبقات 2-5 وتتناقص عموماً نحو الطبقة النهائية. هذا التضاؤل ناتج عن انتقال التمثيلات القابلة للإجابة إلى فضاء "جاهز للتوليد" (generation-ready manifold) في الطبقات الأعمق، وليس بسبب تلاشي إشارات عدم القابلية للإجابة.
4. الإجماع عبر النماذج مقابل التباين السلوكي: يوجد توافق هندسي قوي بين النماذج فيما يتعلق بأنواع معينة من المطالبات غير القابلة للإجابة (مثل "أكبر عدد أولي")، مما يشير إلى أن الإشارة تعكس الخصائص البنيوية من جانب المدخلات. ومع ذلك، تتباين الاستجابات السلوكية: يميل Qwen إلى رفض هذه المطالبات، بينما يميل Llama غالباً إلى الهلوسة. يشير هذا إلى أن التدريب على المواءمة (alignment training) يؤثر على كيفية تفاعل النماذج مع الشذوذات الهندسية، وليس على وجود إشارة الشذوذ نفسها.

الآثار والادعاءات
تدعي الدراسة أن الانحراف الهندسي يعمل كإشارة موثوقية خفيفة الوزن، غير مُراقبة، وما قبل التوليد، ولكن مع وجود قيود واضحة:

• الفعالية: هي فعالة للغاية في المجالات المهيكلة حيث يؤدي عدم القابلية للإجابة إلى تناقضات بنيوية (مثل العمليات الرياضية غير المعرفة، أو أخطاء كتابة الكود). في هذه الحالات، تتفوق على المراجع القائمة على المخرجات (كلمات الرفض المفتاحية، الاتساق الذاتي) وتعمل بزمن استجاف (latency) صفري.
• القيود: الإشارة مشروطة بالشكل وليست عالمية. فهي تفشل في اكتشاف عدم قابلية الإجابة في الاستعلامات الحقائقية المفتوحة حيث تظل البنية النحوية سليمة رغم أن المحتوى غير قابل للتعرف عليه.
• الآلية: يتم إنشاء الإشارة مبكراً في الشبكة (الطبقات 2-5)، مما يشير إلى أن النموذج يشفر الانتهاكات البنيوية قبل اتخاذ قرار استراتيجية التوليد.

الخلاصة
يخلص المؤلفون إلى أنه بينما لا يعد الانحراف الهندسي كاشفاً عالمياً للهلوسة، إلا أنه يقدم آلية منضبطة ومنخفضة التكلفة لفحوصات الموثوقية ما قبل التوليد في المجالات ذات القيود الشكلية على قابلية الإجابة. وتؤكد النتائج أن العلاقة بين الهندسة الداخلية وسلوك النموذج يتم ضبطها بواسطة تدريب المواءمة، وأن التنشيطات في الطبقات المبكرة قد توفر إشارات موثوقية أقوى من طبقة المخرجات النهائية.