ملخص تقني: هندسة النسيان

بيان المشكلة

تنتج نماذج اللغات الكبيرة (LLMs) بشكل متكرر إجابات قديمة بنفس الطلاقة والثقة التي تنتج بها الإجابات الصحيحة. فعند السؤال عن حقائق تغيرت منذ تاريخ انقطاع تدريب النموذج (مثل القادة الحكوميين الحاليين أو مدربي الرياضة)، قد يسترجع النموذج حقيقة قديمة، أو يذكر صاحب المنصب السابق، أو يختلق حقيقة جديدة. تفشل طرق الكشف الحالية، التي تعتمد على إحصائيات مستوى المخرجات (مثل اعتلاج التوكن - Token Entropy، أو الاعتلاج الدلالي - Semantic Entropy) أو مجسات الحالة الخفية المدربة على الصحة العامة أو عدم اليقين، في التمييز بين أنماط الفشل هذه. وتحديداً، لا تستطيع هذه الطرق التمييز بين الاستدعاء القديم (Stale Recall) (استرجاع حقيقة كانت صحيحة وقت التدريب ولكنها أصبحت الآن قديمة) وبين التلفيق (Confabulation) (اختلاق حقيقة لم توجد من قبل). هذا الغموض يجعل عمليات النشر غير قادرة على التمييز بين الأخطاء القابلة للاسترداد الناتجة عن وقت التدريب وبين الهلوسة.

يجادل المؤلفون بأن هذا ليس فشلاً هندسياً بل هو فشل بنيوي: الانزياح الزمني (Temporal Drift) (سواء تغيرت حقيقة مخزنة أم لا منذ التدريب) مشفر في تيار النموذج المتبقي (Residual Stream) كأنه محور تمثيلي متعامد هندسياً مع كل من الصحة وعدم اليقين. وبناءً على ذلك، فإن أي طريقة تعمل فقط على إشارات الصحة أو عدم اليقين هي عمياء بنيوياً عن رصد الانزياح بحكم التصميم.

المنهجية

بناء مجموعة البيانات

قام المؤلفون ببناء مجموعة بيانات مكونة من 3,511 استعلاماً تغطي 1,342 حقيقة فريدة عبر أربعة علاقات (رئيس حكومة، رئيس مدربين، رئيس لـ، مملوك من قبل) بدقة زمنية تصل إلى مستوى اليوم، مستمدة من لقطة ثابتة من ويكيداتا (أبريل 2026).

• حالات المعرفة الزمنية: يتم تصنيف كل (عينة، نموذج) إلى واحدة من خمس حالات بناءً على مخرجات النموذج بالنسبة للجدول الزمني للحقيقة وتاريخ انقطاع تدريب النموذج ($\tau_\theta$):
  1. صحيح مستقر (Stable-Correct): إجابة صحيحة، لا يوجد انزياح.
  2. مفارقة تاريخية (Anachronism): إجابة غير صحيحة (صاحب منصب سابق)، لا يوجد انزياح (الحقيقة لم تتغير أبداً).
  3. استدعاء قديم (Stale-Recall): إجابة غير صحيحة (صاحب منصب سابق)، منزاح (الحقيقة تغيرت بعد التدريب).
  4. حالي مهجور (Obsolete-Current): إجابة غير صحيحة (صاحب المنصب عند التدريب، استُبدل لاحقاً)، منزاح.
  5. تلفيق (Confabulation): إجاءة غير صحيحة (مختلقة)، منزاح.
• التقييم المنضبط: لمنع النماذج من مجرد اكتشاف سنة الاستعلام (كعامل مربك)، يقتصر التقييم على سنوات استعلام $\ge \tau_\theta + 1$.

السبر والتحليل

تقيم الدراسة ستة نماذج مضبوطة بالتعليمات (Llama-2, Mistral, Llama-3.1, Qwen-2.5, Gemma-2) عبر أربع عائلات معمارية.

1. المجسات الخطية (Linear Probes): تم تدريب مجسات خطية ذات تنظيم L1 على تنشيطات التيار المتبقي ($h^{(\ell)}$) للتنبؤ بتسمية is_drifted. قام المؤلفون بمسح جميع الطبقات لتحديد طبقة ذروة الأداء.
2. اختبارات الاستقلال الهندسي: للتحقق من أن محور الانزياح مستقل عن محور الصحة وعدم اليقين، تم استخدام خمسة مقاييس تكميلية:
   • جيب تمام الأوزان (Weight Cosines): قياس الزاوية بين ناقلات وزن مجس الانزياح ومجسات الصحة وعدم اليقين.
   • ارتباطات الدرجات (Score Correlations): ارتباطات بيرسون بين درجات المجس ودرجات الصحة وعدم اليقين.
   • إسقاط الفضاء الصفري ثنائي الاتجاه (Bidirectional Null-Space Projection): إسقاط التيار المتبقي على الفضاء الجزئي المتعامد مع الاتجاهات المزعجة (الصحة/عدم اليقين) وإعادة تدريب مجس الهدف.
   • إسقاط الفضاء الصفري التكراري (INLP): إزالة الاتجاهات المرتبطة بالمتغيرات المزعجة تكرارياً لاختبار الاعتماد الموزع.
   • تفكيك إزاحة المتوسط (Mean-Shift Dissociation): مقارنة المجسات المدربة مقابل اتجاهات "فرق المتوسط" (DoM) غير المدربة لاستبعاد آثار التحسين.
3. التدخلات الميكانيكية:
   • ترقيع التنشيط (Activation Patching): استبدال الحالات الخفية الفاسدة بأخرى نظيفة لتحديد موقع المعالجة الزمنية.
   • إسناد اللوجيت المباشر (DLA): تفكيك لوجيتات المخرجات لمقارنة مسارات MLP بين "الاستدعاء القديم" و"التلفيق".
   • التوجيه السببي (Causal Steering): تضخيم أو كبح اتجاه الانزياح لمراقبة التغيرات في لوجيتات صاحب المنصب.

النتائج الرئيسية

1. القابلية للفك الخطى للانزياح

حقق مجس خطي تم تدريبه مباشرة على تسميات الانزياح AUROC يتراوح بين 0.83 و 0.95 عبر جميع النماذ الستة. في المقابل، ظلت المعايير المرجعية الموجودة (Token Entropy, Semantic Entropy, SEP, SAPLMA, CCS) قريبة من مستوى الصدفة (0.49–0.57). وهذا يؤكد أن الانزياح هو إشارة قابلة للفك خطياً في التيار المتبقي، لكنها غير مرئية للطرق التي لا يتم تدريبها صراحة على الانزياح.

2. التعامد الهندسي

تؤكد خمسة اختبارات أن محور الانزياح مستقل هندسياً عن الفضاء الجزئي للصحة وعدم اليقين:

• جيب تمام الأوزان: $|\cos| \le 0.14$ بين ناقلات مجس الانزياح وكل من ناقلات الصحة وعدم اليقين.
• ارتباطات الدرجات: $|r| \le 0.20$ بين درجات المجس ودرجات الصحة وعدم اليقين.
• إسقاط الفضاء الصفري: أدى إزالة اتجاهات الصحة وعدم اليقين إلى تدهور ضئيل جداً في AUROC ($|\Delta| \le 0.008$)، مما يؤكد أن الانزياح لا يقع ضمن نطاقها.
• INLP: إزالة 10 اتجاهات لكل متغير مزعج لا يزال يسمح باكتشاف الانزياح.
• تفكيك إزاحة المتوسط: المجسات المدربة تقترب من التعامد حتى عندما تكون اتجاهات فرق المتوسط غير المدربة مرتبطة بشدة، مما يشير إلى أن الاستقلال بنيوي وليس ناتجاً عن التشتت.

3. خصوصية النموذج واستقلالية المدخلات

في تجربة عبر تاريخ انقطاع مختلف باستخدام مدخلات متطابقة بايتياً، يعمل مجس الانزياح عند النموذج الذي يسبق تاريخ انقطاع تدريبه انتقال الحقيقة، ويظل صامتاً عند النموذج ذي التاريخ الأحدث. يتراوح احتمال $P(A > B)$ بين 0.975 و 0.998 عبر أزواج النماذج. وهذا يثبت أن المجس يكتشف الحالة المعرفية الداخلية للنموذج، وليس خصائص المدخلات مثل شهرة الكيان أو سنة الاستعلام.

4. التفسير الميكانيكي

• ديناميكيات الاسترجاء المتطابقة: يكشف إسناد اللوجيت المباشر أن دائرة استرجاع MLP تنتج مسارات متطابقة تقريباً لكل من "الاستدعاء القديم" و"التلفيق" ($r > 0.81$). كلا نمطي الفشل يصلان للذروة في نفس الطبقة، مما يفسر لماذا لا يمكن لثقة المخرجات (التي تعكس قوة الاسترجاع) الفصل بينهما.
• كامن ولكنه قابل للتنشيط: يظهر التوجيه السببي أن اتجاه الانزياح كامن تحت الاستدلال العادي (كبح الاتجاه لا يغير المخرجات)، ولكن عند تضخيمه، فإنه يعيد هيكلة لوجيتات صاحب المنصب، مما يشغل دائرة الاسترجاء الزمنية بشكل انتقائي.

الأهمية والادعاءات

يزعم البحث أن الانزياح الزمني هو خاصية تمثيلية متميزة لنماذج اللغات الكبيرة، وهي متعامدة بنيوياً مع الصحة وعدم اليقين. هذا الاستقلال الهندسي يفسر لماذا:

1. تفشل طرق كشف الهلوسة الحالية في التعامل مع الحقائق القديمة.
2. يمكن للنماذج أن تكون مخطئة بثقة (ثقة عالية، عدم يقين منخفض) في الحقائق المنزاحة لأنها تقوم بعملية استرجاع حقيقية لبيانات تدريب قديمة.
3. يتطلب اكتشاف الانزياح الزمني مجسات مدربة مباشرة على تسميات الانزياح؛ إذ لا يكفي إعادة استخدام مجسات الصحة أو عدم اليقين.

يخلص المؤلفون إلى أن الأنظمة المنشورة يجب أن تقرأ هذا المحور المحدد للانزياح لتحديد المعرفة القديمة، بدلاً من انتظار الأخطاء السطحية أو الاعتماد على تقديرات عدم اليقين. يوفر هذا العمل تفسيراً ميكانيكياً لكيفية ترميز النماذج للصلاحية الزمنية، ويثبت أن هذه الإشارة يمكن الوصول إليها عبر المجسات الخطية، مما يفتح مساراً نحو فحص حقائق زمنية أكثر قوة في تطبيقات النماذج اللغوية الكبيرة.