Evaluating Temporal Consistency in Multi-Turn Language Models

ملخص تقني: تقييم الاتساق الزمني في النماذج اللغوية متعددة الأدوار

1. بيان المشكلة

بينما تُظهر النماذج اللغوية الكبيرة (LLMs) دقة واقعية عالية في الإعدادات أحادية الدور، إلا أنها غالبًا ما تعاني من مشكلات في استقرار النطاق الزمني في التفاعلات متعددة الأدوار. ففي المحادثة البشرية، بمجرد تحديد إطار زمني (مثل "في عام 2010")، يُفترض ضمنيًا استمراره حتى يتم تغييره صراحةً.

كثيرًا ما تعاني النماذج اللغوية الكبيرة الحالية من الانجراف الزمني: فهي تفشل في الحفاظ على هذا السياق الضمني وتعود بدلاً من ذلك إلى افتراضات "العصر الحالي". وهذا ليس فشلًا في المعرفة الواقعية (إذ غالبًا ما يعرف النموذج الحقيقة التاريخية) بل هو فشل في التماسك السياقي—أي عدم القدرة على ربط المعرفة الصحيحة بنقطة مرجعية زمنية محددة ومتطورة عبر الحوار.

2. المنهجية

قدم المؤلفون ChronoScope، وهو معيار تشخيصي واسع النطاق مصمم لعزل وقياس نمط الفشل المحدد هذا.

• بناء مجموعة البيانات:

  • الحجم: أكثر من 1.46 مليون سلسلة أسئلة تم إنشاؤها بشكل حتمي.
  • المصدر: مستند إلى مخطط معرفة Wikidata، مما يضمن ترميزات زمنية دقيقة (أوقات البداية/النهاية، ومؤهلات النقطة الزمنية).
  • الآلية: تقوم خطوط الإنتاج (pipeline) بتجسيد "جداول الحقيقة" من لقطات Wikidata وتحويلها إلى لغة طبيعية باستخدام قوالب خاصة بالخصائص. يضمن ذلك أن يكون المعيار قابلًا للتكرار وخاليًا من الهلوسة الناتجة عن البشر أو النماذج.
  • عائلات السلاسل: تم تنظيم مجموعة البيانات في 11 عائلة تختبر أنماط استدلال مختلفة، مثل الاستمرارية (Persistence - الاستمرار الضمني)، وتبديل النطاق (Scope Switch - التجاوز الصريح)، ونقل الكيان المتقاطع (Cross-Entity Transfer - تطبيق الزمن على موضوع جديد)، والسرديات الزمنية (Temporal Narratives - تتبع التغييرات عبر مسار معين).

• إعدادات التقييم: لعزل الأسباب المختلفة للفشل، استخدم المؤلفون ثلاثة إعدادات:

  1. السياق الذهبي (Gold Context): يتم استبدال الأدوار السابقة بإجابات صحيحة (ذهبية). هذا يعزل ما إذا كان بإمكان النموذج الاستدلال زمنيًا إذا كانت حالة الحوار مثالية.
  2. الاشتراط الذاتي (Self-Conditioned): يعتمد النموذج على إجاباته السابقة. هذا يرصد انتشار الخطأ وكيف يمكن لخطأ واحد أن "يسمم" بقية المحادثة.
  3. الأسئلة فقط (Questions Only): لا يتم تقديم أي سياق سابق. يعمل هذا كخط أساس لمعرفة ما إذا كان بإمكان النموذج حل الاستعلام دون ذاكرة حوارية.

• المقاييس الرئيسية:

  • Acc@1 / Final@1: دقة مستوى الدور ودقة الدور النهائي.
  • Strict-Chain Acc@1: نسبة السلاسل التي تكون فيها كل دور صحيحًا.
  • الانجراف الزمني (Temporal Drift): مقياس متخصص يقيس عدد المرات التي يقدم فيها النموذج إجابة "عصرية" صحيحة واقعيًا بدلاً من الإجابة التاريخية الصحيحة.

3. المساهمات الرئيسية

1. الصياغة الرسمية: تعريف "استقرار النطاق الزمني" كخاصية قابلة للقياس في سلوك النماذج اللغوية الكبيرة متعددة الأدوار.
2. معيار ChronoScope: مجموعة بيانات ضخمة، حتمية، ومتعددة الأدوار تتجاوز قيود الأسئلة والأجوبة الزمنية أحادية الدور في الأعمال السابقة.
3. الرؤى التشخيصية: تحديد "انحياز العصر الحالي" كنمط خطأ مهيمن، حيث تعطي النماذج الأولوية للمعرفة الحديثة المخزنة مسبقًا على السياق الحواري المستقر.
4. العلم المفتوح: جعل مجموعة البيانات وحزمة التقييم متاحة للعموم.

4. النتائج الرئيسية

• انهيار الاتساق: في إعداد الاشتراط الذاتي، تنهار دقة السلسلة الصارمة (strict chain accuracy) لتصل إلى ما يقرب من الصفر عبر جميع النماذج. يشير هذا إلى أن الأخطاء الزمنية تراكمية؛ فبمجرد أن يفقد النموذج الخيط الزمني، نادرًا ما يستعيده.
• مفارقة الحجم والانجراف: غالبًا ما تُظهر النماذج الأكبر والأكثر قدرة (مثل GPT-4 أو Gemini) معدلات انجراف أعلى. يشير المؤلفون إلى أن القوة في حفظ حقائق العصر الحالي أثناء التدريب المسبق تجعل هذه النماذج أكثر مقاومة للتجاوزات الزمنية الضمنية.
• المعرفة مقابل الاستدلال: غالبًا ما تُظهر النماذج دقة Final@1 أعلى من Acc@1 في ظل "السياق الذهبي"، مما يثبت أنها يمكنها في النهاية إيجاد الإطار الزمني الصحيح، لكنها تكافح للحفاظ عليه باستمرار طوال التفاعل.
• طول التفاعل: مع زيادة عدد الأدوار، يتدهور الاستقرار الزمني بشكل كبير، خاصة عندما يشترط النموذج مخرجاته السابقة (التي قد تكون غير صحيحة).

5. الأهمية

يسلط هذا البحث الضوء على فجوة حرجة في تطوير الذكاء الاصطناعي التفاعلي. بالنسبة للتطبيقات في الاستدلال القانوني، والبحث التاريخي، والتعليم، وتحليل السياسات، فإن النموذج الذي "ينجرف" إلى الحاضر ليس مجرد نموذج غير دقيق قليلاً—بل هو نموذج غير موثوق به جوهريًا.

يخلص البحث إلى أن تحسين الكثافة الواقعية (المزيد من المعرفة) ليس كافيًا للذكاء التفاعلي. بدلاً من ذلك، يجب أن يركز البحث المستقبلي على تتبع الحالة الزمنية، والأهداف التي تكافئ استمرارية السياق، واستراتيجيات فك التشفير التي تمنع النموذج من العودة تلقائيًا إلى أولوياته (priors) الأكثر حداثة والمخزنة مسبقًا.