ملخص تقني: الفهم الزمني المهيكل والمحدود في النماذج اللغوية الكبيرة

بيان المشكلة

بينما تُظهر النماذج اللغوية الكبيرة (LLMs) أداءً قويًا في المهام المرتبطة بالزمن (مثل بناء الخطوط الزمنية، والأسئلة والأجوبة الزمنية)، لا يزال من غير الواضح كيف يعتمد استدلالها الزمني على التأطير اللغوي والمعرفي للزمن. غالبًا ما تتعامل النهج الحالية مع الزمن كطوابع زمنية مطلقة أو علاقات منفصلة، مما يفشل في مراعاة كيفية اكتساب النماذج اللغوية الكبيرة للتجريدات الزمنية المشفرة لغويًا أثناء تدريبها على اللغة الطبيعية. وتحديدًا، يفتقر المجال إلى فهم منهجي لكيفية تكيف النماذج اللغوية الكبيرة مع مختلف أطر المرجع الزمني (t-FoRs) — مع التمييز بين التأطير الإشاري (deictic framing) (المرتكز على "الآن" الخاصة بالمُجرِّب، مما ينتج عنه ماضٍ/حاضر/مستقبل) والتأطير المتسلسل (sequential framing) (المرتكز على حدث معين، مما ينتج عنه قبل/بعد). علاوة على ذلك، فإن تأثير العوامل الهيكلية مثل المسافة الزمنية، وطوبولوجيا الفترات (جبر ألين للفترات - Allen's Interval Algebra)، ومدة الحدث على التمثيلات الزمنية للنماذج اللغوية الكبيرة ليس موصوفًا بشكل جيد.

المنهجية

يقترح المؤلفون إطار تقييم حساس للإطار (frame-sensitive evaluation framework) يستخدم مهمة حكم التشابه لاستقصاء الإدراك الزمني للنماذج اللغوية الكبيرة.

1. بناء مجموعة البيانات

• المصدر: أحداث من العالم الحقيقي مستخرجة من ويكي بيانات (Wikidata)، مما نتج عنه مجموعة بيانات تضم 49,956 حدثًا تمتد من عام 0001 إلى 2100.
• إخفاء الهوية: لمنع الاعتماد على المعرفة التاريخية المحفوظة، تم استبدال أسماء الأحداث بأسماء حيوانات نادرة مع الحفاظ على طوابع البداية والنهاية الزمنية.
• أخذ العينات: تم اختيار مجموعة فرعية متوازنة مكونة من 321 حدثًا لضمان تغطية جميع علاقات جبر ألين الـ 13.
• النطاق: تحتوي مجموعة البيانات النهائية على حوالي 2.9 مليون إدخال للإطار الزمني الإشاري (deictic t-FoR) وحوالي 51,000 إدخال للإطار الزمني المتسلسل (sequential t-FoR).

2. التصميم التجريبي

تُقيّم الدراسة نموذجين من النماذج اللغوية الكبيرة مفتوحة المصدر: Qwen3-4B و Qwen3-30B.

• الإطار الزمني الإشاري (Deictic t-FoR): يتم إنشاء نقاط المرجع كمتوالية من طوابع "الآن" ($\tau$) بالنسبة للمُجرِّب. أزواج البيانات هي $(\tau, e_i)$، حيث $e_i$ هو الحدث المستهدف.
• الإطار الزمني المتسلسل (Sequential t-FoR): نقاط المرجع هي أحداث محددة ($e_j$). أزواج البيانات هي $(e_i, e_j)$، مما يؤسس للترتيب النسبي.
• المهمة: يتم توجيه النماذج لإخراج درجة تشابه $s \in [-1.00, 1.00]$ تشير إلى مدى تشابه الوقت/الحدث المرجعي مع الحدث المستهدف.
• المقاييس:
  • متوسط التشابه مقابل المسافة الزمنية: يُحلل كدالة للمسافة الموقعة (بالأيام).
  • التباين الخاص بالفترة: يتم تجميعه حسب علاقات ألين لقياس الاستقرار.
  • تفاعل المدة: يُحلل عبر خرائط حرارية لتقسيمات (المسافة، المدة).

النتائج الرئيسية

1. التكيف مع أطر المرجع الزمني

تتكيف النماذج اللغوية الكبيرة بشكل منهجي مع سلوكها بناءً على الإطار الزمني المختار، لكن الأنماط الناتلة تختلف بشكل كبير:

• الإطار الزمني الإشاري (Deictic t-FoR): تشكل درجات التشابه بنية متدرجة وغير متماثلة ممركزة حول الحاضر.
  • المستقبل: تنخفض الدرجات بشكل حاد وتتقارب نحو -1.00 مع تباين منخفض، مما يشيد بتمثيل موحد ومضغوط.
  • الماضي: تنخفض الدرجات بشكل تدريجي أكثر مع تباين أعلى بكثير، مما يشير إلى تمثيل أغنى ولكنه أقل استقرارًا للأحداث الماضية.
• الإطار الزمني المتسلسل (Sequential t-FoR): تُظهر درجات التشابه استقطابًا قويًا. بمجرد انفصال الأحداث زمنيًا (مسافة غير صفرية)، تنهار الدرجات بسرعة إلى قيم سالبة قوية. يتركز التباين فقط بالقرب من المسافة صفر (حيث تتواجد علاقات فترات متعددة مثل التداخل أو الالتقاء).

2. تأثير بنية الفترة (جبر ألين)

• العلاقات المستقرة: العلاقات المرتبة بدقة (قبل، بعد) والعلاقات المحاذية للحدود (يلتقي بـ، التقى بـ، يساوي) تعطي درجات متسقة ومستقطبة.
• العلاقات غير المستقرة: علاقات التداخل والاحتواء (مثل يتداخل مع، خلال، يحتوي على) تُظهر تباينًا أعلى بكثير. يشير هذا إلى أن النماذج اللغوية الكبيرة تواجه صعوبة في التعامل مع الطوبولوجيا الزمنية الغامضة بنيويًا، خاصة في الإطار المتسلسل.

3. تفاعل المدة والمسافة الزمنية

• الإطار الزمني الإشاري (الماضي فقط): يُلاحظ تأثير مدة متميز للأحداث الماضية. الأحداث الماضية ذات المدة الطويلة تحصل على تقييمات تشابه أعلى من الأحداث ذات المدة القصيرة عند مسافات متقاربة. في بعض الحالات، تُصنف الأحداث البعيدة طويلة المدة على أنها أكثر تشابهًا من الأحداث القريبة قصيرة المدة.
• لا يوجد تأثير للمدة: لا يحدث هذا التعديل لأحداث المستقبل في الإطار الإشاري، كما لا يظهر في الإطار الزمني المتسلسل، حيث يظل التشابه مستقطبًا بغض النظر عن المدة.

المساهمات الرئيسية

1. إطار تقييم حساس للإطار: قدم معيارًا يقارن بين الأطر الزمنية الإشارية والمتسلسلة باستخدام أحكام التشابه على أحداث من العالم الحقيقي، متجاوزًا مجرد الصحة الواقعية للحقائق.
2. مجموعة بيانات زمنية واسعة النطاق: أنشأت مجموعة بيانات مشتقة من ويكي بيانات تحافظ على بنية الفترة والمدة، مما يسمح بتحليل منهجي للمسافة الزمنية، وجبر ألين، والمدة على نطاق واسع.
3. التوصيف التجريبي للسلوك الزمني: قدمت أدلة على أن الفهم الزمني للنماذج اللغوية الكبيرة هو فهم يعتمد على الإطار ويتشكل بواسطة العوامل الهيكلية، وبالتحديد تحديد:
   • عدم التماثل بين الماضي والمستقبل تحت التأطير الإشاري.
   • الانهيار السريع للتشابه تحت التأطير المتسلسل.
   • عدم الاستقرار المرتفع في علاقات التداخل.
   • تأثيرات المدة المقتصرة على الأحداث الماضية تحت التثبيت الإشاري.

الأهمية والادعاءات

تجادل الورقة بأن النماذج اللغوية الكبيرة تمتلك شكلاً من أشكال الفهم الزمني المهيكل والمحدود.

• مهيكل: النماذج اللغوية الكبيرة لا تتعامل مع الزمن عشوائيًا؛ فهي تتكيف بشكل متسق مع هياكل المرجع المختلفة (الإشارية مقابل المتسلسلة) وهي حساسة للهندسة الفترية والمدة.
• محدود: هذا الفهم ليس مقياسًا زمنيًا عالميًا صريحًا. بل هو مقيد بالانتظامات اللغوية والمعرفية المشفرة في اللغة الطبيعية.
  • التمثيلات أغنى في الماضي منها في المستقبل.
  • التمثيلات أكثر استقرارًا للعلاقات المرتبة بوضوح منها للعلاقات المتداخلة.
  • يشير عدم التماثل بين الماضي والمستقبل وتأثير المدة الانتقائي إلى أن النماذج اللغوية الكبيرة لا تمتلك إحساسًا موضوعيًا متماثلًا بالزمن، بل إحساسًا منظورًا مرتبطًا بـ "المُجرِّب" أو بأحداث محددة.

يخلص المؤلفون إلى أن الفهم الزمني في النماذج اللغوية الكبيرة من المرجح أن يكون مشكلاً بواسطة الانتظامات المكتسبة لغويًا بدلاً من آليات الاستدلال الزمني الصريحة، وهو ما يتجلى في شكل مساحة تشابه متدرجة ومرتبطة بالسياق، تتكيف مع الإطار ولكنها لا تنهار في مقياس عالمي واحد.

القيود

تقتصر الدراسة حاليًا على النصوص الإنجليزية. يعتمد اختيار تصنيفات الأطر الزمنية على عمل إيفانز (2013) لتكملة العمل السابق، رغم أن الورقة تقر بعدم وجود إجماع عالمي حول التصنيف الذي يصف علاقات الأحداث بشكل أفضل.