🤖 AI

Temporal Context Reinstatement Drives Episodic-Like Order Memory in Long-Context Language Models

تُثبت هذه الورقة أن نماذج اللغة ذات السياق الطويل تحاكي ذاكرة الترتيب العرضي البشرية من خلال آلية محددة حيث تعيد رأس انتباه واحدة استعادة رمز زمني أحادي البعد، مما يقدم رؤى حول الأساس الحسابي للذاكرة طويلة المدى في كل من الأنظمة الاصطناعية والبيولوجية.

المؤلفون الأصليون: Mathis Pink, Vy Ai Vo, Qinyuan Wu, Jianing Mu, Javier Turek, Uri Hasson, Kenneth A. Norman, Sebastian Michelmann, Alexander Huth, Mariya Toneva

نُشر 2026-07-28

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Mathis Pink, Vy Ai Vo, Qinyuan Wu, Jianing Mu, Javier Turek, Uri Hasson, Kenneth A. Norman, Sebastian Michelmann, Alexander Huth, Mariya Toneva

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل عقلك كمكتبة ضخمة وفوضوية حيث تُكدس كل الكتب التي قرأتها يومًا ما على الأرض. إذا سألك أحدهم: "أي صفحة قرأت أولاً: تلك التي تتحدث عن التنين أم تلك التي تتحدث عن القرصان؟"، فلن تكتفي بالتخمين فحسب، بل ستتصفح الصفحات ذهنيًا، مستشعرًا "ثقل" الزمن لترى أي قصة أتت في وقت أبكر. هذه القدرة على تذكر ليس فقط "ماذا" حدث، بل "متى" حدث في تسلسل طويل، تُسمى الذاكرة العرضية (Episodic Memory). إنها القوة الذهنية الخارقة التي تسمح لنا بسرد القصص، والتعلم من ماضينا، وتوجيه مسارات حياتنا. لعقود من الزمن، حاول العلماء اكتشاف الآلية السرية داخل أدمغتنا التي تتبع هذا الجدول الزمني. ولكن نظرًا لأننا لا نستطيع استراق النظر بسهولة داخل دماغ حي أثناء تذكره للأحداث، ظل "كيف" الدقيقة لغزًا غامضًا.

هنا يأتي دور الذكاء الاصطناعي، وتحديدًا الجيل الجديد من "نماذج اللغات الكبيرة" (LLMs). فكر في هذه النماذج كقراء رقميين فائق السرعة يمكنهم ابتلاع كتب كاملة في جزء من الثانية. ولأن تروسها الداخلية مرئية تمامًا للعلماء (على عكس الدماغ البشري)، فإنها توفر فرصة فريدة للهندسة العكسية لكيفية حل الآلة لنفس ألغاز الذاكرة التي نحلها نحن. السؤال الكبير هو: هل تعتمد هذه النماذج في الذكاء الاصطناعي على التخمين بناءً على منطق القصة، أم أنها تبني بالفعل جدولًا زمنيًا ذهنيًا، تمامًا كما نفعل نحن البشر؟

تحدي ذاكرة الكتاب العظيم

في هذه الدراسة، قرر الباحثون وضع كل من البشر والذكاء الاصطناعي تحت الاختبار من خلال لعبة تسمى "مهمة استرجاع ترتيب التسلسل". اختاروا رواية غموض كلاسيكية، وهي "مقتل روجر أكرويد"، وقسموها إلى قطع صغيرة مكونة من 50 كلمة لكل منها. ثم قدموا أزواجًا من هذه القطع لكل من القراء البشر (الذين انتهوا للتو من قراءة الكتاب) ونموذجين قويين من الذكاء الاصطناعي: Llama 3.1-8B وLlama 3.1-70B. كانت المهمة بسيطة ولكنها مخادعة: "أي من هاتين القطعتين ظهرت أولاً في الكتاب؟"

كانت النتائج شبيهة بالبشر بشكل مدهش. أظهر كل من البشر ونماذج الذكاء الاصطناعي "تأثير المسافة" (Distance Effect). فعندما كانت القطعتان متباعدتين في الكتاب (مثل البداية والنهاية)، نجح الجميع في الإجابة بسهً. ولكن عندما كانت القطعتان متجاورتين تمامًا، انخفضت الدقة إلى مستويات تقارب التخمين العشوائي. يشير هذا إلى أن الذكاء الاصطناعي لم يكن يحفظ النص فحسب؛ بل كان يختبر نفس نوع "ضغط الوقت" الذي يختبره البشر عند محاولة تذكر أحداث وقعت بالقرب من بعضها البعض.

رأس "السفر عبر الزمن"

ولكن كيف كان الذكاء الاصطناعي يفعل ذلك حقًا؟ هل كان يستخدم حبكة القصة لتحديد الترتيب؟ (على سبيل المثال: "يجب أن يكون المحقق قد وصل قبل وقوع الجريمة، لذا فإن هذا المشهد يجب أن يكون في وقت سابق")؟ لمعرفة ذلك، قام الباحثون بشيء ذكي: لقد قاموا بخلط الكتاب. أخذوا الجمل وخلطوها في كتل عشوائية، مما دمر القصة، والحبكة، ومنطق السبب والنتيجة، مع الحفاظ على الكلمات كما هي تمامًا.

لو كان الذكاء الاصطناعي يعتمد على منطق القصة، لكان أداؤه قد انهار. لكنه لم ينهر. لا يزال الذكاء الاصطناعي يتذكر الترتيب بشكل جيد تقريبًا كما كان من قبل. وقد استبعد هذا فكرة أن النموذج كان "يقرأ الحبكة" فحسب. بدلاً من ذلك، اقترح أن الذكاء الاصطناعي كان يتتبع شيئًا أكثر جوهرية: إحساسًا خامًا بالوقت أو الموقع.

ولرؤية كيف تم ذلك بالضبط، استرق الباحثون النظر داخل "دماغ" الذكاء الاصطناعي (طبقات شبكته العصبية). واكتشفوا آلية رائعة: "رأس انتباه" (Attention Head) واحد ومحدد يعمل كوكيل سفر عبر الزمن مخصص.

مرحلة الترميز (Encoding Phase): بينما يقرأ الذكاء الاصطناعي الكتاب، يقوم هذا الرأس الخاص بكتابة "كود زمني" بهدوء لكل قطعة نص، مما يضع عليها عمليًا علامة "متى".
مرحلة الاسترجاع (Retrieval Phase): عندما يُطلب من الذكاء الاصطناعي مقارنة قطعتين، يبحث هذا الرأس نفسه في ذاكرته، ويجد الأكواد الزمنية لكلتا القطعتين، ويعيد استحضارهما. الأمر يشبه إخراج صورتين قديمتين والتحقق من الطوابع الزمنية الموجودة على ظهرهما لمعرفة أيهما التُقطت أولاً.

أثبت الباحثون أن هذا لم يكن مجرد مصادفة. فعندما قاموا بإزالة "رأس السفر عبر الزمن" هذا جراحيًا أثناء الاختبار، انخفضت قدرة الذكاء الاصطناعي على تذكر الترتيب إلى مستوى التخمين العشوائي تقريبًا. وعلى العكس من ذلك، عندما رفعوا مستوى إشارة هذا الرأس، أصبح الذكاء الاصطناعي أفضل في أداء المهمة.

الخلاصة

تشير هذه الدراسة إلى أنه بالنسبة لنماذج الذكاء الاصطناعي ذات السياق الطويل، فإن تذكر ترتيب الأحداث يعتمد على آلية محددة وموضعية: رأس انتباه واحد يخزن ويسترجع "كودًا زمنيًا" منخفض الأبعاد. الأمر لا يتعلق بفهم القصة؛ بل يتعلق بامتلاك ساعة ذهنية.

ومن المثير للاهتمام أن هذه الآلية لا تعتمد على حيل "الترميز الموضعي" (Positional Encoding) المتطورة (مثل RoPE) التي يبنيها المهندسون عادةً في الذكاء الاصطناعي لمساعدته على العد. لقد تعلم الذكاء الاصطناعي إنشاء خطه الزمني الداخلي الخاص من خلال التدريب، تمامًا كما قد تطور أدمغتنا طرقها الخاصة لتتبع الوقت. ورغم أن هذا لا يحل لغز الذاكرة البشرية بالكامل، إلا أنه يقدم لنا نموذجًا ملموسًا وعمليًا لكيفية بناء واسترجاع نظام ما لإحساس بـ "متى" من تدفق هائل للمعلومات. إنها خطوة صغيرة ولكنها مهمة نحو فهم كيف يمكن للعقول البيولوجية والاصطناعية على حد سواء أن تحافظ على إيقاع الزمن.

ملخص تقني: استعادة السياق الزمني تقود الذاكرة الترتيبية الشبيهة بالذاكرة العرضية في النماذج اللغوية ذات السياق الطويل

بيان المشكلة

تُمكّن الذاكرة العرضية البشرية من استرجاع التجارب الماضية المحددة، مع الحفاظ على معلومات حول ماذا حدث ومتى حدث ضمن تدفق زمني. ورغم عقود من البحث، لا تزال الآليات الحسابية الكامنة وراء هذه القدرة — وتحديداً كيفية استعادة البنية الزمنية أثناء الاسترجاع — محل نقاش. ويعود ذلك إلى حد كبير إلى محدودية الوصول الميكانيكي إلى أنظمة الذاكرة طويلة المدى لدى البشر، والتي يصعب فحصها والتلاعب بها سببياً.

بينما يتم تفسير النماذج اللغوية الكبيرة (LLMs) بشكل متزايد من خلال منظور الذاكرة العرضية، لا تزال هناك فجوة جوهرية: ليس من الواضح ما إذا كانت النماذج اللغوية الكبيرة تعتمد على إشارات زمنية صريحة (تتبع متى حدثت الأحداث) أم على استدلال دلالي غير مباشر (إعادة بناء الترتيب عبر سلاسل سببية أو سردية) لأداء أحكام الترتيب الزمني. علاوة على ذلك، فإن الآليات الداخلية التي تقود هذه الأحكام في بيئات السياق الطويل ليست مفهومة جيداً.

المنهجية

1. تصميم المهمة: مهمة استدعاء ترتيب التسلسل (SORT)

يقدم المؤلفون مهمة اختيار من متعدد ثنائية لاستقصاء ذاكرة الترتيب الزمني.

المثيرات: يتم أخذ مقطعين طول كل منهما 50 كلمة من نص طويل (تحديداً رواية مقتل روجر أكرويد).
المهمة: يُعطى للموضوع (بشري أو نموذج) المقطعان (أ) و(ب)، ويجب عليه تحديد أي المقطعين ظهر أولاً في النص الأصلي.
مقياس المسافة: يتم تعديل الصعوبة بناءً على المسافة بين الكلمات ( $\Delta w$ ) بين المقطعين.
البيانات البشرية: تم جمع مجموعة بيانات جديدة من 97 مشاركاً قرأوا الرواية وأكملوا المهمة في غضون 30 يوماً من انتهائهم منها.
بيانات النماذج: تم تقييم نموذجين من النماذج اللغوية الكبيرة ذات السياق الطويل، وهما Llama 3.1-8B-Instruct و Llama 3.1-70B-Instruct، على نفس أزواج المقاطع.

2. الشروط الضابطة

للتمييز بين الاستدلال القائم على السرد والاستدلال الزمني الصريح، قيم المؤلفون النماذج على:

متغيرات الجمل المبعثرة (Sentence-Block Shuffled): تم بعثرة الرواية على مستوى كتل مكونة من أربع جمل. يحافظ هذا على المحتوى المعجمي المحلي ولكنه يخل بالتماسك السردي والاعتمادات السببية العالمية.
تسلسلات الكلمات العشوائية: استُخدم تسلسل من 60 ألف توكن من الأسماء الإنجليزية المستقلة (i.i.d.) لضبط اتجاهات القراءة الزمنية بمعزل عن المحتوى السردي.
الوثائق الخارجية: استُخدم نص لمحضر اجتماع مجلس العموم البريطاني لاختبار التعميم.

3. التفسير الميكانيكي

يستخدم البحث التفسير الميكانيكي لتحديد كيفية تخزين واسترجاع المعلومات الزمنية:

التحليل التمثيلي: حلل المؤلفون ناقلات القيمة (value vectors) في ذاكرة المفتاح-القيمة (KV cache) أثناء مرحلة الترميز، وناقلات المخرجات أثناء مرحلة الاسترجاع.
اتجاهات القراءة الزمنية: باستخدام تحليل المكونات الرئيسية (PCA) على تسلسل الكلمات العشوائية، حددوا اتجاهاً خطياً أحادياً ( $w$ ) في رؤوس انتباه محددة يتوافق مع الترتيب الزمني الحقيقي للمقاطع.
درجة استعادة السياق الزمني (TRS): تم تعريف مقياس لتحديد الرؤوس التي يكون فيها التوافق الزمني مرتفعاً في كل من مرحلتي الترميز (ذاكرة القيمة) والاسترجاع، مما يشير إلى "استعادة" رمز زمني.
التدخلات السببية:
- الاستئصال (Ablation): إسقاط اتجاه القراءة الزمنية من تمثيلات مرحلة الاسترجاع لرؤوس معينة.
- التضخيم (Amplification): رفع مقياس المكون على طول الاتجاه الزمني بمعامل $\alpha$ .

النتائج الرئيسية

1. التشابه السلوكي وتأثير المسافة

يظهر كل من البشر والنماذج اللغوية الكبيرة تأثير المسافة المميز: تزداد دقة ترتيب المقاطع مع زيادة المسافة بين الكلمات بينهما.

تحقق النماذج دقة $\ge 70\%$ للمقاطع المتباعدة جداً، مما يحاكي الأداء البشري.
يظهر التحليل الإحصائي عدم وجود فرق جوهري بين الأداء البشري وأداء Llama 3.1-8B-Instruct، رغم أن نموذج 70B يتفوق قليلاً على البشر عند مسافات كبيرة محددة.

2. الاستقلالية عن التماسك السردي

من الأهمية بمكان أن أداء النموذج ظل دون تغيير إلى حد كبير عندما تم بعثرة النص المصدر على مستوى كتل الجمل.

استمرت الدقة وتأثير المسافة رغم اختلال المخططات السببية والسردية.
يشير هذا إلى أن النماذج لا تعتمد أساساً على إعادة بناء الحبكة أو السلاسل السببية لتحديد الترتيب؛ بل تعتمد على آلية قوية تجاه الاضطراب الدلالي.

3. تحديد رأس واحد لاستعادة السياق الزمني

كشف التحليل الميكانيكي أن معلومات الترتيب الزمني تتركز بشكل عالٍ:

الترميز: تتوفر المعلومات الزمنية في ذاكرات القيمة (value caches) لعدة رؤوس، مع ذروات في الطبقة 2 والطبقة 8 (في نموذج 8B) والطبقة 14 (في نموذج 70B).
الاسترجاع: يهيمن رأس انتباه واحد على استعادة الترتيب الزمني أثناء الاسترجاع:
- Llama 3.1-8B-Instruct: الطبقة 8، الرأس 11 (L8H11).
- Llama 3.1-70B-Instruct: الطبقة 14، الرأس 21 (L14H21).
تعمل هذه الرؤوس كـ "رؤوس استرجاع"، حيث توجه كتلة انتباه كبيرة للعودة إلى نطاق الترميز الخاص بالمقاطع المستعلم عنها.

4. الدور السببي لاستعادة السياق الزمني

أكدت التدخلات السببية ضرورة هذه الرؤوس المحددة:

الاستئصال: أدى حذف المكون الزمني من مخرجات الاسترجاع للرأس المحدد إلى تقليل دقة النموذج بنسبة 10-15%، مما خفض الأداء إلى مستويات قريبة من مستوى الصدفة.
التضخيم: أدى زيادة كسب المكون الزمني إلى تحسين الدقة (بنسبة تصل إلى 9% لنموذج 8B).
الخصوصية: لم يؤدِ استئصال الرؤوس الأخرى إلى نفس درجة التدهور؛ وفي نموذج 70B، أدى استئصال الاتجاهات الزمنية لرؤوس أخرى أحياناً إلى تحسين الأداء، مما يشير إلى وجود تداخل.

5. الاستقلالية عن التشفيرات الموضعية (RoPE)

الرمز الزمني المحدد ليس مجرد نتاج ثانوي لتشفيرات الموضع الدوارة (RoPE).

عندما تم تعطيل RoPE في نموذج 8B، تم الحفاظ على المعلومات الزمنية في رأس الاستعادة (بل وتم تعزيزها).
ظل اتجاه القراءة متوافقاً مع الاتجاه الأصلي (تشابه جيب التمام 0.69)، مما يشير إلى أن المحور الزمني يتم تعلمه أثناء التدريب وليس موروثاً من الهيكل الموضعي.

الأهمية والادعاءات

يدعي البحث تقديم تفسير ميكانيكي لكيفية قيام النماذج اللغوية الكبيرة ذات السياق الطويل بذاكرة الترتيب الزمني الشبيهة بالذاكرة العرضية. المساهمة الأساسية هي تحديد استعادة السياق الزمني كآلية حسابية محددة وموضعية.

الآلية: يثبت المؤلفون أن النماذج اللغوية الكبيرة تحل مهام الترتيب الزمني ليس فقط عبر الاستدلال الدلالي، بل عبر استعادة رمز زمني منخفض الأبعاد من ذاكرة المفتاح-القيمة عبر رأس انتباه واحد متخصص.
التوازي البيولوجي: يقدم هذا الاكتشاف هدفاً حسابياً ملموساً لمقارنة الأنظمة الاصطناعية مع التفسيرات البيولوجية للذاكرة العرضية، مثل "خلايا الوقت" والانجراف التمثيلي منخفض الأبعاد في الدوائر الحصينية والمناطق المجاورة للحصين.
التقدم المنهجي: يرسخ العمل إمكانية إجراء تفسير ميكانيكي للسياق الطويل، ويوفر مجموعة أدوات (ICMemory-Kit) ومنهجية لتحديد وتوثيقت عملية استرجاع المعلومات الزمنية سببياً.
القيود: يشير المؤلفون بتواضع إلى أنه بينما يوجد دليل على هذه الآلية في نماذج أخرى (Mistral, Qwen) ومهام أخرى (ترتيب المقاطع المتعددة)، فإن النتائج تعتمد أساساً على نماذج Llama 3 ومهمة ترتيب ثنائية محددة. هم لا يدعون أن هذه هي الآلية الوحيدة للذاكرة في النماذج اللغوية الكبيرة، ولكنها آلية مهيمنة لهذا النوع المحدد من المهام.

باختصار، يجادل البحث بأن استعادة السياق الزمني هي آلية مركزية وحرجة سببياً للذاكرة الشبيهة بالذاكرة العرضية للترتيب الزمني في النماذج اللغوية الكبيرة، مما يقدم رؤى جديدة حول كيفية تجسيد البنية الزمنية في كل من الأنظمة الاصطناعية والأنظمة البيولوجية المحتملة.