ملخص تقني: نماذج اللغات ذاتية التوطيد (SCoL)

بيان المشكلة

تعمل نماذج اللغات الكبيرة (LLMs) بشكل متزايد في بيئات تدفق تتضمن محادثات متعددة الأدوار، ووكلاء يستخدمون الأدوات، وسير عمل طويل الأمد. وبينما تسمح زيادة أحجام نافذة السياق للنماذج بالوصه إلى المزيد من الأدلة، إلا أن ذلك لا يضمن الحفاظ على المعلومات المفيدة أو إعادة استخدامها بفعالية. غالبًا ما تسيء النماذج استخدام الأدلة البعيدة وتتدهور مع زيادة طول السياق وتعقيد الاستدلال. تعتمد الحلول الحالية على الاسترجاع الخارجي، أو وحدات الذاكرة المساعدة، أو الضغط الفاقد للمعلومات، أو المعالجة المتكررة أثناء الاستدلال، مما يؤدي إلى الارتهان بجودة الاسترجاع أو إدارة الذاكرة.

يعيد هذا البحث صياغة استدلال السياق الطويل كمسألة توطيد مستمر للسياق (continual context consolidation). الهدف هو كتابة المعلومات المفيدة من تدفق السياقات مباشرة في أوزان النموذج (الذاكرة الداخلية) مع الحفاظ على المعرفة الموطدة مسبقًا. يواجه هذا النهج تحدي التداخل الكارثي (catastrophic interference)، حيث تؤدي التحديثات المتتالية لمعلمات الشبكة العصبية إلى الكتابة فوق المعرفة السابقة. غالبًا ما تكون الطرق الكلاسيكية للتخفيف من حدة ذلك (مثل التنظيم القائم على معلومات فيشر - Fisher-based regularization) مكلفة حاسوبيًا أو حساسة للتنفيذ عند مقاييس نماذج اللغات الكبيرة.

المنهجية: نماذج اللغات ذاتية التوطيد (SCoL)

يقترح المؤلفون إطار عمل SCoL، وهو إطار ما بعد التدريب حيث يتعلم نموذج لغوي كبير توليد تعليمات تحديث نصية تحدد أين في بنيته الخاصة يجب التكيف من أجل سياق معين.

الآلية الجوهرية

1. توليد الإجراء (Action Generation): بالنظر إلى السياق الحالي $c_t$، يقوم النموذج السياساتي $\pi_{\theta_{t-1}}$ بتوليد قائمة نصية من الوحدات الهيكلية (تحديدًا طبقات Transformer) المراد تحديثها.
2. التكيف (Adaptation): يقوم النموذج بإلحاق وحدات التكيف منخفضة الرتبة (LoRA) بطبقات مختارة ويقوم بعملية تحديث قياسية لنمذجة اللغة على السياق.
3. الحالة المزلقة (Drifting State): على عكس التعلم الوصفي القياسي حيث تكون السياسة ثابتة، يعمل SCoL تحت حالة نموذج مزلقة. كل تحديث مُلتزم به يغير معلمات النموذج $\theta_t$، والتي بدورها تغير السياسة $\pi_{\theta_t}$ التي ستولد اختيارات التحديث المستقبلية.

التدريب عبر التعلم المعزز الوصفي (Meta-Reinforcement Learning)

يتم تدريب SCoL باستخدام حلقة تعلم معزز وصفي مصممة للموازنة بين الاستحواذ (acquisition) (تعلم السياق الحالي) والاحتفاظ (retention) (منع نسيان السياقات السابقة).

• الحلقة الداخلية (الاختيار والالتزام):

  • لكل سياق، يأخذ النموذج عينات من $K$ من الإجراءات المرشحة النصية (اختيارات الطبقات).
  • يتم تكييف كل مرشح (تحديث LoRA) وتقييمه باستخدام دالة مكافأة $r_t$.
  • يتم الالتزام بالمرشح صاحب أعلى مكافأة في أوزان النموذج الجارية.
  • يتم إنشاء أزواج التفضيل من مكافآت المرشحين لتشكيل مجموعة بيانات للحلقة الخارجية.

• الحلقة الخارجية (تحديث السياسة):

  • يتم تحديث معلمات السياسة قبل التكيف $\theta_0$ باستخدام تحسين التفضيل المتطابق (Identity Preference Optimization - IPO) على بيانات التفضيل المتراكمة.
  • يعمل هذا على تحديث تهيئة السياسة بحيث تولد عمليات التشغيل المستقبلية لها اختيارات أفضل لمواقع التحديث.

تجليات المكافأة (Reward Instantiations)

يدعم إطار العمل نظامين للمكافأة:

1. الإشراف (SQuAD): تجمع المكافأة بين دقة الأسئلة والأجوبة اللاحقة على السياق الحالي (الاستحواذ) وتدهور الدقة في الاستعلامات السابقة المحتجزة (النسيان).
2. الذاتي (LongBench v2): بالنسبة للتدفقات غير المصنفة، تعتمد المكافأة على الزيادة في الاحتمالية اللوغاريتمية للسياق الحالي (الاستحواذ) والانخفاض الطبيعي في الاحتمالية اللوغاريتمية للسياقات الماضية (النسيان).

المساهمات الرئيسية

1. إعادة صياغة استدلال السياق الطويل: أعاد المؤلفون صياغة استدلال السياق الطويل كعملية توطيد مستمر للسياق، حيث يتم استدخال المعلومات في الأوزان بدلاً من إبقائها في مطالبات عابرة أو مخازن خارجية.
2. إطار عمل SCoL: نموذج ما بعد التدريب حيث يتعلم النموذج الكبير توليد أوصاف نصية لمواقع تحديث أوزانه الخاصة. وقد تم تجسيد ذلك عبر التعلم المعزز الوصفي باستخدام مكافآت الأسئلة والأجوبة المشرفة ومكافآت الاحتمالية الذاتية.
3. التحقق التجريبي: تم تقييم إطار العمل على SQuAD (دمج المعرفة) وLongBench v2 (توطيد السياق الطويل)، مما أظهر تحسنات مقارنة بالتحفيز (prompting)، والتلخيص، وتدريب وقت الاختبار بالدفعات (batch test-time training)، والضبط الدقيق المتتالي (sequential fine-tuning).

النتائج

دمج المعرفة المستمر (SQuAD)

• الأداء: حقق SCoL دقة فورية بلغت 35.40% واحتفاظًا بنسبة 20.46% عبر 100 فقرة متتالية. تفوق هذا على التحفيق فقط (28.17%)، وتدريب وقت الاختبار بالدفعات (26.52%)، والضبط الدقيق المتتالي (الذي انهار إلى نسبة احتفاظ 1.30%).
• دور النسيان: أدى إزالة حد النسيان ($\lambda=0$) إلى تحسين الاستحواذ الفوري (34.30%) لكن الاحتفاظ انخفض إلى 14.64%، مما يؤكد أن مكافآت الاحتفاظ الصريحة ضرورية للتخفيف من حدة النسيان الكارثي.
• أنماط الاختيار: تعلم النموذج اختيار مواقع تحديث متفرقة، مع التركيز بشدة على طبقات Transformer النهائية (مثل الطبقة 27).
• محاذاة فيشر (Fisher Alignment): تماشلت الطبقات المختارة بشكل كبير مع مناطق معلومات فيشر العالية (استدعاء بنسبة 45.1% مقابل خط أساس عشوائي بنسبة 35.7%)، مما يشير إلى أن النموذج يتعلم توجيه اللدونة نحو المناطق الحساسة للخسارة.

توطيد السياق الطويل (LongBench v2)

• التعميم: تم تدريب SCoL وصفيًا على تدفقات أقصر (16k–32k رمزًا) ولكن تم تقييمه على كل من التدفقات القصيرة والطويلة (32k–64k رمزًا).
• الأداء: في النظام القصير، حقق SCoL نسبة 42.3%، متفوقًا على جميع الخطوط المرجعية. وفي النظام الطويل، حقق 37.0%، متجاوزًا بشكل كبير الضبط الدقيق المتتالي (23.0%) والأساليب المعتمدة على السياق (in-context methods).
• الاستقرار: بينما عانى الضبط الدقيق المتتالي من انهيار الأداء مع زيادة طول السياق، حافظ SCoL على أداء تنافسي، مما يشير إلى أن آلية التوطيد تلتقط هياكل مستقلة عن الطول.

الأهمية والادعاءات

يزعم البحث أن SCoL يقدم نهجًا قابلًا للتوسع للتوطيد التدفقي من خلال تعليم النموذج كيفية اختيار مواقع التكيف ذاتيًا. تشمل النتائج الرئيسية ما يلي:

• اللدونة المتفرقة (Sparse Plasticity): تعلم النموذج توليد مواقع تحديث متفرقة تتماشى مع طبقات معلومات فيشر العالية، مما يوجه اللدونة بفعالية نحو المناطق الحساسة للخسارة مع الحد من التداخل.
• القابلية للتوسع: تنتقل سلوكيات الاختيار المتعلمة على تدفقات التدريب الوصفي الأقصر بفعالية إلى تدفقات التقييم الأطول دون الحاجة إلى الوصول إلى السياق الكامل أثناء الاستدلال.
• الذاكرة الداخلية: توفر كتابة السياق في الأوزان بديلًا أكثر قوة للذاكرة الخارجية أو الضغط، لأنها لا تعتمد على جودة الاسترجاع أو التلخيص الفاقد للمعلومات.

يقر المؤلفون بوجود قيود، بما في ذلك العبء الحسابي للتكيف في الحلقة الداخلية، وإمكانية حدوث انهيار النمط (تقليل تنوع اختيارات الطبقات) عبر جولات تدريب ممتدة. ويقترحون أن العمل المستقبلي يمكن أن يركز على تنظيم التنوع وتوسيع التدريب الوصفي لتسلسلات أطول.