🤖 machine learning

Continuous Latent Contexts Enable Efficient Online Learning in Transformers

تُثبت هذه الورقة أن تزويد نماذج المحولات (transformers) برموز سياقية كامنة مستمرة يُمكّنها من تنفيذ خوارزميات التعلم عبر الإنترنت بكفاءة، مثل "الأغلبية الموزونة" (weighted majority) و"تعلم كيو" (Q-learning)، مما يسمح للنماذج الصغيرة بالتفوق بشكل ملحوظ على النماذج اللغوية الكبيرة (LLMs) في المهام التكيفية طويلة الأمد.

المؤلفون الأصليون: Emile Anand, Abdullah Ateyeh, Xinyuan Cao, Max Dabagia

نُشر 2026-05-12

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Emile Anand, Abdullah Ateyeh, Xinyuan Cao, Max Dabagia

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعلم لعبة جديدة من خلال مشاهدة مجموعة من أربعة خبراء يلعبون. في كل جولة، يقدم الخبراء تخميناً، ثم تكتشف من منهم كان محقاً. هدفك هو تقديم أفضل تخمين ممكن بمرور الوقت من خلال معرفة أي خبير هو الأكثر موثوقية.

هذه الورقة البحثية تتحدث عن تعليم نماذج الذكاء الاصطناعي (تحديداً نماذج "Transformer") كيفية القيام بهذا النوع من التعلم بكفاءة، دون الحاجة إلى إعادة كتابة "دماغها" بالكامل (المعلمات/parameters) في كل مرة تحصل فيها على معلومات جديدة.

إليك تفصيل اكتشافهم باستخدام تشبيهات بسيطة:

1. المشكلة: ذكاء اصطناعي بـ "ذاكرة قصيرة المدى"

نماذج اللغات الكبيرة (LLMs) القياسية بارعة في النظر إلى محادثة طويلة وتخمين ما سيأتي بعد ذلك. وهذا ما يسمى "التعلم في السياق" (in-context learning). ومع ذلك، عندما تستمر اللعبة لفترة طويلة (مئات الجولات)، تعاني هذه النماذج. فهي تميل إلى نسيان الصورة الكبيرة أو الارتباك بسبب الحجم الهائل للتخمينات الماضية. إنها تعمل مثل شخص يحاول تذكر قصة مكونة من 100 صفحة بمجرد النظر إلى الجمل الأخيرة فقط، بدلاً من الاحتفاظ بملخص مستمر في ذهنه.

2. الحل: "مسودة الملاحظات المستمرة"

يقترح المؤلفون تزويد الذكاء الاصطناعي بأداة خاصة: رموز السياق الكامن المستمرة (Continuous Latent Context Tokens).

الطريقة القديمة (الرموز المنفصلة - Discrete Tokens): تخيل أن الذكما الاصطناعي يحاول الاحتفاظ بلوحة تسجيل عبر كتابة كلمات مثل "الخبير (أ) جيد" أو "الخبير (ب) سيء". هذا يستهلك مساحة كبيرة ويصبح فوضوياً.
الطريقة الجديدة (الرموز المستمرة - Continuous Tokens): تخيل أن لدى الذكاء الاصطناعي مسودة ملاحظات صغيرة وغير مرئية حيث يمكنه كتابة أرقام ليست كلمات. يمكنه مزج هذه الأرقام معاً مثل خلط الألوان.
- بدلاً من كتابة "الخبير (أ) موثوق بنسبة 80%"، فإنه يحتفظ بـ "لون" واحد سلس يمثل تلك الموثوقية بنسبة 80%.
- عندما تحدث جولة جديدة، لا يحتاج إلى كتابة جملة جديدة؛ بل يقوم فقط بتغيير اللون بشكل طفيف على مسودة الملاحظات لتحديث النتيجة.

هذه "المسودة" هي مدمجة (تأخذ مساحة صغيرة جداً) ومستمرة (تبقى مع الذكاء الاصطناعي من جولة إلى أخرى).

3. الإثبات: تعليم الذكاء الاصطناعي الرياضيات

لم يكتفِ الباحثون بالأمل في أن ينجح هذا، بل أثبتوا ذلك رياضياً ثم قاموا بتدريب ذكاء اصطناعي صغير للقيام بذلك.

خوارزمية الأغلبية المرجحة (Weighted Majority Algorithm): أظهروا أنه باستخدام هذه المسودة، يمكن لذكاء اصطنا-ي صغير أن يحاكي تماماً خوارداً رياضية شهيرة تُستخدم لتتبع موثوقية الخبراء. الأمر يشبه إعطاء الذكاء الاصطنا-ي آلة حاسبة تقوم بتحديث "درجة الثقة" لكل خبير فوراً وبشكل تلقائي.
تعلم كيو (تشبيه ألعاب الفيديو - Q-Learning): علموا أيضاً الذكاء الاصطنا-ي لعب لعبة فيديو بسيطة (عملية ماركوف لاتخاذ القرار - MDP). في هذه اللعبة، يتعين على الذكاء الاصطنا-ي تعلم أي الحركات تعطي أفضل المكافآت.
- عادةً، يحتاج الذكاء الاصطنا-ي إلى جدول ضخم لتذكر قيمة كل حركة ممكنة.
- مع المسودة المستمرة، يقوم الذكاء الاصطنا-ي بتخزين "جدول القيم" هذا بالكامل كعدد قليل من الأرقام الممزوجة. ويمكنه تحديث استراتيجيته فوراً بعد كل حركة، تماماً مثل لاعب بشري يتعلم من التجربة.

4. المفاجأة: ذكاء اصطنا-ي صغير مقابل ذكاء اصطنا-ي عملاق

الجزء الأكثر إثارة للدهشة في الورقة هو التجربة التي أجريت على النماذج "الرائدة" (Frontier models) (وهي نماذج ضخمة وقوية مثل DeepSeek-V3 و Qwen-3-14B).

الإعداد: طلبوا من هذه النماذج الضخمة لعب لعبة تخمين الخبراء.
النتيجة:
- بدون المسودة: عانت النماذج الضخمة. فقد اعتمدت على الذاكرة قصيرة المدى (مثل "الشخص الأخير كان محقاً، لذا سأخمن ذلك") وأدت أداءً ضعيفاً عبر التسلسلات الطويلة.
- مع المسودة (الملاحظة): سمح الباحثون لهذه النماذج الضخمة بكتابة "ملاحظة" قصيرة بعد كل جولة لتلخيص ما تعلموه.
- النتيجة النهائية: عندما سُمح للنماذج الضخمة بكتابة هذه الملاحظات، ارتفع أداؤها بشكل هائل. بدأت تتصرف مثل الذكاء الاصطنا-ي الصغير المثالي رياضياً الذي بناه المؤلفون.

العقبة: لم تكن النماذج الضخمة تعرف "كيف" تكتب ملاحظة جيدة بشكل طبيعي. كان عليهم توجيهها للقيام بذلك. وعندما فعلوا، أدركوا أن تلخيص الماضي (على سبيل المثال: "الخبير (أ) دقيق بنسبة 90%") أفضل بكثير من مجرد تذكر التاريخ الخام.

5. الخلاصة

تجادل الورقة بأن السياقات الكامنة المستمرة (مسودة الملاحظات غير المرئية والممزوجة بالأرقام) هي المفتاح لجعل التعلم طويل الأمد للذكاء الاصطنا-ي فعالاً.

ذكاء اصطنا-ي صغير + مسودة: يمكنه تعلم استراتيجيات عبر الإنترنت معقدة بشكل مثالي وفعال.
ذكاء اصطنا-ي ضخم + مسودة: يمكنه فجأة أن يصبح أفضل بكثير في اتخاذ القرارات طويلة الأمد، متفوقاً حتى على النماذج الأكبر التي لا تمتلك آلية "الحالة" (state) هذه.

باخت-ة، تقترح الورقة أنه لجعل الذكاء الاصطنا-ي ذكياً حقاً في التعلم بمرور الوقت، لا ينبغي لنا فقط جعل النماذج أكبر؛ بل يجب أن نعطيها طريقة أفضل للاحتفاظ بملخص لما تعلمته، باستخدام حالة داخلية "مستمرة" بدلاً من مجرد قائمة طويلة من الكلمات.

ملخص تقني: السياقات الكامنة المستمرة تمكّن التعلم عبر الإنترنت بكفاءة في نماذج المحولات (Transformers)

بيان المشكلة

تُظهر النماذج اللغوية الكبيرة (LLMs) قدرات قوية على التعلم في السياق، حيث تستنتج المتنبئات من الأمثلة المصنفة دون تحديث المعلمات. ومع ذلك، تتطلب العديد من الإعدادات التفاعلية اتخاذ القرار عبر الإنترنت (Online Decision-making)، حيث يجب على النموذج التكيف عبر آفاق زمنية طويلة ومتعددة الدورات استجابةً للتغذية الراجعة. يتطلب التعلم الفعال عبر الإنترنت الحفاظ على تمثيل مدمج للمعلومات المتعلمة (حالة خوارزمية) لإعلام القرارات المستقبلية.

تمثل سلسلة الأفكواب (Chain-of-Thought - CoT) القياسية التفكير الوسيط عبر رموز (tokens) منفصلة، والتي يمكن أن تصبح طويلة بشكل مفرط للمهام المعقدة ذات الآفاق الطويلة. تشير الأعمال الحديثة حول سلسلة الأفكواب المستمرة (مثل COCONUT) إلى أن حالات السياق الكامنة المستمرة يمكن أن تحمل المعلومات في "تراكبات" (superpositions) من رموز المفردات، مما قد يوفر تمثيلاً أكثر دمجاً للسياق. السؤال المركزي الذي تعالجه هذه الورقة هو ما إذا كانت سياقات السياق الكامنة المستمرة يمكن أن تجهز نماذج المحولات (transformers) لتنفيذ خوارزميات التعلم عبر الإنترنت بفعالية، وتحديداً من خلال تخزين وتحديث الحالات الخوارزمية كتركيبات خطية من تضمينات الميزات (feature embeddings).

المنهجية

تستخدم الورقة نهجاً مزدوجاً يجمع بين البناء النظري والتحقق التجريبي:

1. البناءات النظرية

يقدم المؤلفون بناءات صريحة لنماذج محولات سببية ذات عمق ثابت مزودة بسياقات كامنة مستمرة (باتباع بنية COCONUT) لتنفيذ إجراءين أساسيين لاتخاذ القرار عبر الإنترنت:

خوارزمية الأغلبية الموزونة (Weighted Majority Algorithm - WMA):
- الآلية: يحافظ المحول على حالة خوارزمية WMA في متجه سياق مستمر واحد. يعمل هذا المتجه كتراكب (تركيب خطي) من تضمينات الخبراء، حيث يقابل معامل كل تضمين خبير لوغاريتم وزن ذلك الخبير.
- العملية:
  - التنبؤ: تقوم رأس انتباه ناعمة (soft attention head) بالاستعلام عن متجه الحالة مقابل مفاتيح تنبؤ الخبراء لحساب تنبؤ الأغلبية الموزونة.
  - التحديث: عند تلقي الحقيقة الأرضية (ground truth)، يتم تحديث متجه الحالة عبر عمليات الانتباه الخطي لزيادة الأوزان اللوغاريتمية للخبراء الصحيحين (تحديث الأوزان الضربيه).
- النتيجة: يثبت البناء أن محولاً بعمق ثابت وعدد $O(1)$ من الرؤوس يمكنه استعادة قاعدة تحديث الأوزان الأسية بدقة.
تعلم كيو الجدول (Tabular Q-Learning):
- الآلية: ينفذ المحول تعلم كيو جدولي عبر الإنترنت لعمليات ماركوف لاتخاذ القرار (MDPs). يتم ترميز جدول Q كطقم من رموز السياق المستمرة، حيث يمثل كل رمز صفاً من جدول Q (مفهرس حسب الإجراء) كتراكب من تضمينات الحالة.
- العملية: يقوم المحول بمهمتين في كل خطوة:
  1. التقييم: يسترجع قيم Q الحالية لاختيار إجراء (تنفيذ $\max_a Q(s, a)$ ).
  2. التحديث: يحسب تحديث بلمان ( $Q(s, a) \leftarrow Q(s, a) + \alpha[r + \gamma \max_{a'} Q(s', a') - Q(s, a)]$ ) عن طريق كتابة الحدود في فضاءات فرعية منفصلة وجمعها خطياً في تيار المتبقي (residual stream).
- النتيجة: يُظهر نموذج محول سببي مكون من أربع طبقات أنه ينفذ تحديث تعلم كيو بدقة في كل خطوة.

2. التحقق التجريبي

قام المؤلفون بتدريب نماذج محولات صغيرة من نوع GPT-2 باستخدام أهداف منهج متعدد (multi-curriculum) لم تشرف مباشرة على الحالات الكامنة.

التعلم غير الخاضع للإشراف من بيانات الخبراء: تم تدريب محول صغير (4 طبقات، ~200 ألف معلمة) على تسلسلات تنبؤ الخبراء. تعلم النموذج الحفاظ على سياقات كامنة تشفر موثوقية الخبراء، محققاً أداءً مقارباً لخوارزمية الأوزان الضربيه المثلى.
تعلم التقليد لتعلم كيو (Imitation Learning of Q-Learning): تم تدريب محول صغير مماثل على مسارات ناتجة عن تعلم كيو جدولي. تعلم النموذج إخراج إجراءات متوافقة مع السياسة الجشعة الجدولية. أكدت الاختبارات الخطية (linear probes) أن مكونات تحديث بلمان (المكافأة، القيمة الحالية، والقيمة المستندة إلى التمهيد/bootstrapped value) ممثلة صراحة في تيار المتبقي.
تقييم النماذج اللغوية الكبيرة (Frontier LLMs): قيم المؤلفون النماذج الكبيرة (Qwen-3-14B و DeepSeek-V3) في مهام تنبؤ الخبراء التفاعلية. قارنوا بين البروتوكول القياسي وبروتوكول يسمح للنموذج بإخراج "ملاحظة" قصيرة غير خاضعة للإشراف لحمل معلومات الحالة.

النتائج الرئيسية

الجدوى النظرية: تثبت الورقة أن المحولات ذات العمق الثابت والسياقات الكامنة المستمرة يمكنها نظرياً تنفيذ خوارزميات تعلم عبر الإنترنت معقدة (WMA و Q-learning) عن طريق تخزين الحالات الخوارزمية كتراكبات في عدد ثابت من رموز السياق.
كفاءة النماذج الصغيرة: في مهام التنبؤ عبر الإنترنت الاصطناعية، تفوق المحول الصغير المدرب (4 طبقات، 200 ألف معلمة) بشكل كبير على نماذج لغوية أكبر وأكثر تعقيداً (Qwen-3-14B بـ 14.8 مليار معلمة و DeepSeek-V3 بـ 671 مليار معلمة) في مهام اتخاذ القرار ذات التسلسل الطويل.
استعادة الحالة الكامنة: لوحظ في النماذج الصغيرة المدربة أن آليات الانتباه تركز على رموز السياق الكامنة، ونجحت الاختبارات الخطية في فك تشفير الحالة الخوارزمية (أوزان الخبراء أو قيم Q) من هذه الرموز، مما أكد أن النماذج تعلمت استخدام السياق كحالة مستمرة.
قيود النماذج اللغوية الكبيرة: أظهرت النماذج اللغوية الكبيرة بعض القدرة على التكيف مع التغذية الراجعة، لكنها قدمت أداءً أفضل بكثير عندما سُمح لها بإخراج "ملاحظة" صريحة تحمل معلومات الحالة. ومع ذلك، اعتمدت هذه النماذج غالباً على سلاسل نصية متزايدة خطياً (مثل النصوص المكتوبة جولة بجولة) بدلاً من تمثيلات الحالة المدمجة. في المقابل، يستخدم نهج السياق الكامن المستمر المقترح عدداً ثابتاً من الرموز بغض النظر عن طول التسلسل.

الأهمية والادعاءات

تدعي الورقة أن السياقات الكامنة المستمرة توفر حالة مستمرة بسيطة وفعالة لتمكين المحولات من تنفيذ خوارقات التعلم عبر الإنترنت.

التفسير الخوارزمي: تدعم النتماء إلى تفسير خوارزمي للتفكير المستمر الكامن، مما يشير إلى أن المحولات يمكنها استخدام سياقها ليس فقط كذاكرة سلبية، بل كحالة تعلم نشطة ومستمرة عبر الإنترنت تتيح تنفيذ خوارزميات محددة.
الكفاءة: يسلط النهج الضوء على قيمة التمثيلات الكامنة المستمرة على التفكير القائم على الرموز المنفصلة للمهام التي تتطلب صيانة حالة طويلة الأمد. ويشير إلى أن النماذج الصغيرة المزودة بالانحياز الاستقرائي الصحيح (السياقات المستمرة) يمكن أن تتفوق على النماذج الضخمة التي تعتمد على سلاسل الرموز المنفصلة لتتبع الحالة.
القيود: يشير المؤلفون إلى أن بناءاتهم النظرية هي الأمثل في الحالة الأسوأ (worst-case optimal)، وأن ظهور هذه القواعد التحديثية المحددة من التدريب القائم على التدرج على بيانات اللغة الطبيعية يظل سؤالاً مفتوحاً. كما أقروا بأن دراستهم اقتصرت على إعدادات اتخاذ قرار مبسطة، وأن التعميم على التفكير في العالم الحقيقي لم يثبت بعد.

تضع هذه الدراسة التفكير الكامن المستمر كحل محتمل لمشاكل القابلية للتوسع في سلسلة الأفكواب المنفصلة في اتخاذ القرار عبر الإنترنت، مما يفتح مساراً نحو صيانة أكثر كفاءة ومدمجة للحالة في بنيات المحولات.