🤖 machine learning

Convergence and Emergence of In-Context Reinforcement Learning with Chain of Thought

تقدم هذه الورقة أول إطار نظري يثبت أن توليد سلسلة الأفكار (Chain-of-Thought) في نماذج المحولات الخطية (linear Transformers) يكافئ تعلم فرق التوقيت (temporal difference learning)، مما يثبت أنه يدفع نحو التقارب الهندسي لخطأ تقييم السياسة مع ظهوره كأدنى قيمة عالمية لخسارة ما قبل التدريب.

المؤلفون الأصليون: Zixuan Xie, Xinyu Liu, Rohan Chandra, Shangtong Zhang

نُشر 2026-05-11

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Zixuan Xie, Xinyu Liu, Rohan Chandra, Shangtong Zhang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مساعداً آلياً ذكياً جداً، ولكنه جامد نوعاً ما. عادةً، لكي تعلم هذا الروبوت لعبة جديدة، يتعين عليك إيقافه، وإعادة برمجة دماغه (تحديث معاملاته)، ثم البدء من جديد. وهذا أمر بطيء ومكلف.

التعلم التعزيزي في سياق المعلومات (ICRL) هو نهج مختلف. بدلاً من إعادة برمجة الروبوت، يمكنك ببساطة إعطاؤه "ورقة غش" أو سجلاً لما حدث في اللعبة في هذه اللحظة. ينظر الروبوت إلى هذا السجل ويستنتج ما يجب فعله بعد ذلك دون تغيير دماغه. إنه يتعلم "أثناء العمل".

تتقصى هذه الورقة البحثية خدعة محددة تسمى سلسلة الأفكار (Chain-of-Thought - CoT). أنت تعلم كيف يحل البشر مسألة رياضية صعبة، فنحن لا نلقي بالإجابة فحسب، بل نكتب الخطوات المتوسطة: "أولاً أفعل هذا، ثم أتحقق من ذاك، ثم أقوم بالتعديل..." سلسلة الأفكار هي قيام الذكاء الاصطناعي بنفس الأمر: توليد تسلسل من "الأفكات" قبل إعطاء الإجابة النهائية.

أراد المؤلفون في هذه الورقة فهم لماذا يجعل هذا "التفكير بصوت عالٍ" الروبوت أفضل بكثير في تعلم مهام جديدة فورياً. لقد استخدموا نسخة مبسطة من ذكاء اصطناعي حديث (تسمى "المحول الخطي" - Linear Transformer) لإثبات ثلاثة أمور رئيسية:

1. "التفكير" هو في الواقع "تعلم"

اكتشف المؤلفون أنه عندما يولد الذكاء الاصطناعي سلسلة من الأفكار، فإنه لا يتحدث لمجرد الكلام. إن ما يفعله يكافئ رياضياً تشغيل خوارزمية تعلم كلاسيكية تسمى تعلم فرق الفروق الزمنية (Temporal Difference Learning) مراراً وتكراراً.

التشبيه: تخيل أنك تحاول تخمين متوسط درجة حرارة غرفة ما.
- بدون سلسلة الأفكار: تعطي تخميناً سريعاً وتصرخ به.
- مع سلسلة الأفكار: تقول تخميناً، ثم تقول: "مهلاً، شعرت أن هذا مرتفع جداً. دعني أعدل بناءً على تيار الهواء القادم من النافذة". ثم تقول: "حسناً، هذا أفضل، ولكن الشمس تدخل الآن، لذا سأعدل مجدداً".
- تثبت الورقة أن كل مرة يولد فيها الذكاء الاصطناعي "فكرة" جديدة (خطوة جديدة في السلسلة)، فإنه يقوم رياضياً بخطوة تحديث دقيقة واحدة من خوارزمية التعلم. وكلما ولد "أفكاراً" أكثر، زادت دقة إجابته، تماماً مثل طالب يصحح عمله خطوة بخطوة.

2. كلما فكرت أكثر، اقتربت أكثر (ولكن هناك حد)

تظهر الورقة أنه كلما ولد الذكاء الاصطناعي أفكاراً أكثر (سلسلة أفكار أطول)، اقتربت إجابته أكثر فأكثر من الحل المثالي. ينخفض الخطأ بسرعة في البداية، مثل كرة تتدحرج على منحدر شديد.

التشبيه: تخيل أنك تحاول إصابة مركز الهدف في لوحة السهام وأنت معصوب العينين، ولكن هناك شخص يهمس لك بالتصحيحات بناءً على مكان رميتك الأخيرة.
- مع تصحيح واحد، ستكون بعيداً جداً.
- مع 10 تصحيحات، ستكون قريباً جداً.
- مع 100 تصحيح، ستكون على وشك إصابة المركز تماماً.
العائق: تشير الورقة إلى وجود "أرضية إحصائية". حتى لو استمررت في التفكير للأبد، فلن تصل إلى الكمال المطلق إذا كانت المعلومات التي زُودت بها (السياق) مشوشة أو غير كاملة. الأمر يشبه محاولة تخمين درجة حرارة الغرفة بدقة باستخدام ميزان حرارة مكسور؛ فلا يوجد قدر من التفكير يمكن أن يصلح الأداة المكسورة. الحد يتحدد بناءً على كمية البيانات التي بدأت بها.

3. الذكاء الاصطناعي "يكتشف" الطريقة الصحيحة للتفكير

لعل الاكتشاف الأكثر إثارة للدهشة يتعلق بـ كيفية تعلم الذك الذكاء الاصطناعي للقيام بذلك. أظهر الباحثون أنه إذا دربت الذكاء الاصطناعي على مجموعة متنوعة من المهام (ما قبل التدريب)، فإنه يكتشف بشكل طبيعي الإعدادات الداخلية المحددة (المعاملات) التي تجعل عملية "التفكير = التعلم" هذه تعمل.

التشبيه: تخيل طباخاً طهى آلاف الوجبات المختلفة. لم يتم تعليمه وصفة محددة لـ "التفكير". ومع ذلك، فمن خلال الخبرة، طور بشكل طبيعي طريقة معينة لتذوق الطعام وتعديله تكون هي الطريقة الأكثر كفاءة رياضياً للوص جبت إلى طبق مثالي. تثبت الورقة أن "الطريقة المثالية" التي يستخدمها الذكاء الاصطناعي للتفكير هي في الواقع "أفضل طريقة ممكنة" لتقليل الأخطاء، وأن الذكاء الاصطناعي يجد ذلك بشكل طبيعي أثناء التدريب.

ملخص

ببساً لغة بسيطة، توفر هذه الورقة برهاناً رياضياً على أنه عندما "يفكر" الذكاء الاصطناعي بصوت عالٍ (سلسلة الأفكار) لحل مشكلة جديدة، فإنه يشغل سراً خوارزمية تعلم قوية داخل رأسه. وكلما فكر أكثر، أصبح أفضل، وصولاً إلى الحد الذي تسمح به المعلومات التي حصل عليها. علاوة على ذلك، لا يحتاج الذكاء الاصطناعي إلى أن يُطلب منه القيام بذلك صراحة؛ بل يتعلم القيام به تلقائياً لأنه الطريقة الأكثر كفاءة لحل المشكلات التي تدرب عليها.

اختبر المؤلفون هذا على بيئة بسيطة ومسيطر عليها (لغز رياضي يسمى "سلسلة بويان" - Boyan's chain)، ورأوا الذكاء الاصطناعي يطور بشكل طبيعي الهيكل الداخلي الدقيق اللازم لأداء خطوات التعلم هذه، مما أكد نظريتهم.

ملخص تقني: التقارب والانبثاق في التعلم المعزز داخل السياق عبر سلسلة الأفكب (Chain of Thought)

بيان المشكلة

يتيح التعلم المعزز داخل السياق (ICRL) للوكلاء التكيف مع مهام جديدة أثناء وقت الاستدلال دون تحديث المعلمات، وذلك من خلال التكيّف مع سياق إضافي، مثل مسارات التفاعل. وبينما أظهرت الدراسات التجريبية أن توليد "سلسلة الأفكار" (CoT) يمكن أن يعزز قدرات ICRL، لا سيما في النماذج اللغوية الكبيرة (LLMs)، إلا أن الفهم النظري لكيفية تفاعل CoT مع ICRL لا يزال محدودًا. تركز الأعمال النظرية الحالية حول ICRL بشكل أساسي على التدريب المسبق الخاضع للإشراف أو الإعدادات المثالية ذات الديناميكيات المعروفة، مما يترك فجوة في فهم آليات تقييم السياسة المدفوع بـ CoT تحت التدريب المعزز والديناميكيات غير المعروفة.

المنهجية

يحلل المؤلفون ICRL ضمن إطار تقييم السياسة باستخدام بنية "ترانسفورمر" خطي (Linear Transformer). وتتضمن المنهجية الجوهرية ما يلي:

نمذجة CoT كتحديثات تكرارية: تصنف الورقة تقييم السياسة كمهمة تعلم أوزان داخل السياق. بالنظر إلى مسار محدود $\tau_n$ ، يتعين على الترانسفورمر تقريب النقطة الثابتة لفرق الفروق الزمني (TD) $w^*$ . يصيغ المؤلفون توليد CoT كعملية تكرارية حيث يولد النموذج تسلسلاً من تكرارات الأوزان الوسيطة $\{w_k\}$ ، حيث تعتمد كل خطوة على المطالبة (prompt) المتنامية.
تحليل الانتباه الخطي: تستخدم الدراسة "الانتباه الذاتي الخطي" (استبدال دالة softmax بخريطة الهوية) لتسهيل التتبع النظري. يقوم المؤلفون ببناء مصفوفات معاملات محددة $(P, Q)$ لطبقة الانتباه الخطي.
بناء المطالبة (Prompt Construction): يتم تعريف مصفوفة مطالبة مهيكلة $Z_0$ لفصل السياق الثابت (بيانات المسار) عن عمود التكرار. تقوم عملية CoT بإلحاق أعمدة تكرار جديدة بهذه المطالبة، مما يسمح للنموذج بإجراء حسابات تكرارية على السياق الثابت.
تحليل التقارب: يحلل المؤلفون تقارب التكرارات المولدة في نظامين:
- الديناميكيات المعروفة: حيث تكون مصفوفة الانتقال متاحة، ويتم بناء السياق باستخدام سمات التوالي المتوقعة.
- الديناميكيات غير المعروفة: حيث يعتمد النموذج على مسار ماركوفي واحد محدود، مما يؤدي إلى أخطاء تقدير واعتماديات.
تحليل الانبثاق: تبحث الورقة فيما إذا كانت المعلمات المحددة المطلوبة لـ CoT لتنفيذ تحديثات TD قابلة للتعلم. يحدد المؤلفون هدف تدريب مسبق تجريبي يعتمد على "معيار التحديث التجريبي" (EUN) ويحللون الأمثلية العالمية للمعلمات المنشأة.

المساهمات الرئيسية

1. التكافؤ بين CoT وتحديثات TD

تقدم الورقة برهانًا بنائيًا مفاده أنه تحت تكوينات معاملات محددة $(P, Q)$ ، فإن طبقة ترانسفورمر خطية واحدة مع توليد CoT تكافئ رياضيًا تنفيذ تحديثات تعلم فرق الفروق الزمني (TD) الدفعية بشكل متكرر على السياق.

النظرية 1: تثبت أنه بالنسبة لمطالبة مهيكلة، فإن مخرجات طبقة الانتباه الخطي تنتج بالضبط تكرار TD الدفعي التالي $w_{k+1}$ من $w_k$ . وهذا يثبت أن توليد CoT يحاكي فعليًا عملية تحسين تكرارية داخل تمريرة التغذية الأمامية (forward pass).

2. ضمانات التقارب في وقت الاستدلال

يضع المؤلفون معدلات التقارب لخطأ تقييم السياسة (المقاس بمتوسط خطأ بيل مان للمشروع - MSPBE) في إعدادين:

الديناميكيات المعروفة: في إعداد مثالي، ينخفض الخطأ هندسيًا مع عدد خطوات CoT $k$ ، مما يتطلب $O(\log(1/\epsilon))$ خطوة للوصول إلى دقة $\epsilon$ .
الديناميكيات غير المعروفة: في إعداد أكثر واقعية مع مسار واحد، لا يزال الخطأ ينخفض هندسيًا ولكنه يستقر عند حد إحصائي أدنى. هذا الحد يحدده حجم العينة الفعال لطول السياق $n$ ويتناسب مع $\tilde{O}(\sqrt{d/n})$ . هذه النتيجة توسع الأعمال السابقة من خلال التعامل مع الديناميكيات غير المعروفة والتقريب الدالي الخطي.

3. الانبثاق عبر التدريب المعزز المسبق

تثبت الورقة أن المعلمات المحددة $(P, Q)$ المطلوبة لتنفيذ تحديثات TD هي قيم صغرى عالمية لخسارة التدريب المسبق القائمة على TD.

النظرية 3: توضح أنه مع اقتراب عدد خطوات CoT من اللانهاية ( $k \to \infty$ )، تصل المعلمات المنشأة $\theta^*$ إلى الحد الأدنى العالمي لهدف التدريب المسبق التجريبي (خسارة EUN) عبر مجموعة بيانات من المسارات.
يوفر هذا تبريرًا نظريًا للملاحظة التجريبية التي تشير إلى أن التدريب المعزز المسبق يؤدي إلى انبثاق قدرات CoT التي تحاكي خوارزميات RL.

النتائج

البراهين النظرية: تثبت الورقة بصرامة أن نماذج الترانسفورمر الخطية مع CoT يمكنها تنفيذ تحديثات TD المتكررة والتقارب نحو النقطة الثابتة لـ TD، مع معدلات تقارب تعتمد على طول السياق وحجم الخطوة.
التحقق التجريبي: أظهرت التجار تجرى على بيئة "سلسلة بويان" (Boyan's chain) "انبثاق" البنية المتفرقة (block-sparse structure) المتوقعة في المعلمات المتعلمة $(P, Q)$ . عند التدريب عبر التدريب المسبق المعزز متعدد المهام، يتعلم النموذج معلمات تطابق عن كثب المصفوفات المتفرقة المشتقة نظريًا، مما يؤكد أن السلوك الخوارزمي المطلوب قابل للتعلم.

الأهمية

تقدم هذه الورقة أول توصيف نظري لكيفية تأثير توليد "سلسلة الأفكار" (CoT) ذاتي التراجع على تقييم السياسة داخل السياق في ICRL. ومن خلال سد الفجوة بين توليد CoT وتعلم TD التكراري، يفسر العمل لماذا يعزز CoT قدرات ICRL: فهو يسمح للنموذج بإجراء حسابات داخلية تكرارية تعمل على تحسين تقديرات القيمة بناءً على السياق. علاوة على ذلك، من خلال إثبات أن هذه المعلمات الخوارزمية هي قيم صغرى عالمية لخسارة تدريب مسبق قياسية، توفر الورقة أساسًا نظريًا لانبثاق سلوكيات التعلم داخل السياق في الوكلاء المدربين تعزيزيًا، متجاوزة افتراض أن هذه السلوكيات تتطلب محاكاة إشرافية صريحة لخوارزميات RL.