🤖 machine learning

Beyond Linear Attention: Softmax Transformers Implement In-Context Reinforcement Learning

تقدم هذه الورقة أول إطار نظري يثبت أن نماذج "ترانسفورمر" (Transformer) القياسية ذات دالة "سوفت ماكس" (softmax) تنفذ التعلم التعزيزي داخل السياق عبر مساواة تمريرها الأمامي عبر الطبقات بخوارزمية "فرق زمن التباين" (temporal difference) جديدة ذات "سوفت ماكس" موزونة، مما يفسر خصائص تقاربها وظهور المعلمات المثلى أثناء مرحلة ما قبل التدريب.

المؤلفون الأصليون: Zixuan Xie, Xinyu Liu, Claire Chen, Shuze Daniel Liu, Rohan Chandra, Shangtong Zhang

نُشر 2026-05-11

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Zixuan Xie, Xinyu Liu, Claire Chen, Shuze Daniel Liu, Rohan Chandra, Shangtong Zhang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة البحث "Beyond Linear Attention: Softmax Transformers" باستخدام لغة بسيطة وتشبيهات إبداعية.

الصورة الكبيرة: وكيل "القارئ الخارق"

تخيل أن لديك روبوتًا (وكيلًا) أمضى سنوات في دراسة آلاف الألعاب المختلفة. لم يحفظ الألعاب فحسب، بل تعلم "كيف يتعلم".

الآن، تضع هذا الروبوت أمام لعبة جديدة تمامًا لم يسبق له رؤيتها. أنت لا تعطيه دليل تعليمات، ولا تعيد تدريب دماغه (لأن ذلك سيستغرق وقتًا طويلاً). بدلاً من ذلك، تعرض عليه فقط تاريخًا قصيرًا لتحركاته الأخيرة والنقاط التي سجلها للتو.

السؤال هو: كيف يعرف الروبوت ما يجب فعله بعد ذلك بمجرد النظر إلى هذا التاريخ القصير؟ هل يمتلك "آلة حاسبة" مخفية داخل دماغه تقوم بتحديث استراتيجيته أثناء العمل؟

لفترة طويلة، اعتقد العلماء أن هذه "الآلة الحاسبة" كانت بسيطة للغاية، مثل آلة حاسبة أساسية تجمع الأرقام معًا فقط (وهذا ما يسمى "الانتباه الخطي" - Linear Attention). لكن هذه الورقة تقول: "لا، الآلة الحاسبة الحقيقية أكثر تعقيدًا وقوة بكثير." لقد أثبت المؤلفون أن الروبوت يستخدم في الواقع آلة حاسبة متطورة ومعيارية (تسمى "انتباه Softmax") تقوم بنوع محدد من التعلم الرياضي يسمى التعلم المعزز (Reinforcement Learning) داخل عملية التمرير الأمامي (forward pass) نفسها.

الاكتشاف الجوهري: خوارزمية "Weighted Softmax TD"

تقدم الورقة طريقة جديدة لفهم ما يفعله الروبوت. يسمونها Weighted Softmax TD.

التشبيه: اجتماع الفريق

تخيل أن الروبوت هو مدير يحاول التنبؤ بالمبيعات المستقبلية لمنتج ما. لديه دفتر ملاحظات (السياق) مليء ببيانات المبيعات الماضية من أيام مختلفة.

الطريقة القديمة (الانتباه الخطي): ينظر المدير إلى دفتر الملاحظات ويعطي كل يوم من الماضي وزنًا متساويًا، أو وزنًا بسيطًا بناءً على مدى حداثته. الأمر يشبه قول: "مبيعات الأمس لها وزن قليل، ومبيعات قبل الأمس أقل قليلاً".
الطريقة الجديدة (اكتشاف هذه الورقة): المدير هنا أكثر ذكاءً. ينظر إلى دفتر الملاحظات ويقول: "المبيعات من يوم الثلاثاء الماضي تشبه وضع اليوم تمامًا، لذا سأستمع إليها كثيرًا. أما مبيعات الشهر الماضي فكانت مختلفة تمامًا، لذا سأتجاهلها".

يستخدم الروبوت أداة رياضية تسمى Softmax ليقرر أي الذكريات الماضية هي الأكثر صلة بالوضع الحالي. إنه ينشئ "متوسطًا مرجحًا" للدروس الماضية لتحديث تنبؤه للمستقبل.

لقد أثبت المؤلفون أنه عندما تعالج طبقات الروبوت (خطوات تفكيره) البيانات، فإنها تكون متطابقة رياضيًا مع تشغيل خوارزمية التعلم هذه المحددة (Weighted Softmax) خطوة بخطوة.

"سحر" الطبقات: زيادة الذكاء مع العمق

تشرح الورقة أيضًا ما يحدث عندما يمتلك الروبوت المزيد من "الطبقات" (خطوات التفكير) في دماغه.

التشبيه: تخيل أنك تحاول إيجاد المركز الدقيق للوحة السهام (الدارتس)، ولكن يمكنك فقط اتخاذ خطوات صغيرة.
- الطبقة 1: تأخذ تخمينًا. هو جيد، لكنه ليس مثاليًا.
- الطبقة 2: تنظر إلى تخمينك الأول، وتعدله بناءً على البيانات الجديدة، وتقترب أكثر.
- الطبقة 10: تستمر في تحسين تخمينك.

لقد أثبت المؤلفون أنه مع إضافة المزيد من الطبقات للروبوت، فإن تنبؤه يقترب رياضيًا وبشكل مضمون من الإجابة الصحيحة. الأمر يشبه الدرج الحلزوني الذي يقودك مباشرة إلى قمة الجبل (التنبؤ المثالي). كلما زادت الخطوات (الطبقات) التي تتخذها، اقتربت من الحقيقة، بشرط أن يكون "انتباه" الروبوت مركزًا بشكل صحيح (وهي حالة يسمونها "التقارب" أو contraction).

"لماذا": كيف تعلم الروبوت هذا؟

قد تسأل: "كيف عرف الروبوت بناء هذه الآلة الحاسبة المحددة (Weighted Softmax) في المقام الأول؟ هل قام إنسان ببرمجته؟"

لا. لقد تعلم الروبوت ذلك من تلقاء نفسه.

قام المؤلفون بإجراء تجربة حيث دربوا الروبوت على مجموعة متنوعة ضخمة من المهام العشوائية (مثل نسخ مختلفة من لعبة "Boyan's Chain"). لم يخبروا الروبوت كيف يحل المهام؛ بل أخبروه فقط: "أدِّ جيدًا في هذه المهام".

النتيجة: عند انتهاء التدريب، رتبت أوزان الروبوت الداخلية (إعدادات دماغه) نفسها بشكل طبيعي لتبدو تمامًا مثل آلة حاسبة "Weighted Softmax" التي وصفها المؤلفون.

التشبيه: تخيل أنك أعطيت نحاتًا كتلة من الطين وقلت له: "اصنع شيئًا يمكنه حل هذه الألغاز". أنت لا تخبره كيف ينحت. بعد ساعات من العمل، ينتج النحات تمثالاً يشبه تمامًا الأداة المحددة اللازمة لحل تلك الألغاز. تثبت الورقة أن "التمثال" (معاملات الروبوت) هو أفضل حل ممكن (global minimizer) لهدف التدريب.

ملخص الأسئلة الثلاثة الكبرى

تجيب الورقة على ثلاثة أسئلة محددة:

ما هي الخوارزمية التي يستخدمها الروبوت؟
إنه يستخدم نسخة متطورة جديدة من خوارزمية تعلم تسمى Weighted Softmax TD. إنها ليست النسخة الخطية البسيطة التي ظنها الناس؛ بل هي النسخة المعيارية المعقدة المستخدمة في الذكاء الاصطناه التجاري الحقيقي.
هل يصبح أفضل مع زيادة الطبقات؟
نعم. تثبت الورقة أنه كلما أصبح الروبوت أكثر عمقًا (طبقات أكثر)، تتقلص أخطاؤه، ويتقارب نحو الإجابة المثالية.
لماذا يمتلك الروبوت هذه الإعدادات المحددة؟
لأنها الإعدادات المثالية رياضيًا لتقليل الخطأ أثناء التدريب. لقد "اكتشف" الروبوت هذه الخوارزمية المعقدة من تلقاء نفسه لأنها كانت الطريقة الأكثر كفاءة لحل المشكلات التي تدرب عليها.

الخلاصة

تزيل هذه الورقة "التبسيط" الذي كان يستخدمه العلماء لجعل الرياضيات أسهل. لقد أظهروا أنه حتى مع النسخة الكاملة والمعقدة والواقعية من هذه التكنولوجيا (Softmax)، فإن الروبوت لا يزال يقوم بنوع محدد وقوي جدًا من التعلم داخل دماغه. إنه لا يكتفي بالتقليد فحسب؛ بل يقوم فعليًا بعملية تحديث رياضية للتعلم من سياقه، ويفعل ذلك بطريقة مثبتة رياضيًا بأنها تعمل.

ملخص تقني: ما وراء الانتباه الخطي: محولات السوفتماكس للتعلم المعزز داخل السياق

بيان المشكلة

يستقصي التعلم المعزز داخل السياق (ICRL) كيفية قدرة الوكلاء، بعد مرحلة التدريب المسبق، على التكيف مع مهام جديدة في وقت الاستدلال من خلال التكييف مع سياقات إضافية (مثل سجلات التفاعل) دون تحديث معاملاتهم (parameters). وبينما اعتمدت التحليلات النظرية الحالية لـ ICRL إلى حد كبير على الانتباه الخطي (Linear Attention) — حيث يتم استبدال دالة السوفتماكس بتمثيل الهوية لتبسيط التحليل — فإن هذا التبسيط يبتعد عن انتباه السوفتماكس (Softmax Attention) القياسي المستخدم في بنيات المحولات (Transformers) العملية.

السؤال المركزي الذي تعالجه هذه الورقة هو: ما هي عملية التعلم المعزز (RL) المحددة التي ينفذها محول قياسي باستخدام انتباه السوفتماكس عندما يقوم بتقييم السياسة داخل السياق؟ وبشكل أدق، يسعى المؤلفون إلى فهم السلوك الخوارزمي، وضمانات التقارب، وظهور مثل هذه المعاملات تحت التدريب المسبق للتعلم المعزز، دون الاعتماد على تبسيط الانتباه الخطي غير الواقعي.

المنهجية

1. البناء النظري: TD السوفتماسك الموزون (Weighted Softmax TD)

يقدم المؤلفون خوارزمية تعلم معزز جديدة تسمى الفرق الزمني (TD) السوفتماسك الموزون. تقوم هذه الخوارزمية بتقييم السياسة في فضاء النواة (Kernel Space)، عبر تجميع أخطاء الفرق الزمني (TD errors) عبر مسار (Trajectory) باستخدام أوزان سوفتماسك مشتقة من دالة الدرجة (Score function) $g(S_j, S_{k-1})$ .

الخوارزمية: بالنظر إلى مسار $\tau_n$ ، يتم تحديث تقدير القيمة $v_{t+1}(S_j)$ عن طريق تجميع أخطاء TD الموزونة بنواة سوفتماسك $K(S_{k-1}, S_j)$ .
الارتباط بـ TD القياسي: إذا كانت دالة الدرجة هي لوغاريتم نواة التشابه، فإن هذا يختزل إلى شكل معياري لتحديثات TD غير المعلمية (Non-parametric).

2. تنفيذ المحول (Softmax ICTD)

تبني الورقة طبقة محول ذات رأس مزدوج (Dual-head Transformer layer) تنفذ خطوة واحدة من تحديث Weighted Softmax TD في تمريرتها الأمامية (Forward pass).

بناء المحفز (Prompt Construction): يتم ترميز المسار في مصفوفة محفز $Z_0$ تحتوي على سمات الحالة، والمكافآت، وفتحات الذاكرة لتقديرات القيمة.
آلية الرأس المزدوج:
- رأس القيمة الحالية (Current-Value Head): يحسب خطأ TD لكل انتقال في السياق باستخدام مصفوفة أوزان $V_l$ ومصفوفة انتباه $A_l$ محددة.
- رأس القيمة المستهدفة (Target-Value Head): يوجه الكميات المجمعة إلى الأعمدة السابقة عبر مصفوفة إزاحة $\Pi$ ويقوم بتوسيعها بمعامل الخصم $\gamma$ .
إعادة المعلمة (Reparameterization): يثبت المؤلفون أن كتلة الرأس المزدوج هذه مكافئة رياضياً لطبقة انتباه أحادية الرأس متبوعة بوحدة إزاحة زمنية (TSM) خالية من المعاملات. تسهل إعادة المعلمة هذه تحليل سلوك الاستدلال.

3. تحليل التقارب

يحلل المؤلفون تقارب التمرير الأمامي للمحول مع زيادة عدد الطبقات $L$ وطول السياق $n$ .

شرط التقارب: يقدمون الافتراض 5.1، وهو شرط قطرية النواة (Kernel Diagonality) الذي يتطلب أن تمتلك مصفوفة الانتباه السكانية $M_\pi$ مدخلات قطرية كبيرة بما يكفي (أي أن الانتباه الذاتي يهيمن على الانتباه المتقاطع).
النتيجة: تحت هذا الافتراض، يتلاشى خطأ تقييم السياسة هندسياً مع زيادة عدد الطبقات. ويتكون حد الخطأ من حد يتلاشى مع $L \to \infty$ وأرضية إحصائية تتلاشى مع $n \to \infty$ .

4. الظهور تحت التدريب المسبق للتعلم المعزز

لمعالجة كيفية ظهور هذه المعاملات، يحلل المؤلفون خسارة معيار التحديث المتوقع (NEU)، وهي هدف قياسي في طرق TD.

الأمثلية العالمية: يثبتون أن المعاملات $\theta^*$ المنشأة (التي تنفذ Weighted Softmax TD) هي مُقللات عالمية لخسارة NEU في الحد الذي ينمو فيه طول السياق أولاً، يليه العمق.
الدلالة: يفسر هذا لماذا تظهر هذه المعاملات بشكل طبيعي أثناء التدريب المسبق للتعلم المعزز، حيث يدفع هدف التحسين النموذج نحو هذا الحساب المحدد داخل السياق.

النتائج الرئيسية

التكافؤ النظري: تقدم الورقة أول إثبات بأن المحول القياسي مع انتباه السوفتماسك (وليس الخطي) يمكنه تنفيذ التحديثات التكرارية لخوارزمية Weighted Softmax TD في تمريرته الأمامية.
ضمان التقارب: تثبت أن التقييم داخل السياق للسياسة يتقارب مع دالة القيمة الحقيقية $v_\pi$ مع زيادة العمق وطول السياق، بشرما أظهرت آلية الانتباه تركيزاً ذاتياً كافياً (قطرية).
إثبات الظهور: تُظهر المعاملات المطلوبة أنها مُقللات عالمية لخسارة التدريب المسبق للتعلم المعزز، مما يقدم تفسيراً نظرياً لظهورها التجريبي.
التحقق التجريبي:
- تُظهر التجارب على نماذج عشوائية من سلسلة Boyan أن المحول المدرب بهدف تعزيز التعلم يتعلم معاملات تطابق البناء النظري عن كثب.
- تصبح مصفوفات الانتباه المتعلمة قطرية بشكل متزايد (ارتفاع متوسط قطرية النواة) أثناء التدريب، مما يستوفي شرط التقارب النظري.
- تُظهر أوزان تحديث القيمة المتعلمة نمط الإشارة الصحيح $(+, +, -)$ المقابل لقاعدة تحديث TD ( $R + \gamma v' - v$ ).

الأهمية والادعاءات

تدعي الورقة أنها توفر أول فهم نظري لـ ICRL تحت انتباه السوفتماسك القياسي، مما يزيل الاعتماد على تبسيط الانتباه الخطي السائد في الأعمال السابقة.

الجسر بين النظرية والتطبيق: من خلال الاحتفاظ بغير خطية السوفتماسك، يتماشى التحليل بشكل وثيق مع البنية المستخدمة في النماذج اللغوية الكبيرة والوكلاء التكيفيين العمليين.
التفسير الخوارزمي: تحدد الورقة Weighted Softmax TD كعملية خوارزمية محددة تظهر في التمرير الأمامي لمحولات السوفتماسك، مما يعمم كلاً من TD الخطي و Tabular TD كحالات خاصة.
تبرير التدريب المسبق: يوضح العمل لماذا يؤدي التدريب المسبق للتعلم المعزز إلى التكيف داخل السياق: هدف التدريب المسبق (تقليل خطأ TD) يدفع النموذج بشكل طبيعي نحو المعاملات التي تنفذ هذه الخوارزمية المحددة والمتقاربة.

يحافظ المؤلفون على التواضع فيما يتعلق بنطاق عملهم، مشيرين إلى أن شرط التقارب (الافتراض 5.1) هو متطلب محدد لإثبات التقارب الخاص بهم، وأن هناك حاجة لأعمال مستقبلية لتخفيف هذا الشرط وتوسيع النظرية لتشمل بيئات التحكم المستمر والمسارات المأخوذة بالعينات.