🤖 machine learning

Distinct mechanisms underlying in-context learning in transformers

تقدم هذه الورقة توصيفاً ميكانيكياً كاملاً للتعلم في السياق في نماذج المحولات (transformers) المدربة على سلاسل ماركوف المنفصلة، كاشفةً عن أربع مراحل خوارزمية تنفذها دوائر فرعية متميزة متعددة الطبقات، ومحددةً عتبات تنوع البيانات وديناميكيات التدريب المحددة التي تحكم الانتقال بين استراتيجيات الحفظ والتعميم.

المؤلفون الأصليون: Cole Gibson, Wenping Cui, Gautam Reddy

نُشر 2026-04-15

📖 6 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Cole Gibson, Wenping Cui, Gautam Reddy

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك روبوت طباخ فائق الذكاء. عادةً، لتعليم الروبوت الطبخ، يتعين عليك قضاء أسابيع في ضبط إعداداته الداخلية (البارامترات الخاصة به) لكل وصفة جديدة. إذا أردت تعليمه كيفية صنع المعكرونة الإيطالية، فستقوم بتدريبه على المعكرونة. وإذا أردت منه صنع السوشي، فعليك التوقف، وإعادة التدريب، وضبط إعداداته مرة أخرى.

لكن نماذج الذكاء الاصطناعي الحديثة، والتي تُسمى المحولات (Transformers)، تمتلك قوة خارقة تسمى التعلم داخل السياق (In-Context Learning - ICL). إذا أعطيت هذا الروبوت الطباخ بضعة أمثلة حول كيفية صنع السوشي قبل أن تطلب منه الطبخ مباشرة، فيمكنه فهم القواعد فوراً وصنع السوشي دون تغيير إعداداته الداخلية. إنه يتعلم أثناء العمل، فقط من خلال النظر إلى الأمثلة التي قدمتها له.

هذه الورقة البحثية تسأل: كيف يفعل الروبوت ذلك حقاً؟ هل يقوم بحفظ الأمثلة، أم أنه يستنتج القواعد العامة؟ وهل يستخدم "دوائر دماغية" مختلفة لمواقف مختلفة؟

قام المؤلفون، وهم باحثون من جامعة برينستون، بإجراء سلسلة من التجارب لرسم خريطة توضح بالضبط كيف يعمل دماغ هذا الروبوت. واكتشفوا أن الروبوت لا يمتلك طريقة واحدة للتعلم فحسب؛ بل لديه أربعة أنماط متميزة (أو مراحل) ينتقل بينها، اعتماداً على عدد أنواع البيانات المختلفة التي رآها من قبل.

إليك تفصيل ذلك باستخدام تشبيهات بسيطة:

الأنماط الأربعة للروبوت الطباخ

تخيل أن الروبوت يحاول التنبؤ بالكلمة التالية في جملة (أو الخطوة التالية في وصفة). يمكنه القيام بذلك بأربع طرق:

"المقامر" (التعميم بنقطة واحدة - 1-Point Generalization): ينظر الروبوت إلى التاريخ الكامل للكلمات ويخمن الكلمة التالية بناءً على الكلمات الأكثر شيوعاً التي رآها على الإطلاق. إنه يتجاهل السياق المباشر.
- التشبيه: أنت تخمن الكرت التالي في مجموعة أوراق اللعب بمجرد معرفة عدد الأوراق الحمراء والسوداء المتبقية في المجموعة كاملة، متجاهلاً الكرت الذي رأيته للتو.
"راصد الأنماط" (التعميم بنقطتين - 2-Point Generalization): ينظر الروبوت إلى الكلمة السابقة مباشرة ويخمن الكلمة التالية بناءً على عدد المرات التي ظهر فيها هذان الكلمتان معاً في بيانات تدريبه. إنه يتعلم "قواعد" أو "نحو" اللغة.
- التشبيه: ترى كلمة "توست" وتخمن أن الكلمة التالية هي "زبدة" لأنك رأيت هذا الزوج ملايين المرات في بيانات تدريبك. أنت تتعلم قواعد اللعبة.
"موظف الأرشيف" (الحفظ بنقطة واحدة - 1-Point Memorization): يدرك الروبوت: "انتظر، هذا التسلسل المحدد من الكلمات ينتمي إلى ملف محدد لدي في ذاكرتي". يحاول تحديد (أي مجموعة بيانات أو "مهمة" محددة) ينتمي إليها هذا التسلسل، ثم يستدعي الإحصائيات الخاصة بهذا الملف تحديداً.
- التشبيه: ترى لهجة معينة وتفكر فوراً: "آه، هذه من الملاحظات الصوتية لصديقي بوب". تتوقف عن التخمين العام وتستدعي عادات بوب الخاصة.
"الموظف الخارق للأرشيف" (الحفظ بنقطتين - 2-Point Memorization): يحدد الروبوت الملف المحدد ويستخدم السياق المباشر لجعل تنبؤ عالي الدقة بناءً على قواعد ذلك الملف المحدد.
- التشبيه: تعرف أن هذه ملاحظة صوتية من بوب، وتعرف أيضاً أن بوب يقول دائماً "توست" قبل "زبدة". تتوقع "زبدة" بيقين 100%.

المفتاحان الحرجان

وجدت الورقة أن الروبوت ينتقل بين هذه الأنماط بناءً على عاملين رئيسيين: تنوع البيانات (كم عدد "الملفات" أو المهام المختلفة التي يتعامل معها) والوقت (كم استغرق من التدريب).

المفتاح 1: السباق (المنافسة الحركية - Kinetic Competition)

عندما يواجه الروبوت مهاماً قليلة ومختلفة (تنوع منخفض)، يكون من السهل عليه حفظها. الأمر يشبه وجود 3 وصفات فقط لتعلمها؛ يمكنك ببساسة حفظها جميعاً.

المفتاح: مع إضافة المزيد والمزيد من الوصفات (زيادة تنوع البيانات)، يصبح حفظ كل شيء عملية بطيئة جداً.
النتيجة: يدرك الروبوت: "لا يمكنني حفظ كل هذه الأشياء!" وفجأة ينتقل إلى نمط "راصد الأنماط" (التعميم). يتوقف عن محاولة حفظ ملفات محددة ويبدأ في تعلم القواعد العامة للطبخ.
التشبيه: تخيل طالباً يؤدي اختباراً. إذا كانت هناك 5 أسئلة فقط، فسيحفظ الإجابات. أما إذا كان هناك 1,000 سؤال، فسيتوقف عن الحفظ ويبدأ في دراسة المفاهيم حتى يتمكن من حل أي سؤال.

المفتاح 2: حد الذاكرة (عنق زجاجة التمثيل - Representational Bottleneck)

هناك حد ثانٍ. حتى لو حاول الروبوت الحفظ، فإن "دماغه" (مساحة الذاكرة الداخلية الخاصة به) لها حجم محدود.

المفتاح: إذا أعطيت الروبوت مهاماً كثيرة جداً ومختلفة (تنوع عالٍ للغاية)، فإن دماغه ببساً لا يمكنه استيعاب "الملفات" المحددة لجميع تلك المهام. نمط "الموظف الخارق للأرشيف" ينهار.
النتيجة: يُجبر الروبوت على البقاء في نمط "راصد الأنماط" للأبد. لا يمكنه الاعتماد على الحفظ لأنه لا يملك حرفياً مساحة كافية لتخزين القواعد المحددة لكل مهمة.
التشبيه: تخيل مكتبة. إذا كان لديك 10 كتب، يمكنك حفظ حبكة كل منها. إذا كان لديك 10 ملايين كتاب، فلن يستطيع دماغك استيعاب حبكة كل واحد منها. سيتعين عليك الاعتماد على فهم النوع الأدبي (التعميم) بدلاً من تذكر كل قصة محددة.

المكونات السرية: كيف يبني الروبوت هذه الدوائر؟

استخدم المؤلفون تقنية تُسمى "تتبع الدوائر" (مثل التصوير بالرنين المغناطيسي لدماغ الروبوت) لمعرفة الأجزاء التي تقوم بالعمل في الشبكة. ووجدوا أن الروبوت يبني "أداتين" خاصتين:

"رأس الاستقراء" (أداة راصد الأنماط - Induction Head):
- هذه عملية من خطوتين. الجزء الأول من الدماغ ينظر إلى الكلمة السابقة ويقول: "مهلاً، لقد رأيت هذه الكلمة من قبل!". الجزء الثاني ينظر إلى التاريخ ليرى ما هي الكلمة التي تتبعها عادةً.
- الاستعارة: يشبه المحقق الذي يجد دليلاً (الكلمة الحالية)، ويتحقق من دفتر ملاحظاته بحثاً عن حالات سابقة ظهر فيها هذا الدليل، ويرى ما حدث بعد ذلك.
"رأس التعرف على المهمة" (أداة موظف الأرشيف - Task Recognition Head):
- هذه أداة أكثر تعقيداً. يقرأ الروبوت التسلسل بأكما، ويقوم بتلخيص الأنماط، وينشئ "متجه ملخص" واحداً (بطاقة هوية مدمجة) تقول: "هذه هي المهمة رقم 42". ثم يستخدم بطاقة الهوية هذه لاستدعاء القواعد المحددة لتلك المهمة.
- الاستعارة: يقرأ الروبوت فقرة كاملة، ويلخصها في "وسم موضوع" واحد، ثم يستخدم هذا الوسم لفتح المجلد الصحيح في خزانة ملفاته.

لماذا يهم هذا الأمر؟

هذه الورقة البحثية أمر بالغ الأهمية لأنها تشرح لماذا يقوم الذكاء الاصطناعي أحياناً بالحفظ وأحياناً بالتعميم.

إنها توضح أن الحفظ والتعميم ليسا مجرد طيف واحد؛ بل هما استراتيجيتان متميزتان يختارهما الذكاء الاصطناعي بناءً على كمية البيانات التي يمتلكها.
وهي تكشف أن التعميم ليس سحراً؛ بل هو دائرة محددة (رأس الاستقراء) يبنيها الذكاء الاصطناعي عندما يُجبر على ذلك بسبب الحجم الهائل للبيانات.
كما تشير إلى أنه لبناء ذكاء اصطناعي أفضل، نحتاج إلى فهم هذه "المفاتيح". إذا أردنا من الذكاء الاصطناعي أن يعمم (أن يكون ذكياً بشأن الأشياء الجديدة)، فنحن بحاجة لمنحه بيانات متنوعة بما يكفي لإجباره على بناء دائرة "راصد الأنماط"، ولكن ليس لدرجة تجعله يصطدم بجدار حيث لا يمكنه تعلم أي شيء على الإطلاق.

باختصار: الروبوت ليس مجرد آلة حاسبة ضخمة. إنه متعلم ديناميكي يبني "أدوات" مختلفة في دماغه اعتماداً على ما إذا كان من الأسهل حفظ التفاصيل المحددة أو فهم القواعد العامة. هذه الورقة ترسم خريطة دقيقة لكيفية اتخاذ هذا الخيار ومتى يحدث.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "آليات متميزة تكمن وراء التعلم داخل السياق في نماذج المحولات (Transformers)" من إعداد جيبسون، كوي، وريدي.

1. بيان المشكلة

تُظهر نماذج المحولات الحديثة قدرة على التعلم داخل السياق (In-Context Learning - ICL)، وهي القدرة على تكييف الحوسبة مع إحصائيات المدخلات دون تحديث المعلمات (parameters). وبينما توثق هذه القدرة بشكل جيد، إلا أن الدوائر الميكانيكية (mechanistic circuits) المحددة التي تنفذها، والشروط التي يختار بموجبها النموذج حفظ بيانات التدريب مقابل التعميم على البيانات غير المرئية، لا تزال غير واضحة.

يستقصي المؤلفون ذلك باستخدام إعداد محكوم: تم تدريب نماذج المحولات على مجموعة محدودة $S$ من $K$ من سلاسل ماركوف المنفصلة. الهدف هو فهم كيفية انتقال الشبكة بين استراتيجيات خوارزمية مختلفة (الحفظ مقابل التعميم) وكيفية استخدامها لإحصائيات النقطة الواحدة (unigram) مقابل إحصائيات النقطتين (bigram) مع تغير تنوع البيانات ( $K$ ) ووقت التدريب ( $t$ ).

2. المنهجية

تستخدم الدراسة مزيجاً من التفسير الميكانيكي (mechanistic interpretability)، تتبع الدوائر (circuit tracing)، والنمذجة النظرية:

الإعداد التجريبي: تم تدريب نموذج محول مكون من طبقتين (طبقة انتباه + طبقة MLP لكل طبقة) بشكل تلقائي (autoregressively) للتنبؤ بالحالة التالية في تسلسلات ناتجة من $K$ من سلاسل ماركوف. تم سحب السلاسل من مجموعة ديريكليه متماثلة (symmetric Dirichlet ensemble).
تحديد الأطوار الخوارزمية: حدد المؤلفون أربعة أطوار خوارزمية متميزة بناءً على محورين:
1. الحفظ (Memorization - Mem) مقابل التعميم (Generalization - Gen): هل يستنتج النموذج السلسلة المحددة من مجموعة التدريب $S$ ، أم يقدر الإحصائيات من التوزيع الأساسي $D_T$ ؟
2. النقطة الواحدة (1-point) مقابل النقطتين (2-point): هل يستخدم النموذج ترددات الحالات فقط أم احتمالات الانتقال بين الحالات المتجاورة؟
- ينتج عن ذلك أربعة أطوار: G1 (تعميم 1-نقطة)، G2 (تعميم 2-نقطة)، M1 (حفظ 1-نقطة)، و M2 (حفظ 2-نقطة).
تتبع الدوائر: باستخدام تقنيات "رقع المسار" (path patching) والاستئصال (ablation)، يتتبع المؤلفون تدفق المعلومات عبر الشبكة لتحديد الدوائر الفرعية المحددة المسؤولة عن كل طور.
النظرية المقيدة بالتماثل: لتحليل الانتقال من G1 إلى G2، اشتقوا نموذج SA-transformer مبسط (المقيد بالتماثل والاعتماد على الانتباه فقط) يستغل التماثل التبادلي للمهمة. يسمح هذا باشتقاق تحليلي لديناميكيات التعلم.
النماذج الدنيا: قاموا ببناء نماذج تلقائية دنيا لعزل "رأس التعرف على المهمة" (M2) واختبار حدود قدرتها التمثيلية.

3. المساهمات الرئيسية

أ. تحديد أربعة أطوار خوارزمية متميزة

ترسم الورقة مخطط الطور الديناميكي للتدريب بناءً على تنوع البيانات ( $K$ ) والزمن ( $t$ ):

G1 (تعميم 1-نقطة): التدريب المبكر؛ يتنبأ بناءً على الترددات العالمية للحالات (التوزيع المستقر).
M1 (حفظ 1-نقطة): $K$ منخفضة؛ يحدد السلسلة المحددة باستخدام الترددات العالمية ويسترجع مصفوفة انتقال محفوظة.
M2 (حفظ 2-نقطة): $K$ منخفضة؛ يحدد السلسلة المحددة باستخدام إحصائيات الانتقال المحلية (bigrams) ويسترجع المصفوفة.
G2 (تعميم 2-نقطة): $K$ عالية؛ يعمم على السلاسل غير المرئية عن طريق تقدير احتمالات الانتقال التجريبية مباشرة من السياق.

ب. التوصيف الميكانيكي للدوائر الفرعية

حدد المؤلفون الدوائر العصبية المحددة التي تنفذ هذه الأطوار:

رأس الاستقراء الإحصائي (G2): نمط معروف حيث تنتبه طبقة الانتباه الأولى ( $Att_1$ ) إلى الحالة السابقة، وتطابق طبقة الانتباه الثانية ( $Att_2$ ) الحالة الحالية مع الحالات السابقة لاسترجاع الحالة التالية. هذا يحسب إحصائيات الـ 2-point التجريبية.
رأس التعرف على المهمة (M2): دائرة مبتكرة من نوع المُشفر-المجمع-المفكك (Encoder-Pool-Decoder):
- المُشفر (Encoder): تقوم $Att_1$ و $MLP_1$ بتشفير الأزواج المتجاورة إلى تمثيل (embedding) غير خطي.
- المجمع (Pool): تقوم $Att_2$ بمتوسط هذه التمثيلات عبر التسلسل لتشكيل ناقل المهمة (Task Vector) ( $\phi$ )، وهو تمثيل كامن مضغوط للسلسلة المحددة.
- المفكك (Decoder): تستخدم $MLP_2$ ناقل المهمة والحالة الحالية لاسترجاع مصفوفة الانتقال المحفوظة.

ج. التفسير النظري للتحولات

تقدم الورقة إطاراً نظرياً للتحولات بين الأطوار:

التحول G1 $\to$ G2 (حد $K \to \infty$ ): باستخدام SA-transformer، يوضح المؤلفون أن تشكيل رأس الاستقراء مدفوع بـ الانحيازات الإحصائية الضعيفة في مشهد الخسارة (loss landscape). على الرغم من أن حل 1-Gen هو نقطة سرج (saddle point)، إلا أن الانحيازات الصغيرة (أحدهما يفضل الانتباه للحالة السابقة، والآخر يفضل مطابقة المحتوى) تدفع عملية التحسين نحو حل 2-Gen. وقد اشتقوا قانون قياس لزمن التحول: $\tau_{2\text{-Gen}} \sim N / \log N$ .
التحول G1 $\to$ M1 مقابل G1 $\to$ G2 (العتبة $K^*_1$ ): يتم تحديد هذا الحد بواسطة المنافسة الحركية (kinetic competition). تتشكل دائرة 2-Gen في مقياس زمني مستقل إلى حد كبير عن $K$ ، بينما تتباطأ دائرة 1-Mem مع زيادة $K$ . إذا كان $K < K^*_1$ ، فإن الحفظ يفوز السباق؛ وإذا كان $K > K^*_1$ ، فإن التعميم يفوز.
التحول G2 $\to$ M2 (العتبة $K^*_2$ ): يتم تحديد هذا الحد بواسطة القدرة التمثيلية. مع زيادة $K$ ، لا يستطيع النموذج في النهاية تشفير جميع $K$ من نواقل المهام المتميزة في مجرى المتبقي (residual stream) ذي الأبعاد المحدودة. يوضح المؤلفون أن $K^*_2$ يتناسب مع بُعد ناقل المهمة وسعة الـ MLP المفكك.

4. النتائج الرئيسية

مخطط الطور: تمر الشبكة بأطوار منفصلة. بالنسبة لـ $K$ صغيرة، تنتقل من $G1 \to M1 \to M2$ . بالنسبة لـ $K$ كبيرة، تنتقل من $G1 \to G2$ . توجد "نقطة ثلاثية" حيث تلتقي $G1$ و $M1$ و $G2$ .
نواقل المهمة (Task Vectors): تؤكد التجارب (الرقع والـ t-SNE) أنه في طور M2، تبني الشبكة "ناقل مهمة" قابلاً للفصل يحدد السلسلة المولدة بشكل فريد. يؤدي وضع (patching) ناقل مهمة من سلسلة واحدة في سلسلة أخرى إلى جعل النموذج يتنبأ وفقاً لإحصائيات السلسلة الجديدة.
قوانين القياس (Scaling Laws):
- الوقت اللازم لتشكيل رأس الاستقراء يتناسب مع $\tau_{2\text{-Gen}} \propto N / \log N$ .
- مدة طور G2 العابر (قبل الانتقال إلى M2) تتناسب مع $\Delta \tau_K \propto (K^*_2 - K)^{-\gamma}$ حيث $\gamma \approx 2$ .
حدود السعة: تُحدد $K^*_2$ الحرجة (حيث يصبح الحفظ مستحيلاً) بشكل أساسي بسعة المفكك (MLP2) وبُعد ناقل المهمة، وليس بالمُشفر.
التعميم عبر نواقل المهمة: يوضح المؤلفون أن "رأس التعرف على المهمة" (M2) يمكنه أيضاً تحقيق التعميم الأمثل (G2) إذا كان بُعد ناقل المهمة كبيراً بما يكفي ( $D_\phi \gtrsim C^2$ )، مما يشير إلى أن "الاسترجاع" و"التقدير" ليسا آليتين متعارضتين بل يعتمدان على السعة الهيكلية.

5. الأهمية

إطار موحد: توفق الورقة بين الرؤى المتنافسة حول التعلم داخل السياق (الحفظ مقابل التعميم) من خلال إظهار أنها أطوار متميزة تحكمها المنافسة الحركية والاختناقات التمثيلية.
الرؤية الميكانيكية: تتجاوز الملاحظات "الصندوق الأسود" لتحدد دوائر فرعية محددة (رأس الاستقراء مقابل رأس التعرف على المهمة) وتشرح كيفية بنائها.
مبادئ التصميم: تشير النتائج إلى أنه لكي تعمم نماذج المحولات بفعالية على مهام متنوعة، فإنها تتطلب أبعاداً كافية لمجرى المتبقي وسعة مفكك لدعم آلية "ناقل المهمة"، أو يجب أن تعتمد على آلية رأس الاستقداء التي تمتلك خصائص قياس مختلفة.
الآثار الأوسع: يوفر تحديد الانحيازات الإحصائية التي تقود تشكيل رؤوس الاستقراء تفسيراً لسبب تسريع التدريب المسبق على البيانات الاصطناعية لتعلم النماذج اللغوية الكبيرة. كما يوفر الإطار لغة لفهم ظواهر مماثلة في نماذج الانتشار (diffusion models) وغيرها من أنظمة التعلم الفيزيائية.

باختصار، تقدم هذه العمل خريطة ميكانيكية دقيقة لكيفية تعلم نماذج المحولات "كيف تتعلم"، مع التمييز بين استراتيجيات الحفظ والتعميم وتحديد الظروف الدقيقة لتنوع البيانات والهيكلية التي تفضل أحدهما على الآخر.