🤖 machine learning

Investigation into In-Context Learning Capabilities of Transformers

تقدم هذه الورقة دراسة تجريبية منهجية للتعلم في السياق في نماذج المحولات (transformers) للتصنيف الثنائي القائم على خليط غاوسي، حيث تحدد كيف تتحكم أبعاد المدخلات، وعدد الأمثلة في السياق، وتنوع مهام ما قبل التدريب في معدلات النجاح وظهور الإفراط المفرط الحميد.

المؤلفون الأصليون: Rushil Chandrupatla, Leo Bangayan, Sebastian Leng, Arya Mazumdar

نُشر 2026-04-29

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Rushil Chandrupatla, Leo Bangayan, Sebastian Leng, Arya Mazumdar

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح ورقة البحث "التحقيق في قدرات التعلم داخل السياق لنماذج المحولات (Transformers)"، مترجماً إلى لغة بسيطة مع استخدام تشبيهات إبداعية.

الصورة الكبيرة: آلة "الخبير الفوري"

تخيل أن لديك طالباً عبقرياً درس آلاف المسائل الرياضية المختلفة لسنوات (هذه هي مرحلة التدريب المسبق - Pre-training). عادةً، إذا أردت من هذا الطالب حل نوع جديد من المسائل، عليك قضاء أسابيع في تعليمه القواعد الخاصة بتلك المسألة الجديدة.

ومع ذلك، تمتلك نماذج "المحولات" (Transformers) - وهي النماذج التي تعمل خلف أدوات مثل ChatGPT - قوة خارقة تسمى التعلم داخل السياق (In-Context Learning - ICL). الأمر يشبه إعطاء الطالب "ورقة غش" تحتوي على مجرد أمثلة قليلة للمسألة الجديدة قبل الاختبار مباشرة. ينظر الطالب إلى الأمثلة، ويفهم النمط فوراً، ويحل سؤال الاختبار دون الحاجة إلى دروس جديدة أو "إعادة تدريب".

هذه الورقة البحثية تسأل: كيف تعمل ورقة الغش هذه فعلياً؟ متى تساعد الطالب على التفوق في الاختبار، ومتى تسبب له الارتباك؟

التجربة: لعبة "خمن القاعدة"

قام الباحثون بإعداد لعبة محكومة لاختبار هذا الأمر. لم يستخدموا بيانات من العالم الحقيقي مثل طلبات القروض أو السجلات الطبية، بل أنشأوا عالماً اصطناعياً يعتمد على نماذج الخليط الغاوسي (Gaussian Mixture Models).

التشبيه:
تخيل مجموعتين من الناس يقفان في حقل شاسع (البعد - Dimension).

المجموعة (أ) (قمصان حمراء) تقف في تجمع واحد.
المجموعة (ب) (قمصان زرقاء) تقف في تجمع آخر.
"قوة الإشارة" هي مدى بعد المجموعتين عن بعضهما البعض. إذا كانتا بعيدتين، فمن السهل التمييز بينهما. أما إذا اختلطتا معاً في ضباب، فيصبح الأمر صعباً.
"الضجيج" (Noise) يشبه ارتداء الناس لقبعات تجعلهم يبدو وكأنهم ينتمون للمجموعة الخطأ.

مهمة الذكاء الاصطناعي هي النظر إلى عدد قليل من الأشخاص (أمثلة داخل السياق) وتخمين المجموعة التي ينتمي إليها شخص جديد لم يره من قبل.

الأسئلة الثلاثة الرئيسية

اختبر الباحثون ثلاثة متغيرات محددة لمعرفة كيف تغير أداء الذكاء الاصطعي:

1. حجم الحقل (البعد - Dimension)

الإعداد: قاموا بتغيير حجم الحقل من غرفة صغيرة (50 بُعداً) إلى ملعب ضخم (1,000 بُعد).
النتيجة:
- في الغرفة الصغيرة، من السهل رؤية المجموعات.
- في الملعب الضخم، يصبح من الصعب رؤية النمط بسبب وجود المزيد من "المساحات الفارغة" والمزيد من فرص الارتباك (الضجيج).
- الحل: إذا جعلت المجموعات تقف بعيداً عن بعضها البعض (زيادة نسبة الإشارة إلى الضوضاء - Signal-to-Noise Ratio) لتناسب حجم الملعب، سيؤدي الذكاء الاصطناعي المهمة بشكل مثالي.
- الخلاصة: المشكلات الأكبر والأكثر تعقيداً ليست مستحيلة، ولكنك تحتاج إلى "إشارة" أقوى (أمثلة أكثر وضوحاً) لحلها.

2. حجم ورقة الغش (طول التسلسل - Sequence Length)

الإعداد: قاموا بتغيير عدد الأمثلة الموجودة في ورقة الغش، من 5 أمثلة فقط إلى 80 مثالاً.
النتيجة:
- امتلاك أمثلة أكثر ساعد الذكاء الاصطناعي على البدء بتخمين أفضل.
- ومع ذلك، بمجرد أن يمتلك الذكاء الاصطناعي بضعة أمثلة، فإن إضافة المزيد لم تجعله يتعلم بسرعة أكبر؛ بل جعلته فقط يبدأ الاختبار بمستوى ثقة أعلى.
- الخلاصة: القليل من السياق عادة ما يكون كافياً لفهم الفكرة، لكن ورقة الغش الأكبر تمنحك بداية أفضل.

3. تنوع مسائل التدريب (حجم الدفعة - Batch Size)

الإعداد: قاموا بتغيير عدد "الألعاب" المختلفة التي تدرب عليها الذكاء الاصطناعي أثناء التدريب (من 5-50 مهمة إلى 2,000 مهمة).
النتيجة:
- التدرب على مجموعة متنوعة وضخمة من المهام المختلفة جعل الذكاء الاصطناعي أفضل بكثير في التعميم (Generalization).
- الخلاصة: كلما كان التدريب أكثر تنوعاً، كان الذكاء الاصطناعي أفضل في اكتشاف القواعد الجديدة فورياً.

لغز "الفرط الملائم" (Benign Overfitting)

هذا هو الجزء الأكثر إثارة في الورقة البحثية.

التشبيه:
تخيل أن المعلم أعطى الطالب ورقة غش، ولكن 20% من الإجابات في الورقة خاطئة (العلامات مقلوبة).

الفرط الملائم التقليدي (Classical Overfitting): يحفظ الطالب الإجابات الخاطئة ويفشل في الاختبار.
ضعف الملاءمة (Underfitting): يرتبك الطالب بسبب الإجابات الخاطئة ويفشل في تعلم أي شيء.
الفرط الملائم (Benign Overfitting): يحفظ الطالب الإجابات الخاطئة في ورقة الغش (يعرف أن الورقة تقول "أحمر" بينما هو في الواقع "أزرق")، ولكنه لا يزال ينجح في تخمين الإجابة الصحيحة لسؤال الاختبار الجديد!

النتائج:
وجد الباحثون أن هذه "الخدعة السحرية" (Benign Overfitting) تحدث تحت ظروف محددة:

قوة إشارة عالية: يجب أن تكون المجموعتان (الأحمر مقابل الأزرق) متباعدتين بما يكفي بحيث يستطيع الذكال الاصطناعي رؤية النمط الحقيقي، حتى لو كانت ورقة الغش غير دقيقة.
السياق مقابل الاستعلام (Context vs. Query): إذا كان سؤال الاختبار نفسه يحمل علامة خاطئة، سيعاني الذكاء الاصطناعي. ولكن إذا كانت ورقة الغش فقط هي التي تحمل علامات خاطئة، يمكن للذكاء الاصطناعي غالباً تجاهل الضجيج وتخمين الإجابة الصحيحة للسؤال الجديد.
منطقة الخطر: إذا كانت المجموعات قريبة جداً من بعضها (إشارة منخفضة) أو إذا كان الحقل ضخماً جداً دون وجود انفصال كافٍ، فإن "الفرط الملائم" ينهار، ويفشل الذكاء الاصطناعي تماماً.

اختبار النماذج الحقيقية (RQ3)

أخيراً، اختبر الباحثون هذه النظرية على نماذج ذكاء اصطناعي شهيرة وحقيقية (مثل GPT-4o-mini وGemini) لمعرفة ما إذا كانت القواعد التي وجدوها في لعبتهم الرياضية البسيطة تنطبق على العالم الحقيقي.

النتيجة:
هناك انقسام غريب في كيفية عمل هذه النماذج:

هي بارعة جداً في توقع الإجابة على سؤال جديد (التعميم - Generalization).
وهي أحياناً سيئة في تكرار الأمثلة التي رأتها للتو في النص المكتوب (الحفظ/إعادة البناء - Memorization/Reconstruction).

التشبيه:
الأمر يشبه طالباً يمكنه حل مسألة رياضية جديدة تماماً ببراعة لأنه فهم "المفهوم"، ولكن إذا طلبت منه تسميع الأرقات المحددة من المسألة المثال التي عرضتها عليه للتو، فقد يخطئ في الأرقام. لقد تعلم القاعدة، لكنه لم يحفظ القصة بدقة.

الخلاصة الختامية

تخلص الورقة إلى أن التعلم داخل السياق (In-Context Learning) هو أداة قوية، ولكنه يعتمد على توازن دقيق:

الهندسة مهمة: يجب أن تكون البيانات مهيكلة بوضوح (انفصال جيد).
الإشارة مهمة: يجب أن تكون الأمثلة قوية بما يكفي لاختراق الضجيج.
السياق مهم: لا تحتاج إلى مليون مثال، ولكنك تحتاج إلى القدر المناسب من الإشارة الواضحة.

لقد رسم الباحثون بدقة متى يعمل هذا "التعلم الفوري" ومتى يفشل، موضحين أنه حتى عندما تحفظ النماذج أمثلة مليئة بالضجيج أو خاطئة، يمكنها أن تظل ذكية ودقيقة للغاية - بشرط أن تكون البيانات الأساسية واضحة بما يكفي.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "استقصاء قدرات التعلم داخل السياق في نماذج المحولات (Transformers)" من إعداد تشاندروباتلا وآخرون.

1. بيان المشكلة

تعالج الورقة البحثية الفجوة بين الفهم النظري والواقع التجريبي فيما يتعلق بـ التعلم داخل السياق (In-Context Learning - ICL) في نماذج المحولات (Transformers). بينما وضعت الأعمال النظرية السابقة (مثل Frei و Vardi، 2024) شروطًا يمكن للمحولات من خلالها أداء التصنيف الخطي داخل السياق، إلا أن سلوك القياس التجريبي (empirical scaling behavior) الذي يحكم متى تنجح هذه الآلية أو تفشل لا يزال غير مشخص بشكل كافٍ.

يهدف المؤلفون إلى استقصاء ما يلي بشكل منهجي:

كيف يتدرج دقة اختبار التعلم داخل السياق (ICL) مع أبعاد المدخلات ( $d$ )، وعدد الأمثلة داخل السياق ( $N$ )، وعدد مهام ما قبل التدريب ( $B$ ).
الظروف التي يحدث فيها الفرط الملائم (benign overfitting) (حفظ تسميات السياق المشوشة مع الحفاظ على تعميم عالٍ على بيانات الاختبار النظيفة).
ما إذا كانت الظواهر الملاحظة في نماذج الانتباه الخطي المبسطة تنطبق أيضًا على بنيات المحولات الكاملة (الموجهة فقط للمشفر Encoder-only والموجهة فقط للمفكك Decoder-only).

المهمة الجوهرية هي التصنيف الثنائي الخطي على بيانات ناتجة عن نموذج الخليط الغاوسي (GMM) المشروط بالفئة، حيث الهدف هو التنبؤ بتسمية نقطة الاستعلام $x_{N+1}$ بناءً على تسلسل من $N$ من الأمثلة السياقية الموسومة، دون تحديث معاملات النموذج.

2. المنهجية

أ. المحول الخطي الاصطناعي (RQ1 & RQ2)

لعزل الآليات الهندسية دون تداخل غير خطي، استخدم المؤلفون أولاً مصنفًا خطيًا مبسطًا للتعلم داخل السياق:

البنية: مصفوفة واحدة قابلة للتعلم $W \in \mathbb{R}^{d \times d}$ .
الآلية: يحسب النموذج المتوسط التجريبي الموزون بالتسميات للسياق ( $\hat{\mu} = \frac{1}{N}\sum y_i x_i$ ) ويتنبأ بتسمية الاستعلام عبر $\hat{y} = \hat{\mu}^\top W x_{N+1}$ .
التدريب: التدرج الاشتقاقي العشوائي (SGD) على خسارة اللوجستيك (logistic loss)، والتدريب على دفعات من مهام GMM اصطناعية.
المقاييس: دقة التدريب، ودقة التحقق (مهام غير مرئية)، ودقة التعلم داخل السياق (حفظ أمثلة السياق).

ب. التصميم التجريبي

أجرى المؤلفون عمليات مسح مضبوطة عبر أربعة متغيرات رئيسية:

الأبعاد ( $d$ ): $50, 100, 200, 500, 1000$.
طول التسلسل ( $N$ ): $5, 10, 20, 40, 80$.
حجم الدفعة/تنوع المهام ( $B$ ): من $50 $إلى$ 2000$.
نسبة الإشارة إلى الضوضاء (SNR): تم اختبار نظامين:
- الإشارة الثابتة: مقدار ثابت $R = 6.45$ .
- الإشارة المتدرجة: $R = 0.3\sqrt{d}$ (للحفاظ على صعوبة متسقة عبر الأبعاد).

ج. استقصاء الفرط الملائم (RQ2)

لدراسة الفرط الملائم، أدخل المؤلفون ضوضاء التسمية ( $\epsilon$ ) في أمثلة السياق (قلب التسميات باحتمالية $\epsilon$ ) مع إبقاء تسميات الاستعلام نظيفة. وحللوا المقايضة بين حفظ السياق المشوش والتعميم على الاستعلامات النظيفة.

د. تقييم المحولات الكاملة (RQ3)

لاختبار إمكانية تعميم النتائج، قيم المؤلفون:

النماذج اللغوية الكبيرة التجارية: GPT-4o-mini و Gemini-2.0-mini على مهمة تصنيف GMM (عبر تسلسل نصي للمتجهات العددية).
النماذج مفتوحة الأوزان: TinyLlama-1.1B على مهام الانحدار الخطي الاصطناعية لاستقصاء سلوك التدرج الاشتقاقي الضمني.

3. النتائج الرئيسية

أ. قوانين القياس والأبعاد (RQ1)

الأبعاد: تؤدي الأبعاد الأعلى عمومًا إلى إبطاء التقارب. عندما تكون قوة الإشارة ( $R$ ) ثابتة، تتدهور الأداء في الأبعاد العالية لأن أرضية الضوضاء ترتفع بالنسبة للإشارة. ومع ذلك، عندما يتم تدرج الإشارة مع البعد ( $R \propto \sqrt{d}$ )، تحقق النماذج باستمرار دقة مثالية (1.0) بغض النظر عن البعد.
طول التسلسل ( $N$ ): زيادة $N$ تحسن نقطة البداية لدقة التحقق، ولكن لها تأثير ضئيل على معدل التعلم. يتعلم النموذج المهمة بسرعة بغض النظر عن $N$ ، طالما أن $N \ge 5$ .
حجم الدفعة ( $B$ ): تعمل أحجام الدفعات الأكبر (مهام أكثر تنوعًا) على تحسين الأداء الأولي لكل من دقة السياق ودقة التحقق بشكل كبير، مما يؤدي إلى تقارب أسرع نحو 1.0.

ب. الفرط الملائم (RQ2)

حددت الدراسة أنظمة محددة يحدث فيها الفرط الملائم (دقة سياقية مشوشة عالية + دقة تحقق نظيفة عالية):

حقن الضوضاء: يكون الفرط الملائم قويًا عندما يتم تطبيق الضوضاء على تسميات السياق فقط. حتى مع قلب التسميات بنسبة 20-40%، يحفظ النموذج السياق المشوش ولكنه يعمم بشكل مثالي على الاستعلامات النظيفة.
قوة الإشارة: قوة الإشارة العالية (الفصل بين الفئات) أمر بالغ الأهمية. إذا كانت $R$ منخفضة جدًا، فإن النموذج يعاني من نقص في الملاءمة (أداء عشوائي). إذا كانت $R$ مرتفعة بما يكفي، يمكن للنموذج فصل الفئات رغم الضوضاء.
ضوضاء الاستعلام: عندما يتم تطبيق الضوضاء على تسميات الاستعلام أيضًا، يصبح الفرط الملائم هشًا. غالبًا ما تؤدي الأبعاد العالية مع ضوضاء الاستعلام إلى انهيار الأداء بدلاً من الفرط الملائم، ما لم يتم تدرج قوة الإشارة بشكل مناسب.

ج. البنيات الكاملة (RQ3)

عدم التماثل بين التعميم والحفظ: تُظهر النماذج التجارية (GPT-4o-mini, Gemini) نمطًا متميزًا: غالبًا ما تحقق دقة استعلام متوسطة إلى عالية (تعميم) بينما تُظهر دقة سياقية متغيرة وأقل (حفظ/إعادة بناء).
الاستنتاج: يلتقط النموذج إشارة المهمة بما يكفي لتصنيف النقاط الجديدة، لكنه لا "يعيد بناء" تسميات السيالة المخفية بالضرورة. يشير هذا إلى أن النجاح في التعلم داخل السياق لا يتطلب حفظًا مثاليًا لأمثلة المطالبة (prompt).
الاعتماد على الإشارة: تعمل قوة الإشارة العالية ( $R$ ) على استقرار دقة الاستعلام، لكن العلاقة ليست رتيبة تمامًا بالنسبة لإعادة بناء السياق.

4. المساهمات الرئيسية

خريطة القياس التجريبية: قدمت توصيفًا تجريبيًا شاملاً لكيفية تفاعل البعد، وطول التسلسل، وتنوع المهام لتحديد نجاح التعلم داخل السياق، متجاوزة الحدود النظرية إلى منحنيات الأداء العملية.
شروط الفرط الملائم: حددت الأنظمة الهندسية والضوضائية حيث يمكن للمحولات حفظ السياق الفاسد دون التضحية بالتعميم، مع تسليط الضوء على الدور الحاسم لنسب الإشارة إلى الضوضاء.
مقارنة البنيات: أثبتت أن النماذج الخطية المبسطة تلتقط الآليات الهندسية الأساسية، بينما تُظهر بنيات المحولات الكاملة "فجوة التعميم-الحفظ"، حيث تعمم جيدًا على الاستعلامات حتى لو فشلت في إعادة بناء تسميات السياق بشكل مثالي.
رؤية تدرج الإشارة: أثبتت أن تدرج قوة الإشارة مع البعد أمر ضروري للحفاظ على أداء التعلم داخل السياق في الفضاءات عالية الأبعاد.

5. الأهمية

توفر هذه الورقة "خريطة تجريبية" تأسيسية للتعلم داخل السياق. وتشير نتائجها إلى أن:

الكفاءة: يمكن أن يكون التعلم داخل السياق فعالاً للغاية دون الحاجة إلى إعادة تدريب مكثفة، بشرما كانت قوة الإشارة كافية بالنسبة للأبعاد.
المتانة: تتميز نماذج المحولات بمتانة مدهشة تجاه بيانات السياق المشوشة (الفرط الملائم)، وهو أمر بالغ الأهمية للتطبيقات الواقعية حيث قد تحتوي الأمثلة قليلة الشرح (few-shot) على أخطاء.
إرشادات التصميم: بالنسبة للممارسين، تشير النتائج إلى أن مجرد زيادة طول السياق أو حجم الدفعة يعطي عوائد متناقصة على معدل التعلم، بينما يعد تدرج قوة الإشارة (أو جودة الميزات) هو الرافعة الأساسية لضمان النجاح في المهام عالية الأبعاد.
التحقق النظري: تجسر الدراسة الفجوة بين نماذج الانتباه الخطي النظرية ونماذج المحولات التجارية المعقدة، مؤكدة أن المبادئ الهندسية الأساسية للتعلم داخل السياق تستمر حتى في البنيات الكاملة، وإن كان مع اختلافات دقيقة في سلوك الحفظ.