💬 NLP

Many-Shot CoT-ICL: Making In-Context Learning Truly Learn

تكشف هذه الورقة أن التعلم في السياق القائم على سلسلة الأفكونات متعدد الأمثلة يعمل كتعلم في وقت الاختبار داخل السياق بدلاً من مجرد مطابقة الأنماط، مما يثبت فشل قواعد القياس القياسية لمهام الاستنتاج، وتقترح اختيار الأمثلة المنحني (CDS) لتحسين ترتيب الأمثلة لتحقيق مكاسب كبيرة في الأداء.

المؤلفون الأصليون: Tsz Ting Chung, Lemao Liu, Mo Yu, Dit-Yan Yeung

نُشر 2026-05-14

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Tsz Ting Chung, Lemao Liu, Mo Yu, Dit-Yan Yeung

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم طالب ذكي جداً ولكنه يفتقر للخبرة كيفية حل لغز معقد. لديك دفتر ملاحظات ضخم (نافذة السياق الطويل) حيث يمكنك كتابة مئات الأمثلة لمساعدته.

تبحث هذه الورقة البحثية فيما يحدث عندما تملأ ذلك الدفتر بمئات الأمثلة التي لا تتضمن السؤال والجواب فحسب، بل تتضمن أيضاً عملية التفكير خطوة بخطوة (المسمى بـ "سلسلة الأفكار" أو Chain-of-Thought) المستخدمة لحل كل منها.

إليك تفصيل بسيط لما وجده الباحثون:

1. القاعدة القديمة مقابل الواقع الجديد

القاعدة القديمة (للمهام البسيطة):
إذا كنت تعلم طالباً كيفية فرز البريد (مهمة بسيطة)، فلا يهم كثيراً إذا عرضت عليه 20 مثالاً أو 200، أو إذا عرضتها بترتيب عشوائي. فكلما أعطيته أمثلة أكثر، أصبح أفضل، والترتيب لا يهم حقاً. الأمر يشبه إلقاء مجموعة من الكرات الحمراء في دلو؛ جميعها تبدو متشابهة، لذا فإن الترتيب غير ذي صلة.

الواقع الجديد (لمهام الاستنتاج/التفكير):
عندما تكون المهمة صعبة — مثل حل برهان هندسي أو حل لغز بوليسي — تنكسر القواعد القديمة.

الأكثر ليس دائماً الأفضل: إذا قمت فقط بصب مئات أمثلة الاستنتاج في الدفتر لنماذج الذكاء الاصطناعي القياسية، فغالباً ما يصاب النموذج بالارتباك ويؤدي أداءً أسوأ.
الترتيب مهم جداً: على عكس فرز البريد، فإن الترتيب الذي تقدم به هذه الخطوات الاستنتاجية المعقدة أمر بالغ الأهمية. إذا انتقلت من مفهوم بسيط إلى مفهوم صعب للغاية بسرعة كبيرة، فسيضيع الطالب.

2. لماذا تفشل الأمثلة "المتشابهة"

عادةً، عندما نريد مساعدة طالب، نبحث عن أمثلة تبدو مشابهة للمشكلة الحالية.

الفخ: وجدت الورقة أنه بالنسبة لمهام الاستنتاج، فإن اختيار أمثلة تبدو مشابهة (مثل مسألتين رياضيتين حول المثلثات) هو في الواقع فكرة سيئة.
التشبيه: تخيل أنك تعلم شخصاً كيفية خبز كعكة. تعرض عليه وصفة لكعكة الشوكولاتة، ثم تطلب منه خبز كعكة إسفنجية. كلاهما يبدو متشابهاً (كلاهما كعكة)، لكن العملية (الخطوات) مختلفة. إذا حاول الطالب نسخ خطوات كعكة الشوكولاتة لتطبيقها على الكعكة الإسفنجية، فسيفشل.
النتيجة: بالنسبة للاستنتاج، فإن "الخطوات" (الإجراء) أهم من "الموضوع" (التشابه السطحي). يمكن لمسألتين أن تبدوا متشابهتين ولكن تتطلبان مسارات تفكير مختلفة تماماً. إذا حاول الذكاء الاصطناعي نسخ المسار الخاطئ، فسيفشل.

3. نهج "المنهج الدراسي"

أدرك المؤلفون أنه لكي يتمكن الذكاء الاصطناعي من "التعلم" حقاً من قائمة طويلة من الأمثلة، يجب أن تعمل القائمة كـ منهج دراسي، وليس مجرد كومة من الكتب.

المبدأ الأول: قابلية الفهم. يجب أن تُكتب الأمثلة بطريقة يستطيع هذا الذكاء الاصطناعي تحديداً فهمها. إذا كان الذكاء الاصطناعي "ضعيفاً"، فإن إظهار أمثلة مكتوبة بواسطة ذكاء اصطناعي "عبقري" قد يكون مربكاً للغاية له. إنه يتعلم بشكل أفضل من الأمثلة التي تناسب مستواه الحالي في التفكير.
المبدأ الثاني: الانتقالات السلسة. يجب ترتيب الأمثلة بحيث تتدفق المفاهيم بلطف من واحدة إلى الأخرى. لا يمكنك القفز من "الجمع" إلى "التفاضل والتكامل" دون المرور بالخطوات التي تقع بينهما.

4. الحل: "اختيار العروض المنحني" (CDS)

لإصلاح مشكلة الترتيب، ابتكر الباحثون طريقة تسمى CDS.

التشبيه: تخيل أن الأمثلة هي نقاط على خريطة. إذا وصلت بينها بترتيب عشوائي، فقد تضطر إلى القيام بانعطافات حادة ومسببة للدوار (انحناء عالٍ). أما إذا رتبتها بحيث يكون المسار سلسلاً ولطيفاً (انحناء منخفض)، فيمكن للطالب السير في المسار بسهولة.
النتيجة: من خلال ترتيب مئات الأمثلة بحيث يكون "مسار التفكير" سلساً وتدريجياً، نجحوا في تحسين أداء الذكاء الاصطناعي في المسائل الهندسية بنسبة تقارب 5.4% مقارنة بالترتيب العشوائي.

ملخص

تجادل الورقة بأن إعطاء الذكاء الاصطناعي مئات أمثلة الاستنتاج لا يتعلق فقط بـ "المزيد من البيانات". بل يتعلق بـ كيفية تقديم تلك البيانات.

لا تكتفِ فقط بجلب الأمثلة التي تبدو متشابهة.
افعل ذلك عبر ترتيبها كخطة درس سلسة، تنتقل بلطف من المفاهيم السهلة إلى الأصعب.
افعل ذلك من خلال التأكد من أن الأمثلة مكتوبة بلغة يستطيع هذا الذكاء الاصطناعي تحديداً فهمها.

من خلال التعامل مع القائمة الطويلة من الأمثلة كـ درس مهيكل بدلاً من مجرد مخزن لاسترجاع المعلومات، يمكن للذكاء الاصطناعي أن "يتعلم" عملية الاستنتاج في الوقت الفعلي، بدلاً من مجرد التخمين بناءً على الأنماط.

ملخص تقني: سلسلة أفكار التعلم داخل السياق متعددة الأمثلة: جعل التعلم داخل السياق حقيقياً

1. بيان المشكلة

بينما ثبت أن التعلم داخل السياق (ICL) يعمل على تكييف النماذج اللغوية الكبيرة (LLMs) مع مهام جديدة دون تحديث المعلمات، فإن الفهم الحالي لسلوك التوسع الخاص به مستمد إلى حد كبير من المهام غير الاستنتاجية (مثل التصنيف). ومع ظهور نماذج السياق الطويل، برز "التعلم داخل السياق متعدد الأمثلة" (many-shot ICL) (باستخدام عشرات أو مئات الأمثلة)، محققاً أداءً يضاهي الضبط الدقيق (fine-tuning). ومع ذلك، لا يزال من غير الواضح ما إذا كانت المبادئ الراسخة لـ ICL متعدد الأمثلة — وتحديداً أن ترتيب الأمثلة يتضاءل في أهميته وأن الاسترجاع القائم على التشابه فعال — تنتقل إلى سلسلة الأفكار (CoT) داخل السياق للمهام الاستنتاجية.

يبحث البحث فيما إذا كان توفير المزيد من أمثلة الاستنتاج يؤدي إلى تحسين موثوق، أم أنه يقدم عدم استقرار جديداً. ويتساءل عما إذا كان CoT-ICL متعدد الأمثلة هو مجرد مطابقة أنماط واسعة النطاق أم أنه شكل من أشكال التعلم الحقيقي داخل السياق الذي يتبع مبادئ تربوية.

2. المنهجية

يضع المؤلفون إطاراً تجريبياً يمتد عبر ثلاثة أبعاد:

أنواع المهام: مهام غير استنتاجية (التصنيف، فهم اللغة الطبيعية NLU، كشف نية الخدمات المصرفية) مقابل مهام استنتاجية (الاستنتاج الرياضي على GSM8K/MATH، الاستنتاج السردي على DetectiveQA).
أنواع النماذج: نماذج لغوية غير استنتاجية (مثل LLaMA 3.1/3.3، Qwen 2.5) مقابل نماذج لغوية موجهة للاستنتاج (مثل Qwen 3، QwQ، DeepSeek-R1) والتي تكشف عن أجزاء استنتاج صريحة (مثل رموز <thought>).
تكوينات ICL: الـ ICL التقليدي مقابل CoT-ICL (مطالبات تحتوي على المدخلات، وسلسلة الاستنتاج، والمخرج).

تقيم الدراسة تأثيرات التوسع عبر تغيير عدد الأمثلة ( $n$ ) من أمثلة قليلة إلى أمثلة متعددة (حتى $n=128$ ). وتشمل التحليلات التجريبية الرئيسية ما يلي:

تفاوت التوسع: مقارنة اتجاهات الأداء مع زيادة $n$ عبر مجموعات مختلفة من النماذج والمهام.
الاسترجاع القائم على التشابه: بناء مجموعات أمثلة "الأكثر تشابهاً" و"الأقل تشابهاً" بناءً على تشابه التضمين (embedding) على مستوى السؤال لاختبار فرضية الاسترجاع.
حساسية الترتيب: قياس الانحراف المعياري للدقة عبر عمليات التبديل العشوائية لنفس مجموعة الأمثلة.
الاستئصال الإجرائي: استبدال سلاسل الاستنتاج (CoT) المحددة بسلاسل ثابتة لعزل ما إذا كانت النماذج تتعلم الإجراءات أم تكتفي بمطابقة أزواج المدخلات والمخرجات.
مبادئ اختيار الأمثلة: اختبار تأثير "سهولة الفهم" (استخدام CoTs المولدة ذاتياً مقابل CoTs المقدمة من مجموعة البيانات) و"سلاسة تدفق المعلومات" (ترتيب الأمثلة لتقليل الانحناء المفاهيمي).

3. النتائج الرئيسية

أ. التوسع المعتمد على الإعداد

المهام غير الاستنتاجية: يتوسع ICL متعدد الأمثلة بشكل موثوق؛ حيث يتحسن الأداء باستمرار مع زيادة عدد الأمثلة، وتتضاءل الحساسية لترتيب الأمثلة.
المهام الاستنتاجية (النماذج غير الاستنتاجية): يكون CoT-ICL متعدد الأمثلة غير مستقر. غالباً ما تؤدي زيادة الأمثلة إلى تدهور الأداء أو مكاسب سلبية للنماذج القياسية الموجهة بالتعليمات، حتى في المقاييس الكبيرة من المعلمات (مثل LLaMA 3.3 70B).
المهام الاستنتاجية (النماذج الموجهة للاستنتاج): تظهر النماذج ذات القدرات الاستنتاجية الصريحة (مثل Qwen 3، DeepSeek-R1) تحسينات مستمرة وشبه رتيبة في الأداء مع المزيد من أمثلة CoT. يشير هذا إلى أن الاستفادة من سياقات CoT الطويلة تتطلب آليات لتفسير إشارات الاستنتاج (مثل رموز التفكير) بدلاً من مجرد مطابقة الأنماط السطحية.

ب. فشل الاسترجاع القائم على التشابه

غير الاستنتاجية: التشابه الدلالي بين الأسئلة هو وكيل موثوق لتشابه التصنيفات؛ حيث يؤدي استرجاع الأمثلة المتشابهة إلى تحسين الأداء.
الاستنتاجية: يفشل التشابه الدلالي على مستوى السؤال في التنبؤ بالتوافق الإجرائي. قد تتطلب مسألتان متشابهتان رياضياً استراتيجيات حل مختلفة. وبناءً على ذلك، فإن استرجاع أمثلة CoT "الأكثر تشابهاً" غالباً ما يعطي أداءً أسوأ من استخدام مجموعات غير متوافقة أو غير منسقة، حيث يمكن أن يؤدي ذلك إلى خطوات وسيطة متضاربة.

ج. تأثير التوسع في الترتيب

على عكس المهام غير الاستنتاجية حيث يتلاشى تأثير الترتيب مع التوسع، تظهر المهام الاستنتاجية تأثير توسع الترتيب: يزدัง تباين الأداء مع نمو عدد أمثلة CoT. يشير هذا إلى أن تسلسل الأمثلة يشكل مسار الاستنتاج المستحث بشكل حاسم.

د. الآلية: التعلم داخل السياق في وقت الاختبار

يعيد البحث صياغة many-shot CoT-ICL ليس كمطابقة أنماط، بل كـ تعلم داخل السياق في وقت الاختبار. تظهر الأدلة أن النماذج الاستنتاجية تستوعب إجراءات محددة من الأمثلة بدلاً من مجرد حفظ التصنيفات. عندما يتم إفساد الحجج (استبدالها بسلاسل ثابتة)، ينخفض الأداء بشكل كبير عند أعداد الأمثلة العالية، مما يؤكد أن النماذج تستوعب الخطوات الإجرائية.

4. المبادئ والطريقة المقترحة (CDS)

بناءً على النتيجة التي مفادها أن CoT-ICL يعمل كعملية تعلم، يقترح المؤلفون مبدأين لتصميم الأمثلة الفعال:

سهولة الفهم: يجب أن تتماشى الأمثلة مع معرفة النموذج الحالية وتوزيع توليده. غالباً ما تتفوق الـ CoTs المولدة ذاتياً (حتى مع وجود بعض الأخطاء) على الـ CoTs المقدمة من مجموعة البيانات بالنسبة للنماذج الأضعف لأنها أكثر "فهماً" للنموذج المستهدف.
سلاسة التقدم المعرفي: يجب ترتيب الأمثلة لخلق انتقال مفاهيمي سلس، وتجنب القفزات المفاجئة في استراتيجيات الاستنتاج.

لتحويل المبدأ الثاني إلى واقع عملي، يقدم المؤلفون الاختيار المنحني للأمثلة (CDS).

الطريقة: يعامل CDS تسلسل الأمثلة كمسار في فضاء التضمين. يقوم بترتيب الأمثلة لتقليل الانحناء المفاهيمي الإجمالي (مجموع زوايا الدوران بين ناقلات التضمين المتتالية).
التنفيذ: يستخدم خوارزمية تقريبية تعتمد على مشكلة البائع المتجول (TSP) (الجار الأقرب + 2-opt) مع دالة تكلفة توازن بين القرب الإقليدي وتقليل الانحناء.
النتائج: يحقق CDS مكاسب متسقة، حيث يصل إلى تحسن قدره 5.42 نقطة مئوية في المهام الهندسية مع 64 مثالاً. وهو يتفوق على الترتيب العشوائي والأساليب ذات الانحناء العالي في مهام الرياضيات والاستنتاج السردي.

5. الأهمية والادعاءات

يزعم البحث إعادة صياغة فهم نوافذ السياق الطويل من مجرد "ذاكرة تخزين مؤقت للاسترجاع" إلى "منهج دراسي مهيكل" للتعلم داخل السياق في وقت الاختبار.

المساهمة النظرية: يوضح أن القواعد التي تحكم ICL متعدد الأمثلة للتصنيف لا تنتقل إلى الاستنتاج. ويجادل بأن ICL الاستنتاجي الفعال يعتمد على قدرة النموذج على تفسير واستيعاب الإشارات الإجرائية، وليس مجرد مطابقة الأنماط السطحية.
المساهمة العملية: يوفر طريقة بسيطة، ومنخفضة التكلفة، ولا تتطلب تغيير المعلمات (CDS) لتحسين الأداء الاستنتاجي عن طريق تحسين ترتيب الأمثلة بناءً على السلاسة المفاهيمية.
القيود: يشير المؤلفون إلى أن فوائد CDS تكون أكثر وضوحاً عندما يكون الترتيب الأساسي غير مثالي (انحناء عالٍ)، وأن المكاسب قد تكون أصغر في المهام التي تكون فيها الدقة الأساسية عالية جداً (مثل نظرية الأعداد).

يشير العمل إلى أنه بالنسبة للنماذج اللغوية القادرة على الاستنتاج، فإن نافذة السياق الطويلة تعمل كبيئة تعلم ديناميكية حيث يكون هيكل المطالبة (المنهج الدراسي) بنفس أهمية محتوى الأمثلة.