🤖 machine learning

Test-Time Adaptation via Many-Shot Prompting: Benefits, Limits, and Pitfalls

تقيم هذه الورقة تجريبياً فعالية ومحدودية التلقين متعدد الأمثلة (many-shot prompting) للتكيف أثناء وقت الاختبار في النماذج اللغوية الكبيرة، حيث وجدت أنه بينما يفيد المهام المهيكلة ذات كسب المعلومات العالي، فإن أداءه حساس للغاية لاستراتيجيات الاختيار وغالباً ما يحقق تحسينات محدودة في التوليد مفتوح النهايات.

المؤلفون الأصليون: Shubhangi Upasani, Chen Wu, Jay Rainton, Bo Li, Changran Hu, Qizheng Zhang, Urmish Thakker

نُشر 2026-03-09

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Shubhangi Upasani, Chen Wu, Jay Rainton, Bo Li, Changran Hu, Qizheng Zhang, Urmish Thakker

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مساعداً ذكياً جداً، ولكنه ينسى قليلاً (نموذج ذكاء اصطناعي). تريد منه أن يحل مشكلة محددة الآن، لكن لا يمكنك تغيير دماغه أو إعادة تدريبه. بدلاً من ذلك، عليك أن تعطيه "ورقة غش" قبل أن يبدأ العمل مباشرة. هذه الورقة تدور حول كيفية تحديد حجم ورقة الغش هذه، وما الذي يجب أن يُكتب فيها، ومتى تكون مفيدة بالفعل.

إليك تفصيل نتائج الورقة البحثية باستخدام تشبيهات بسيطة:

1. الفكرة الجوهرية: استراتيجية "ورقة الغش"

عادةً، لجعل الذكاء الاصطناعي أكثر ذكاءً، يتعين عليك إعادة تدريبه (مثل العودة إلى المدرسة للحصول على شهادة جامعية). لكن هذه الورقة تبحث في التكيف وقت الاختبار (Test-Time Adaptation). هذا يشبه إعطاء الذكاء الاصطناعي مجموعة ضخمة من الأمثلة والحلول لمسائل تجريبية قبل أن يضطر لخوض الاختبار مباشرة.

التعلم من أمثلة قليلة (Few-Shot): إعطاء الذكاء الاصطناعي 3 أو 5 أمثلة.
التعلم من أمثلة كثيرة (Many-Shot): إعطاء الذكاء الاصطناعي مئات أو حتى آلاف الأمثلة.

سأل الباحثون: هل إعطاء الذكاء الاصطناعي ورقة غش أكبر يجعلها دائماً أكثر ذكاءً؟

2. منطقة "غولدي لوكس" (ليس الأمر مجرد "كلما زاد كان أفضل")

وجدت الورقة أن إضافة المزيد من الأمثلة تشبه إضافة الوقود إلى النار.

وقود قليل جداً: النار لا تشتعل (الذكاء الاصطناعي لا يفهم المهمة).
مثالي تماماً: النار تشتعل بقوة وسطوع (الذكاء الاصطناعي يؤدي بشكل مثالي).
وقود كثير جداً: النار تنطفئ بسبب كثرة الوقود (الذكاء الاصطناعي يصاب بالارتباك).

النتيجة: بالنسبة للمهام المنظمة (مثل فرز البريد أو ملء النماذج)، ترتفع الدقة مع إضافة المزيد من الأمثلة، ولكن حتى نقطة معينة فقط (حوالي 50-70 مثالاً لكل فئة). بعد ذلك، تؤدي إضافة المزيد من الأمثلة إلى ثبات الأداء أو حتى انخفاضه. الأمر يشبه محاولة قراءة كتاب حيث تم لصق نفس الصفحة 1,000 مرة؛ ستتوقف عن التعلم وتصاب بالملل فقط.

3. الترتيب مهم (مشكلة "مخطط الجلوس")

تخيل أنك تستضيف حفلة عشاء. إذا قمت بتوزيع الضيوف عشوائياً، فقد يكون الحوار فوضوياً. أما إذا جلستهم حسب الموضوع، فقد تدور بينهم محادثات أفضل.

النتيجة: الترتيب الذي تعرض به الأمثلة للذكاء الاصطناعي مهم جداً. إذا قمت بخلط الأمثلة عشوائياً، يمكن أن يتأرجح أداء الذكاء الاصطناعي صعوداً وهبوطاً بنسبة 2-3%. إنه حساس لـ "التحيز الموقعي".
الدرس المستفاد: لا يمكنك مجرد إلقاء كومة من الأوراق على مكتب الذكاء الاصطناعي. عليك تنظيمها بعنا_ية.

4. التنوع مقابل الصلة (تشبيه "المكتبة")

كيف يجب أن تختار الأمثلة التي تضعها في ورقة الغش؟

الاستراتيجية (أ) (أمين المكتبة الصارم): تختار بالضبط 5 أمثلة لكل فئة (على مستوى التسمية/Label-wise). هذا يضمن التوازن، لكنك قد ينتهي بك الأمر بـ 5 أمثلة مملة ومكررة لفئة واحدة.
الاستراتيجية (ب) (المستكشف الفضولي): تختار أفضل 100 مثال من المكتبة بأكملها بناءً على ما يطلبه السؤال الحالي (عبر الفئات/Cross-label).
النتيجة: نهج "المستكشف الفضولي" هو الذي يفوز عادةً. من الأفضل أن يكون لديك مزيج متنوع من الأمثلة المثيرة للاهتمام بدلاً من قائمة متوازنة تماماً ولكنها مكررة. ومع ذلك، إذا اخترت أمثلة مشابهة جداً للسؤال الحالي (شديدة الصلة)، فسيدخل الذكاء الاصطناعي في حلقة مفرغة. إذا اخترت مزيجاً متنوعاً، فسيتعلم الذكاء الاصطناعي "الطابع العام" للمهمة بشكل أفضل.

5. الأدمغة الكبيرة مقابل الأدمغة الصغيرة

اختبر الباحثون هذا على ذكاء اصطناعي صغير (8 مليارات معلمة) وذكاء اصطناعي ضخم (70 مليار معلمة).

الدماغ الكبير: يحتاج إلى "غش" أقل ليبدأ في الأداء الجيد. إنه يستوعب الأمور بسرعة.
الدماغ الصغير: يحتاج إلى ورقة غش أكبر ليلحق بالركب.
المفاجأة: إذا أعطيت الدماغ الكبير الكثير من المعلومات، فإنه يصاب بالارتباك فعلياً (الإفراط في التكييف/Over-conditioning). أما الدماغ الصغير فهو أكثر قدرة على التحمل تجاه كثرة المعلومات؛ فهو يستمر في امتصاصها حتى يصطدم بحائط مسدود.

6. تحول "الاستنتاج" (التعلم من أمثلة معززة)

أحياناً، بدلاً من مجرد عرض "سؤال -> إجابة"، تعرض "سؤال -> تفكير خطوة بخطوة -> إجابة".

النتيجة: هذا يعمل بشكل رائع في الأمثلة القليلة الأولى. إنه يشبه إظهار كيفية حل مسألة رياضية لطالب. ولكن إذا أظهرت له 10 طرق مختلفة لحل نفس المسألة، فسيشعر بالارتباك. "عملية التفكير" تصبح باهتة وضعيفة.

7. متى ينجح هذا حقاً؟

هذه هي أهم نقطة استخلاص. تعتمد استراتيجية "ورقة الغش" تماماً على نوع الوظيفة:

الوظائف المنظمة (تعمل بشكل رائع): إذا كانت المهمة لها تنسيق واضح (مثل: "استخرج التاريخ من هذا النص"، أو "صنف هذا البريد الإلكتروني كرسالة مزعجة أو غير مزعجة")، فإن ورقة الغش الكبيرة تساعد كثيراً. يمكن للذكاء الاصطناعي رؤية النمط بوضوح.
الوظائف الإبداعية/المفتوحة (تعمل بشكل ضعيف): إذا كانت المهمة مفتوحة (مثل: "ترجم هذه القصيدة"، أو "اكتب قصة")، فإن إضافة 1,000 مثال لا يساعد كثيراً. الذكاء الاصطناعي يعرف بالفعل كيف يكتب أو يترجم من خلال تدريبه الأساسي. إضافة المزيد من الأمثلة لا يضيف سوى الضجيج.

الملخص: "النقطة المثالية"

تخلص الورقة إلى أن التكيف وقت الاختبار (إعطاء الأمثلة للذكاء الاصطناعي في اللحظة الأخيرة) هو أداة قوية، لكنه ليس عصا سحرية.

لا تبالغ: هناك حد لعدد الأمثلة التي تفيد.
اختر بعناية: الأمر لا يتعلق بالكمية فقط؛ بل يتعلق باختيار أمثلة متنوعة وذات صلة، وتنظيم ترتيبها جيداً.
اعرف مهمتك: استخدم هذه الحيلة للمهام المنظمة والقائمة على القواعد. لا ترهق نفسك بها في الكتابة الإبداعية أو المفتوحة.

باخت-صار: أعطِ الذكاء الاصطناعي ورقة غش منظمة جيداً ومتنوعة تحتوي على حوالي 50-70 مثالاً للمهام المنظمة، وسوف يتألق. أما إذا أعطيته كومة فوضوية من 1,000 مثال لمهمة إبداعية، فسيصاب بالارتباك فحسب.

إليك ملخص تقني مفصل لورقة البحث: "التكيف عند وقت الاختبار عبر التلقين متعدد الأمثلة: الفوائد، والحدود، والمزالق".

1. بيان المشكلة

تتطلب النماذج اللغوية الكبيرة (LLMs) عادةً تحديثات للمعلمات (الضبط الدقيق - fine-tuning) للتكيف مع المهام الجديدة. ويقدم التكيف عند وقت الاختبار (Test-time adaptation) بديلاً عن ذلك من خلال تعديل سلوك النموذج أثناء الاستدلال دون تغيير الأوزان. وبينما يعد التلقين قليل الأمثلة (Few-shot prompting) شائعاً، فقد مكنت التطورات الأخيرة في بنيات السياق الطويل من ظهور التلقين متعدد الأمثلة (Many-Shot Prompting)، حيث يتم حقن مئات أو آلاف أمثلة التعلم داخل السياق (ICL) في المدخلات.

وعلى الرغم من مكاسب الأداء الملحوظة، إلا أن موثوقية، وحدود، والتكوين الأمثل للتلقين متعدد الأمثلة لا تزال غير مفهومة بشكل جيد. وتشمل الأسئلة المفتوحة الرئيسية ما يلي:

كيف يتدرج الأداء مع عدد الأمثلة (حجم التحديث)؟
هل تهم سياسات اختيار محددة (مثل التشابه مقابل العشوائية) أو استراتيجيات الترتيب؟
هل يعمل هذا النهج بنفس الكفاءة للمهام الهيكلية (التصنيف) مقابل التوليد مفتوح النهايات؟
كيف تؤثر سعة النموذج (الحجم) على فعالية هذه التحديثات؟

2. المنهجية

أجرى المؤلفون دراسة تجريبية باستخدام عائلة نماذج LLaMA (تحديداً LLaMA-3.1-8B-Instruct و LLaMA-3.3-70B-Instruct) عبر معايارت متنوعة. وقد صاغوا التلقين متعدد الأمثلة كـ "تحديث في مساحة المدخلات" محكوم بثلاثة عوامل: حجم التحديث، سياسة التحديث، وهيكل التحديث.

الإعداد التجريبي

مجموعات البيانات:
- Banking77: مجموعة بيانات لتصنيف النوايا مكونة من 77 فئة، تُستخدم لاختبار الاستدلال ذي السياق الطويل مع مساحات تسميات قصوى.
- أداة التقييم (Evaluation Harness): تتضمن مهام للاستدلال (ARC-Challenge, GPQA)، واستخراج المعلومات (FDA, SWDE)، والترجمة الآلية (WMT16).
حجم التحديث: تم تعريفه بعدد أمثلة التعلم داخل السياق ( $N$ ). بالنسبة لـ Banking77، استخدموا صيغة لكل فئة ( $N = n \times C$ ، حيث $C=77$ )، مع تغيير $n$ من 1 إلى 70 مثالاً لكل فئة (ما يصل إلى ~5,390 مثالاً إجمالياً).
سياسات التحديث (Dynamic ICL):
- التجميع (Grouping): حسب الفئة (Label-wise) (أمثلة متوازنة $n$ لكل فئة) مقابل عبر الفئات (Cross-label) (اختيار عشوائي من كامل مجموعة البيانات).
- الاسترجاع (Retrieval): عشوائي (أخذ عينات منتظمة) مقابل التشابه (أقرب الجيران في مساحة التضمين/Embedding space).
هيكل التحديث (Reinforced ICL): بدلاً من أزواج (المدخل-المخرج) القياسية، استخدم المؤلفون آثار استدلال سلسلة الأفكار (Chain-of-Thought - CoT) كأمثلة لتوجيه سلوك النموذج.
الخط المرجعي (Baseline): المقارنة بين النماذج المضبوطة بالتعليمات (Instruction-tuned) والنماذج الأساسية (Base models)، ومقارنتها بأساليب التلقين قليلة الأمثلة القياسية.

3. المساهمات والنتائج الرئيسية

أ. نظام "التشبع" لحجم التحديث

الفائدة: يتحسن الأداء باطراد مع زيادة عدد الأمثلة، مما يوفر قيوداً سلوكية أقوى خاصة بالمهمة.
الحد: تظهر المكاسب نقطة تشبع واضحة. بالنسبة لـ Banking77، استقر الأداء عند حوالي 50-70 مثالاً لكل فئة. بعد ذلك، تؤدي الأمثلة الإضافية إلى عوائد متناقصة أو حتى تدهور في الأداء بسبب الضوضاء والتكرار.
الاستقرار: التلقين متعدد الأمثلة حساس للغاية لـ الترتيب؛ حيث يمكن أن يختلف الأداء بنسبة 2-3% اعتماداً على عملية الخلط (Shuffle)، مما يشير إلى وجود تحيزات موضعية وسياقية.

ب. الدور الحاسم لسياسة التحديث

التنوع مقابل الصلة:
- الاختيار عبر الفئات (Cross-label selection) (تكرارات التسمية غير المقيدة) يتفوق باستمرار على الاختيار حسب الفئة (Label-wise selection) (التسميات المتوازنة بدقة). ففرض التوازن الصارم غالباً ما يؤدي إلى تمثيل مفرط للأمثلة المكررة، مما يقلل من التنوع المفيد.
- الاختيار القائم على التشابه (Similarity-based selection) (استرجاع أقرب الجيران) فعال للغاية عند أحجام التحديث الصغيرة (صلة عالية) ولكنه يتدهور مع نمو السياق ليصبح كبيراً.
- الاختيار العشوائي (Random selection) يتوسع بشكل أكثر قوة عند أحجام التحديث الكبيرة لأنه يحافظ على تنوع أعلى، متجنباً "التركيز المفرط" للأمثلة المتشابهة.
الاستراتيجية المثلى: تم تحقيق أفضل النتائج باستخدام السياسة المتقاطعة للتشابه (Cross-label Similarity) عند عدد أمثلة قليل ( $n=1$ )، مما يعظم الصلة قبل حدوث التكرار.

ج. تأثيرات سعة النموذج

سلوك التوسع (Scaling Behavior): النماذج الأكبر (LLaMA-70B) تتفوق على النماذج الأصغر (LLaMA-8B) عند أحجام التحديث الصغيرة إلى المتوسطة، مما يشير إلى قدرة أفضل على استغلال الإشراف المتنوع داخل السياق.
التعويض (Compensation): مع زيادة حجم التحديث، تتقلص الفجوة في الأداء. يمكن للسياق الكبير بما يكفي أن يعوض جزئياً عن السعة المحدودة للنموذج.
الإفراط في التكييف (Over-conditioning): أظهر نموذج 70B انخفاضاً في الأداء عند أكبر أحجام التحديث، مما يشير إلى أنه يعاني من "الإفراط في التكييف" (سياق كبير جداً)، بينما ظل النموذج الأصغر في نظام "تراكم الإشارة".

د. الفعالية المعتمدة على المهمة

المهام الهيكلية (نجاح عالٍ): يتفوق التلقين متعدد الأمثلة في المهام ذات المخرجات المقيدة والمكاسب المعلوماتية العالية، مثل استخراج المعلومات (FDA, SWDE) والاستدلال الهيكلي (DROP).
مهام المخرجات المقيدة (تشبع سريع): تظهر مهام مثل ARC-Challenge و GSM8K مكاسب أولية حادة مع أمثلة قليلة، لكنها تتشبع بسرعة، مما يعني أن الإشراف السياقي المحدود كافٍ لتحديد المهمة.
التوليد مفتوح النهايات (فائدة محدودة): تظهر مهام مثل الترجمة الآلية (WMT16) تحسناً طفيفاً فقط. ويرى البحث أنه بالنسبة لهذه المهام، يكون الهيكل مستوعباً بالفعل أثناء مرحلة ما قبل التدريب، ولا يقدم السياق الإضافي سوى إشارات ضئيلة.
التلقين المعزز (Reinforced ICL): توفر آثار سلسلة الأفكار (CoT) انحيازاً استقرائياً قوياً لمهام الاستدلال (مثل GPQA)، ولكنها تتشبع بسرعة (بعد ~4 أمثلة) بسبب تنافس الانتباه عبر سلاسل الاستدلال الطويلة.

4. الأهمية والآثار المترتبة

تقدم هذه الورقة توصيفاً حاسماً للحدود العملية للتكيف القائم على التلقين عند وقت الاختبار:

ليس حلاً شاملاً: التلقين متعدد الأمثلة ليس مفيداً عالمياً؛ ففعاليته مرتبطة ارتباطاً وثيقاً بهيكل المهمة وحداثة المعلومات المحقونة.
إرشادات التصميم: تثبت الورقة أن تصميم سياسة التحديث (تحديداً الموازنة بين الصلة والتنوع) أكثر أهمية من مجرد زيادة عدد الأمثلة. فالإضافة العشوائية للأمثلة قد تؤدي إلى إدخال الضوضاء.
الكفاءة: بالنسبة للمهام الهيكلية، تعتبر التحديثات المتوسطة (50-70 مثالاً) كافية؛ فالتوسع العدواني غالباً ما يكون هدراً أو ضاراً.
اختيار النموذج: بينما تستفيد النماذج الأكبر في البداية، يمكن للنماذج الأصغر اللحاق بها مع نافذة سياق كافية، رغم أنها أقل عرضة للإفراط في التكييف.

في الختن، يرى المؤلفون أن التحديثات في مساحة المدخلات هي أداة قوية للتكيف الهيكلي، ولكنها تتطلب تحكماً دقيقاً في الحجم، والهيكل، وسياسة الاختيار لتجنب العوائد المتناقصة ومشكلات الموثوقية.