🤖 machine learning

When Correct Demonstrations Hurt: Rethinking the Role of Exemplars in In-Context Learning

تتحدى هذه الورقة البحثية الافتراض القائل بأن الأمثلة التوضيحية الصحيحة تساعد دائمًا في التعلم داخل السياق، وذلك من خلال الكشف عن أن الاضطرابات التي تحافظ على طبيعة المهمة يمكن أن تؤدي إلى تدهور الأداء عبر "انزياح الدليل السياقي"، مما يثبت أن فائدة الأمثلة النموذجية تعتمد على كيفية تأثير هذه الأمثلة في الاستدلال السياقي بدلاً من مجرد صحتها.

المؤلفون الأصليون: Chenghao Qiu, Chunli Peng, Yufeng Yang, Kuan-Hao Huang, Yi Zhou

نُشر 2026-05-27

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Chenghao Qiu, Chunli Peng, Yufeng Yang, Kuan-Hao Huang, Yi Zhou

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحثية بعنوان "عندما تضر الأمثلة الصحيحة" (When Correct Demonstrations Hurt)، باستخدام لغة بسيطة وتشبيهات من الحياة اليومية.

الفكرة الكبرى: كونك "على صواب" ليس دائماً "مفيداً"

تخيل أنك تحاول تعليم روبوت كيفية فرز الغسيل. تعرض عليه بعض الأمثلة:

المثال 1: جورب أحمر يوضع في كومة "الأحمر".
المثال 2: قميص أزرق يوضع في كومة "الأزرق".

يتعلم الروبوت بسرعة. وهذا ما يسمى التعلم داخل السياق (In-Context Learning - ICL). ينظر الروبوت إلى الأمثلة التي تقدمها له ("التوضيحات") ويخمن كيفية التعامل مع القطعة الجديدة التي سلمتها إياه للتو.

كان الاعتقاد الشائع هو: "طالما أن الأمثلة التي أعرضها على الروبوت صحيحة واقعياً، فسوف يتعلم بشكل أفضل".

هذه الورقة البحثية تثبت أن هذا الاعتقاد خاطئ.

اكتشف المؤلفون ظاهرة غريبة: يمكنك إعطاء الروبوت أمثلة صحيحة بنسبة 100% من الناحية الواقعية، ولكن إذا غيرت كيفية ظهور تلك الأمثلة أو طريقة صياغتها، فقد يرتبك الروبوت ويؤدي بشكل أسوأ مما لو لم تعطه أي أمثلة على الإطلاق.

التجربة: خدعة "الحفاظ على المهمة"

لاختبار ذلك، لم يخدع الباحثون الروبوت بإجابات خاطة. بدلاً من ذلك، لعبوا لعبة "نفس المهمة، قصة مختلفة". أطلقوا على هذا الاضطراب الحافظ للمهمة (Task-Preserving Perturbation).

فكر في الأمر كتعليم شخص ما القيادة.

الطريقة القياسية: تعرض له فيديو لسيارة تتوقف عند إشارة حمراء. (مثال صحيح).
الطريقة "المضطربة": تعرض له فيديو لسيارة أخرى تتوقف عند إشارة حمراء، ولكن هذه المرة السيارة عبارة عن سيارة مكشوفة صفراء زاهية، والطقس مشمس، والسائق يرتدي قبعة. الفعل (التوقف عند الإشارة الحمراء) لا يزال صحيحاً. القاعدة لم تتغير.

ومع ذلك، وجد الباحثون أنه إذا عرضت على الروبوت الكثير من هذه الأمثلة "المختلفة في الشكل ولكنها صحيحة"، سيبدأ الروبوت في الارتباك بشأن ما هي القاعدة الحقيقية. سيبدأ في التفكير: "أوه، ربما القاعدة تتعلق بالسيارات المكشوفة الصفراء في الطقس المشمس"، بدلاً من "توقف عند الإشارات الحمراء".

المفهوم الجوهري: "انزياح الأدلة السياقية"

تقدم الورقة مصطلحاً معقداً لهذا الارتباك: انزياح الأدلة السياقية (Contextual Evidence Shift).

تخيل أن الروبوت هو محقق يحاول حل لغز. الأمثلة التي تقدمها له هي "أدلة".

الأدلة الواضحة: كل الأدلة تبدو متشابهة وتشير بوضوح إلى نفس المشتبه به.
الأدلة المضطربة: الأدلة لا تزال صحيحة تقنياً، لكنها تبدو مختلفة جداً عن بعضها البعض. بعضها مكتوب بحبر أحمر، وبعضها بحبر أزرق؛ بعضها قصص طويلة، وبعضها ملاحظات قصيرة.

على الرغم من أن كل دليل صحيح، إلا أن خليط الأدلة يتغير. يبدأ المحقق (الروبوت) في التركيز على التفاصيل الخاطئة (مثل لون الحبر) بدلاً من الجريمة الأساسية. لقد انزاحت "الأدلة" التي يستخدمها الروبوت لاتخاذ قرار، رغم أن الحقائق لم تتغير.

ماذا وجدوا؟

اختبر الباحثون ذلك على ثلاثة أنواع من المهام:

تحليل المشاعر: تحديد ما إذا كانت مراجعة فيلم إيجابية أم سلبية.
الاستدلال المنطقي: حل الألغاز مثل "إذا كان (أ) صحيحاً، و(أ) يستلزم (ب)، فهل (ب) صحيح؟".
المسائل الرياضية اللفظية: حل قصص رياضية بسيطة.

النتائج:

الروبوتات الصغيرة تتضرر أكثر: الروبوتات الأصغر والأقل قوة (مثل النماذج ذات 7 مليارات معلمة) ارتبكت بشدة عندما بدت الأمثلة مختلفة. انخفضت دقتها بشكل كبير.
الروبوتات الكبيرة أكثر صموداً: النماذج الأكبر والأذكى (مثل النماذج ذات 70 مليار معلمة) كانت أفضل بكثير في تجاهل "الضجيج" والتمسك بالقاعدة الحقيقية. لم ترتبك بنفس القدر.
كلما زاد الارتباك = ساءت النتائج: كلما أضفت المزيد من الأمثلة "المختلفة في الشكل"، ساء أداء الروبوتات الصغيرة. في بعض الحالات، كان أداء الروبوت أسوأ مع هذه الأمثلة "الصحيحة" مما لو لم تعطِها أي أمثلة على الإطلاق.

تشبيه بسيط: قائمة تشغيل الموسيقى

تخيل أنك تحاول تعليم "دي جي" (DJ) تشغيل موسيقى "البوب المبهجة".

الأمثلة القياسية: تعطيه قائمة تشغيل تضم 10 أغاني بوب مبهجة. يتعلم النمط (Vibe) بشكل مثالي.
الأمثلة المضطربة: تعطيه 10 أغاني لا تزال من نوع البوب المبهج، ولكنك تغير غلاف الألبوم، وأسماء الألبومات، وترتيب المسارات. الموسيقى هي نفس النوع، لكن "التغليف" غريب.

إذا أعطيت الـ "دي جي" مزيجاً من الأغاني القياسية والأغاني ذات التغليف الغريب، فقد يرتبك الـ "دي جي" المبتدئ ويبدأ في تشغيل موسيقى جاز هادئة لأنه ركز على أغلفة الألبومات الغريبة بدلاً من الإيقاع. أما الـ "دي جي" الخبير (النموذج الكبير) فسيقوم ببسا_ة بتجاهل الأغلفة وتشغيل الموسيقى الصحيحة.

الخلاصة

تخلص الورقة البحثية إلى أنه عندما نحاول تعليم نماذج الذكاء الاصطناي باستخدام الأمثلة، لا ينبغي أن نسأل فقط: "هل هذا المثال صحيح؟"

بل يجب أن نسأل أيضاً: "هل يتناسب هذا المثال مع نمط الأمثلة الأخرى؟"

إذا كانت الأمثلة جميعها "صحيحة" ولكنها تبدو مختلفة جداً عن بعضها البعض، فيمكنها في الواقع أن تضر قدرة الذكاء الاصطناعي على التعلم. يحتاج الذكاء الاصطناي إلى "نمط" أو "سياق" متسق لتحديد القواعد، وليس مجرد كومة من البيانات الصحيحة واقعياً ولكنها فوضوية من حيث الأسلوب.

باختصار: الصحة شرط ضروري، لكنها ليست كافية. الطريقة التي تقدم بها المعلومات الصحيحة تهم بقدر أهمية المعلومات نفسها.

ملخص تقني: عندما تضر الأمثلة الصحيحة: إعادة التفكير في دور النماذج الاسترشادية في التعلم داخل السياق

بيان المشكلة
يتيح التعلم داخل السياق (ICL) للنماذج اللغوية الكبيرة (LLMs) التكيف مع مهام جديدة من خلال التكييف على مجموعة صغيرة من الأمثلة (المدخلات-المخرجات) دون تحديث المعلمات. وتفترض حدسية سائدة أن الأمثلة مفيدة لأنها توفر نماذج صحيحة لخرائط المهمة المستهدفة. ومع ذلك، يحدد هذا العمل ظاهرة منافية للحدس: صحة المثال لا تضمن فائدته. يوضح المؤلفون أن الأمثلة يمكن أن تكون صالحة بشكل فردي بموجب تعريف المهمة (أي أن زوج المدخلات-المخرجات يحقق خريطة المهمة) ومع ذلك تظل تقلل من أداء التعلم داخل السياق عند استخدامها كدليل سياقي. تنشأ هذه "الفجوة بين الصحة والفائدة" لأن النموذج لا يتعلم مجرد خريطة من الأزواج الفردية، بل يستنتج مهمة كامنة، ونظام مدخلات، وقاعدة قرار من مزيج جميع الأمثلة المقدمة.

المنهجية: الاضطرابات الحافظة للمهمة
لعزل التمييز بين الصحة والفائدة، قدم المؤلفون إطار عمل الاضطرابات الحفظة للمهمة. يتضمن هذا الإطار تعديل جانب المدخلات للأمثلة داخل السياق مع الحفاظ بصرامة على تعريف المهمة، وتنسيق المطالبة (prompt)، وترتيب الأمثلة. والأهم من ذلك، أن كل مثال مضطرب يتم إقرانه بالهدف المستحث بواسطة نفس خريطة المهمة $g_T$ ، مما يضمن بقاء المثال "صحيحًا" بمعزل عن غيره.

يشمل إطار العمل نظامين:

اضطرابات تحديث الملصقات (Labels): حيث يتم تغيير الدلالات المتعلقة بالمهمة، ويُعاد حساب الهدف وفقًا لخريطة المهمة (على سبيل المثال، تغيير جملة ذات مشاعر إيجابية إلى سلبية وتحديث الملصق الخاص بها).
اضطرابات الحفاظ على الهدف الصارم: حيث يظل الهدف الأصلي صالحًا، ولكن يتم تعديل المدخل لتضمين مشتتات أو إعادة ترتيب (على سبيل المثال، إضافة حقائق رقمية غير ذات صلة لمسألة رياضية أو إدراج مقدمات مشتتة في استدلال منطقي).

يعرف المؤلفون نسبة الاضطراب $\rho$ بأنها نسبة الأمثلة التي تم استبدالها بهذه المتغيرات الحافظة للمهمة. وقد صاغوا نمط الفشل الناتج كـ إزاحة الأدلة السياقية: تؤدي الاضطرابات إلى تغيير مزيج الأدلة الفعال الذي يستخدمه النموذج للاستدلال، مما يؤدي إلى إزاحة سياق القرار المستنتج للنموذج رغم عدم تغير خريطة المهمة الأساسية.

المساهمات الرئيسية

تحديد الفجوة بين الصحة والفائدة: تثبت الورقة أن المثال يمكن أن يستوفي شرط الصحة ( $y_i = g_T(x_i)$ ) بينما يكون له فائدة سلبية (زيادة المخاطر على الاستعلامات النظيفة) بسبب تفاعله مع السياق الأوسع.
إطار عمل منهجي: تقديم الاضطرابات الحافظة للمهمة كتدخل محكوم. وخلافًا للدراسات العدائية السابقة التي تغير الملصقات أو دلالات المهمة، يحافظ هذا الأسلوب على خريطة المهمة لاختبار كيفية تأثير إزاحة توزيع المدخلات على التعلم داخل السياق.
الصياغة النظرية: تم صياغة مفهوم إزاحة الأدلة السياقية رسميًا، مما يوضح كيف تغير الاضطرابات مزيج الأدلة الفعال ( $m_\theta$ ) المستخدم للاستدلال السياقي، وبالتالي فصل نسبة الاضطراب الاسمية عن الوزن الفعلي الذي يخصصه النموذج للأدلة المضطربة.

النتائج التجريبية
قيم المؤلفون النماذج مفتوحة الأوزان والمضبوطة للتعليمات (Llama-2, Llama-3.1, Qwen2.5/3.5, Gemma-4) عبر ثلاثة مجالات: تصنيف المشاعر (SST-2)، الاستدلال المنطقي (ProverQA)، والمسائل الرياضية الكلامية (PROBLEMATHIC).

تدهور الأداء: عبر جميع المهام، أدى زيادة نسبة الاضطراب $\rho$ إلى تدهور كبير في أداء التعلم داخل السياق. وفي بعض الحالات (مثل SST-2 مع النماذج الأصغر)، انخفض الأداء إلى ما دون خطوط الأساس للتعلم من الصفر (zero-shot).
الحساسية لحجم النموذج: كان التدهور معتمدًا بقوة على حجم النموذج. أظهرت النماذج الأصغر (مثل 7B–14B) ضعفًا ملحوظًا، بينما ظلت النماذج الأكبر (مثل 70B+) مستقرة نسبيًا. على سبيل المثال، في SST-2، انخفضت دقة Llama-2-7B من 96.4% إلى 56.9% عند نسبة اضطراب 100%، بينما ظلت Llama-3.1-70B قريبة من 100%.
صعوبة المهمة: أظهرت المهام الأكثر صعوبة (مثل الاستدلال المنطقي المعقد أو المسائل الرياضية) حساسية أكبر للاضطرابات، خاصة بالنسبة للنماذج الأصغر.
التأثيرات الموضعية: كانت الاضطرابات الموضوعة بالقرب من الاستعلام (اضطرابات الذيل) ضارة بشكل غير متناسب للنماذج الأصغر، والتي أظهرت حساسية قوية للحداثة (recency sensitivity). كشف تحليل خرائط الانتباه أن النماذج الأكبر كانت أفضل في إعادة تخصيص الانتباه إلى الأمثلة الأولى النظيفة، مما خفف من حدة الإزاحة في الأدلة.
تجارب الضبط: تسبب استبدال الأمثلة بعبارات واقعية غير ذات صلة بالمهمة في تدهور طفيف فقط، مما يؤكد أن الضرر ينبع من الأدلة المزاحة توزيعيًا ولكنها صالحة للمهمة، وليس من فشل التعرف على المهمة أو تعطيل المطالبة العام.

الأهمية والادعاءات
تجادل الورقة بأن التعلم داخل السياق القوي يتطلب تقييم ليس فقط ما إذا كانت الأمثلة صحيحة، ولكن أيضًا كيف تؤثر على الاستدلال السياقي. يزعم المؤلفون أن فعالية مجموعة الأمثلة تعتمد على تكوينها العالمي ومزيج الأدلة الناتج، وليس فقط جودة المثال الفردي.

تخلص الدراسة إلى أن "صحة" المثال هي خاصية محلية، بينما "الفائدة" تعتمد على السياق. وبناءً على ذلك، فإن مسارات التعلم داخل السياق القياسية التي تختار الأمثلة بناءً على الصحة أو التشابه فقط قد تُدخل عن غير قصد أدلة سياقية ضارة. يضع المؤلفون عملهم كتجريد تفسيري (إزاحة الأدلة السياقية) وليس كحساب ميكانيكي كامل، مشيرين إلى قيود مثل التركيز على التعلم داخل السياق النصي فقط والاضطرابات المحكومة. ويقترحون أن العمل المستقبلي يجب أن يستكشف آليات الدفاع التي تختار أو تزن الأمثلة بناءً على الفائدة بدلاً من الصحة وحدها.