🤖 machine learning

When Correct Demonstrations Hurt: Rethinking the Role of Exemplars in In-Context Learning

Ce papier remet en cause l'hypothèse selon laquelle des démonstrations correctes aident toujours l'apprentissage en contexte en révélant que des perturbations préservant la tâche peuvent dégrader les performances par un « décalage des preuves contextuelles », démontrant que l'utilité des exemples dépend de la manière dont ils influencent l'inférence contextuelle plutôt que de leur simple exactitude.

Auteurs originaux : Chenghao Qiu, Chunli Peng, Yufeng Yang, Kuan-Hao Huang, Yi Zhou

Publié 2026-05-27

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Chenghao Qiu, Chunli Peng, Yufeng Yang, Kuan-Hao Huang, Yi Zhou

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

L'Idée Principale : Avoir « raison » n'est pas toujours « utile »

Imaginez que vous essayez d'enseigner à un robot comment trier du linge. Vous lui montrez quelques exemples :

Exemple 1 : Un chaussette rouge va dans le tas « Rouge ».
Exemple 2 : Un t-shirt bleu va dans le tas « Bleu ».

Le robot apprend rapidement. C'est ce qu'on appelle l'Apprentissage en Contexte (ICL). Le robot examine les exemples que vous lui donnez (les « démonstrations ») et devine comment traiter le nouvel objet que vous venez de lui remettre.

La croyance commune a été : « Tant que les exemples que je montre au robot sont factuellement corrects, le robot apprendra mieux. »

Ce papier prouve que cette croyance est fausse.

Les auteurs ont découvert un phénomène étrange : vous pouvez donner au robot des exemples qui sont 100 % factuellement corrects, mais si vous changez la façon dont ces exemples sont présentés ou sonnent, le robot pourrait se confondre et performer moins bien que si vous ne lui aviez donné aucun exemple.

L'Expérience : L'astuce « Préservation de la Tâche »

Pour tester cela, les chercheurs n'ont pas trompé le robot avec de mauvaises réponses. Au lieu de cela, ils ont joué à un jeu de « même tâche, histoire différente ». Ils ont appelé cela la Perturbation Préservant la Tâche.

Pensez-y comme enseigner à quelqu'un à conduire.

La Façon Standard : Vous lui montrez une vidéo d'une voiture s'arrêtant à un feu rouge. (Exemple correct).
La Façon « Perturbée » : Vous lui montrez une vidéo d'une autre voiture s'arrêtant à un feu rouge, mais cette fois la voiture est un cabriolet jaune vif, le temps est ensoleillé et le conducteur porte un chapeau. L'action (s'arrêter à un feu rouge) reste correcte. La règle n'a pas changé.

Cependant, les chercheurs ont découvert que si vous montrez au robot trop d'exemples « différents en apparence mais corrects », le robot commence à se confondre sur quelle est la vraie règle. Il commence à penser : « Oh, peut-être que la règle concerne les cabriolets jaunes par temps ensoleillé », plutôt que « S'arrêter aux feux rouges ».

Le Concept Central : « Déplacement des Preuves Contextuelles »

Le papier introduit un terme sophistiqué pour cette confusion : le Déplacement des Preuves Contextuelles.

Imaginez que le robot est un détective essayant de résoudre un mystère. Les exemples que vous lui donnez sont des « indices ».

Indices Propres : Tous les indices se ressemblent et pointent clairement vers le même suspect.
Indices Perturbés : Les indices sont toujours techniquement vrais, mais ils se ressemblent très peu entre eux. Certains sont écrits en encre rouge, d'autres en bleu ; certains sont de longues histoires, d'autres de courts notes.

Même si chaque indice est vrai, le mélange d'indices change. Le détective (le robot) commence à se concentrer sur les mauvais détails (comme la couleur de l'encre) au lieu du crime principal. Les « preuves » que le robot utilise pour prendre une décision ont changé, même si les faits n'ont pas changé.

Ce qu'ils ont trouvé

Les chercheurs ont testé cela sur trois types de tâches :

Analyse de Sentiment : Décider si un avis de film est positif ou négatif.
Raisonnement Logique : Résoudre des énigmes comme « Si A est vrai, et que A implique B, est-ce que B est vrai ? »
Problèmes de Mathématiques en Mots : Résoudre de simples histoires mathématiques.

Les Résultats :

Les Petits Robots Sont Plus Touchés : Les modèles plus petits et moins puissants (comme un modèle de 7 milliards de paramètres) sont devenus très confus lorsque les exemples avaient une apparence différente. Leur précision a chuté de manière significative.
Les Gros Robots Sont Plus Résistants : Les modèles plus grands et plus intelligents (comme les modèles de 70 milliards de paramètres) étaient beaucoup meilleurs pour ignorer le « bruit » et s'en tenir à la vraie règle. Ils ne se sont pas autant confondus.
Plus de Confusion = Pires Résultats : Plus ils ajoutaient d'exemples « différents en apparence », plus les petits robots performaient mal. Dans certains cas, le robot a fait pire avec ces exemples « corrects » que s'ils lui avaient donné aucun exemple du tout.

Une Analogie Simple : La Liste de Lecture Musicale

Imaginez que vous essayez d'enseigner à un DJ à jouer de la musique « Pop Dynamique ».

Exemples Standards : Vous lui donnez une liste de lecture de 10 chansons pop dynamiques. Il apprend parfaitement l'ambiance.
Exemples Perturbés : Vous lui donnez 10 chansons qui sont toujours de la pop dynamique, mais vous changez la pochette, les noms des albums et l'ordre des pistes. La musique est du même genre, mais l'« emballage » est bizarre.

Si vous donnez au DJ un mélange de chansons standards et de chansons emballées bizarrement, un DJ débutant pourrait se confondre et commencer à jouer du jazz lent parce qu'il se concentre sur les pochettes d'albums bizarres au lieu du rythme. Un DJ expert (le grand modèle) ignorerait simplement les pochettes et jouerait la bonne musique.

La Conclusion

Le papier conclut que lorsque nous essayons d'enseigner aux modèles d'IA en utilisant des exemples, nous ne devrions pas seulement demander : « Cet exemple est-il correct ? »

Nous devons aussi demander : « Cet exemple correspond-il au motif des autres exemples ? »

Si les exemples sont tous « corrects » mais qu'ils se ressemblent trop peu entre eux, ils peuvent en fait nuire à la capacité de l'IA à apprendre. L'IA a besoin d'une « ambiance » ou d'un « contexte » cohérent pour comprendre les règles, pas juste d'un tas de données factuellement vraies mais stylistiquement chaotiques.

En bref : La justesse est nécessaire, mais elle ne suffit pas. La façon dont vous présentez l'information correcte compte tout autant que l'information elle-même.

Résumé Technique : Quand les Démonstrations Correctes Nuisent : Repenser le Rôle des Exemples dans l'Apprentissage en Contexte

Énoncé du Problème
L'apprentissage en contexte (ICL) permet aux grands modèles de langage (LLM) de s'adapter à de nouvelles tâches en se conditionnant sur un petit ensemble de démonstrations entrée-sortie sans mettre à jour les paramètres. Une intuition prédominante suggère que les démonstrations sont bénéfiques car elles fournissent des exemples corrects de la mapping de la tâche cible. Cependant, ce travail identifie un phénomène contre-intuitif : la correction des exemples ne garantit pas leur utilité. Les auteurs démontrent que les démonstrations peuvent être individuellement valides selon la définition de la tâche (c'est-à-dire que la paire entrée-sortie satisfait la mapping de la tâche) tout en dégradant les performances de l'ICL lorsqu'elles sont utilisées comme preuves contextuelles. Cet « écart entre correction et utilité » survient parce que le modèle n'apprend pas simplement une mapping à partir de paires individuelles, mais infère une tâche latente, un régime d'entrée et une règle de décision à partir du mélange de tous les exemples fournis.

Méthodologie : Perturbations Préservant la Tâche
Pour isoler la distinction entre correction et utilité, les auteurs introduisent des perturbations préservant la tâche. Ce cadre consiste à modifier le côté entrée des exemples en contexte tout en maintenant strictement la définition de la tâche, le format de l'invite et l'ordre des démonstrations. Crucialement, chaque exemple perturbé est apparié à la cible induite par la même mapping de tâche $g_T$ , garantissant que la démonstration reste « correcte » de manière isolée.

Le cadre englobe deux régimes :

Mise à Jour des Étiquettes : Les sémantiques pertinentes pour la tâche sont altérées et la cible est recalculée selon la mapping de la tâche (par exemple, changer une phrase de sentiment de positive à négative et mettre à jour l'étiquette).
Perturbations Strictement Préservant la Cible : La cible originale reste valide, mais l'entrée est modifiée pour inclure des distractions ou un réordonnancement (par exemple, ajouter des faits numériques non pertinents à un problème de mathématiques ou insérer des prémices distractives dans un raisonnement logique).

Les auteurs définissent le ratio de perturbation $\rho$ comme la proportion d'exemples remplacés par ces variantes préservant la tâche. Ils formalisent le mode de défaillance résultant sous le nom de déplacement de preuve contextuelle : les perturbations altèrent le mélange effectif de preuves que le modèle utilise pour l'inférence, déplaçant le contexte de décision inféré par le modèle même si la mapping de tâche sous-jacente reste inchangée.

Contributions Clés

Identification de l'Écart Correction–Utilité : L'article établit qu'une démonstration peut satisfaire la condition de correction ( $y_i = g_T(x_i)$ ) tout en ayant une utilité négative (augmentant le risque sur des requêtes propres) en raison de son interaction avec le contexte plus large.
Cadre Méthodologique : L'introduction des perturbations préservant la tâche comme une intervention contrôlée. Contrairement aux études adverses antérieures qui altèrent les étiquettes ou les sémantiques de la tâche, cette méthode préserve la mapping de la tâche pour tester spécifiquement comment les déplacements de distribution d'entrée affectent l'ICL.
Formalisation Théorique : Le concept de déplacement de preuve contextuelle est formalisé, montrant comment les perturbations modifient le mélange de preuves effectif ( $m_\theta$ ) utilisé pour l'inférence contextuelle, séparant ainsi le ratio de perturbation nominal du poids effectif que le modèle attribue aux preuves perturbées.

Résultats Expérimentaux
Les auteurs ont évalué des modèles à poids ouverts et ajustés par instruction (Llama-2, Llama-3.1, Qwen2.5/3.5, Gemma-4) sur trois domaines : classification de sentiments (SST-2), raisonnement logique (ProverQA) et problèmes mathématiques verbaux (PROBLEMATHIC).

Dégradation des Performances : Pour toutes les tâches, l'augmentation du ratio de perturbation $\rho$ a considérablement dégradé les performances de l'ICL. Dans certains cas (par exemple, SST-2 avec des modèles plus petits), les performances sont tombées en dessous des lignes de base zero-shot.
Sensibilité à l'Échelle du Modèle : La dégradation était fortement dépendante de l'échelle. Les modèles plus petits (par exemple, 7B–14B) ont montré une vulnérabilité significative, tandis que les modèles plus grands (par exemple, 70B+) sont restés relativement stables. Par exemple, sur SST-2, la précision de Llama-2-7B est passée de 96,4 % à 56,9 % à 100 % de perturbation, alors que Llama-3.1-70B est resté proche de 100 %.
Difficulté de la Tâche : Les tâches plus difficiles (par exemple, raisonnement logique complexe ou problèmes mathématiques) ont montré une plus grande sensibilité aux perturbations, en particulier pour les modèles plus petits.
Effets Positionnels : Les perturbations placées près de la requête (perturbations de queue) étaient disproportionnément nuisibles aux modèles plus petits, qui ont montré une forte sensibilité à la récence. L'analyse des cartes d'attention a révélé que les modèles plus grands étaient mieux à même de réaffecter l'attention aux premiers exemples propres, atténuant ainsi le déplacement de preuve.
Expériences de Contrôle : Le remplacement des exemples par des énoncés factuels non pertinents pour la tâche n'a causé qu'une légère dégradation, confirmant que le préjudice provient de preuves valides sur le plan de la tâche mais déplacées sur le plan de la distribution, plutôt que d'une perturbation générique de l'invite ou d'un échec de reconnaissance de la tâche.

Signification et Revendications
L'article soutient qu'un ICL robuste nécessite d'évaluer non seulement si les démonstrations sont correctes, mais aussi comment elles influencent l'inférence contextuelle. Les auteurs affirment que l'efficacité d'un ensemble de démonstrations dépend de sa composition globale et du mélange de preuves résultant, et non seulement de la qualité individuelle des exemples.

L'étude conclut que la « correction » d'un exemple est une propriété locale, tandis que l'« utilité » dépend du contexte. Par conséquent, les pipelines ICL standards qui sélectionnent des exemples uniquement sur la base de la correction ou de la similarité peuvent introduire involontairement des preuves contextuelles nuisibles. Les auteurs positionnent leur travail comme une abstraction explicative (déplacement de preuve contextuelle) plutôt que comme un compte rendu mécanistique complet, notant des limitations telles que le focus sur l'ICL textuel uniquement et les perturbations contrôlées. Ils suggèrent que les travaux futurs devraient explorer des mécanismes de défense qui sélectionnent ou pondèrent les démonstrations par utilité plutôt que par correction seule.