💬 NLP

Many-Shot CoT-ICL: Making In-Context Learning Truly Learn

Cet article révèle que l'apprentissage par contexte en chaîne de pensée à plusieurs exemples se comporte comme un apprentissage en contexte au moment du test plutôt que comme un simple appariement de motifs, démontrant que les règles d'échelle standard échouent pour les tâches de raisonnement et proposant la sélection de démonstrations curvilinéaire (CDS) pour optimiser l'ordre des démonstrations afin d'obtenir des gains de performance significatifs.

Auteurs originaux : Tsz Ting Chung, Lemao Liu, Mo Yu, Dit-Yan Yeung

Publié 2026-05-14

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Tsz Ting Chung, Lemao Liu, Mo Yu, Dit-Yan Yeung

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un étudiant très intelligent mais inexpérimenté comment résoudre un puzzle complexe. Vous avez un carnet de notes massif (la « fenêtre de contexte longue ») où vous pouvez écrire des centaines d'exemples pour l'aider.

Ce document examine ce qui se produit lorsque vous remplissez ce carnet de centaines d'exemples qui incluent non seulement la question et la réponse, mais aussi le processus de réflexion étape par étape (appelé « Chaîne de Pensée ») utilisé pour le résoudre.

Voici une explication simple de ce que les chercheurs ont découvert :

1. L'Ancienne Règle vs La Nouvelle Réalité

L'Ancienne Règle (Pour les Tâches Simples) :
Si vous enseignez à un étudiant à trier du courrier (une tâche simple), peu importe si vous lui montrez 20 exemples ou 200, ou dans quel ordre vous les présentez. Plus vous donnez d'exemples, mieux il se débrouille, et l'ordre n'a pas vraiment d'importance. C'est comme jeter un tas de balles rouges dans un seau ; elles se ressemblent toutes, donc l'ordre est indifférent.

La Nouvelle Réalité (Pour les Tâches de Raisonnement) :
Lorsque la tâche est difficile — comme résoudre une preuve de géométrie ou un mystère d'enquête — les anciennes règles s'effondrent.

Plus n'est pas toujours mieux : Si vous versez simplement des centaines d'exemples de raisonnement dans le carnet pour un modèle d'IA standard, il devient souvent confus et ses performances se dégradent.
L'ordre compte énormément : Contrairement au tri du courrier, l'ordre dans lequel vous présentez ces étapes complexes de raisonnement est critique. Si vous passez d'un concept simple à un concept extrêmement difficile trop rapidement, l'étudiant se perd.

2. Pourquoi les Exemples « Similaires » Échouent

Habituellement, lorsque nous voulons aider un étudiant, nous cherchons des exemples qui ressemblent similaires au problème actuel.

Le Piège : Le document a révélé que pour les tâches de raisonnement, choisir des exemples qui ressemblent (par exemple, deux problèmes de mathématiques tous deux sur les triangles) est en réalité une mauvaise idée.
L'Analogie : Imaginez que vous enseignez à quelqu'un comment faire un gâteau. Vous lui montrez une recette pour un gâteau au chocolat, puis vous lui demandez de faire un gâteau génoise. Ils se ressemblent (ce sont tous deux des gâteaux), mais le processus (les étapes) est différent. Si l'étudiant essaie de copier les étapes du gâteau au chocolat pour le gâteau génoise, il échouera.
La Découverte : Pour le raisonnement, les « étapes » (la procédure) comptent plus que le « sujet » (la similarité de surface). Deux problèmes peuvent se ressembler mais nécessiter des chemins de pensée complètement différents. Si l'IA tente de copier le mauvais chemin, elle échoue.

3. L'Approche « Curriculum »

Les auteurs ont réalisé que pour qu'une IA « apprenne » véritablement d'une longue liste d'exemples, cette liste doit agir comme un programme scolaire, et non comme un simple tas de livres.

Principe 1 : Compréhensibilité. Les exemples doivent être rédigés d'une manière que l'IA spécifique peut comprendre. Si l'IA est « faible », lui montrer des exemples écrits par une IA « génie » pourrait être trop confus. Elle apprend mieux à partir d'exemples qui correspondent à son propre niveau de pensée actuel.
Principe 2 : Transitions Douces. Les exemples doivent être ordonnés de manière à ce que les concepts s'écoulent doucement de l'un à l'autre. On ne peut pas passer de l'« addition » au « calcul différentiel » sans les étapes intermédiaires.

4. La Solution : « Sélection de Démonstration Curvilinéaire » (CDS)

Pour résoudre le problème de l'ordre, les chercheurs ont inventé une méthode appelée CDS.

La Métaphore : Imaginez que les exemples sont des points sur une carte. Si vous les reliez dans un ordre aléatoire, vous pourriez devoir faire des virages brusques et vertigineux (une forte « courbure »). Si vous les arrangez de sorte que le chemin soit lisse et doux (une faible « courbure »), l'étudiant peut parcourir le chemin facilement.
Le Résultat : En arrangeant les centaines d'exemples de manière à ce que le « chemin de pensée » soit lisse et progressif, ils ont amélioré les performances de l'IA sur les problèmes de géométrie d'environ 5,4 % par rapport à un ordre aléatoire.

Résumé

Le document soutient que fournir à une IA des centaines d'exemples de raisonnement ne concerne pas seulement « plus de données ». Il s'agit de la manière dont ces données sont présentées.

Ne prenez pas simplement des exemples qui se ressemblent visuellement.
Faites les organiser comme un plan de cours fluide, passant doucement des concepts faciles aux concepts plus difficiles.
Assurez-vous que les exemples sont rédigés dans une langue que l'IA spécifique peut réellement comprendre.

En traitant la longue liste d'exemples comme une leçon structurée plutôt que comme un tampon de récupération, l'IA peut réellement « apprendre » le processus de raisonnement en temps réel, plutôt que de simplement deviner en se basant sur des motifs.

Résumé Technique : CoT-ICL à Multiples Tirs : Rendre l'Apprentissage en Contexte Vraiment Apprenant

1. Énoncé du Problème

Bien que l'Apprentissage en Contexte (ICL) ait démontré sa capacité à adapter les Grands Modèles de Langage (LLM) à de nouvelles tâches sans mise à jour des paramètres, la compréhension actuelle de son comportement d'échelle est largement dérivée de tâches non déductives (par exemple, la classification). Avec l'avènement des modèles à contexte long, l'ICL « à multiples tirs » (utilisant de quelques dizaines à plusieurs centaines d'exemples) a émergé, atteignant des performances comparables au fine-tuning. Cependant, il reste incertain que les principes établis de l'ICL à multiples tirs — spécifiquement que l'ordre des démonstrations perd de son importance et que la récupération basée sur la similarité est efficace — se transfèrent à l'ICL à Chaîne de Pensée (CoT) pour les tâches de raisonnement.

L'article examine si la fourniture de davantage de démonstrations de raisonnement conduit à une amélioration fiable ou introduit de nouvelles instabilités. Il remet en question si l'ICL à multiples tirs avec CoT n'est qu'un appariement de motifs à grande échelle ou une forme d'apprentissage en contexte véritable suivant des principes pédagogiques.

2. Méthodologie

Les auteurs établissent un cadre expérimental couvrant trois dimensions :

Types de Tâches : Tâches non déductives (classification, compréhension du langage naturel, détection d'intention bancaire) vs Tâches de raisonnement (raisonnement mathématique sur GSM8K/MATH, raisonnement narratif sur DetectiveQA).
Types de Modèles : LLM non déductifs (par exemple, LLaMA 3.1/3.3, Qwen 2.5) vs LLM orientés vers le raisonnement (par exemple, Qwen 3, QwQ, DeepSeek-R1) qui exposent des segments de raisonnement explicites (par exemple, les tokens <thought>).
Configurations ICL : ICL traditionnel vs CoT-ICL (prompts contenant l'entrée, la chaîne de raisonnement et la sortie).

L'étude évalue les effets d'échelle en faisant varier le nombre de démonstrations ( $n$ ) de quelques tirs à de multiples tirs (jusqu'à $n=128$ ). Les analyses expérimentales clés incluent :

Disparité d'Échelle : Comparaison des tendances de performance à mesure que $n$ augmente à travers différentes combinaisons de modèles et de tâches.
Récupération Basée sur la Similarité : Construction d'ensembles de démonstrations « les plus similaires » et « les moins similaires » basés sur la similarité d'embedding au niveau de la question pour tester l'hypothèse de récupération.
Sensibilité à l'Ordre : Mesure de l'écart-type de la précision à travers les permutations aléatoires d'un même ensemble de démonstrations.
Ablation Procédurale : Remplacement de rationales CoT spécifiques par des chaînes statiques pour isoler si les modèles apprennent des procédures ou appariement simplement des paires entrée-sortie.
Principes de Sélection des Démonstrations : Test de l'impact de la « Facilité de Compréhension » (utilisation de CoTs auto-générés par rapport à des CoTs fournis par le jeu de données) et de la « Fluidité du Flux d'Information » (ordonnancement des démonstrations pour minimiser la courbure conceptuelle).

3. Résultats Clés

A. Échelle Dépendante du Contexte

Tâches Non Déductives : L'ICL à multiples tirs s'échelle de manière fiable ; la performance s'améliore régulièrement à mesure que le nombre de démonstrations augmente, et la sensibilité à l'ordre des démonstrations diminue.
Tâches de Raisonnement (LLM Non Déductifs) : L'ICL à multiples tirs avec CoT est instable. L'augmentation du nombre de démonstrations conduit souvent à une dégradation des performances ou à des gains négatifs pour les modèles standard ajustés par instruction, même à de grandes échelles de paramètres (par exemple, LLaMA 3.3 70B).
Tâches de Raisonnement (LLM Orientés vers le Raisonnement) : Les modèles dotés de capacités de raisonnement explicites (par exemple, Qwen 3, DeepSeek-R1) montrent des améliorations de performance cohérentes et quasi-monotones avec davantage de démonstrations CoT. Cela suggère que bénéficier de contextes CoT longs nécessite des mécanismes pour interpréter les signaux de raisonnement (par exemple, les tokens de réflexion) plutôt qu'un simple appariement de motifs superficiels.

B. Échec de la Récupération Basée sur la Similarité

Non Déductif : La similarité sémantique entre les questions est un proxy fiable pour la similarité des étiquettes ; récupérer des exemples similaires améliore les performances.
Raisonnement : La similarité sémantique au niveau de la question échoue à prédire la compatibilité procédurale. Deux questions mathématiquement similaires peuvent nécessiter des stratégies de résolution différentes. Par conséquent, récupérer les démonstrations CoT « les plus similaires » conduit souvent à de moins bonnes performances que l'utilisation d'ensembles dissimilaires ou non curatés, car cela peut induire des étapes intermédiaires conflictuelles.

C. Effet d'Échelle de l'Ordre

Contrairement aux tâches non déductives où la sensibilité à l'ordre s'estompe avec l'échelle, les tâches de raisonnement présentent un effet d'échelle de l'ordre : la variance de performance augmente à mesure que le nombre de démonstrations CoT croît. Cela indique que la séquence des démonstrations façonne de manière critique la trajectoire de raisonnement induite.

D. Mécanisme : Apprentissage en Contexte au Moment du Test

L'article reformule l'ICL à multiples tirs avec CoT non pas comme un appariement de motifs, mais comme un apprentissage en contexte au moment du test. Les preuves montrent que les modèles de raisonnement absorbent des procédures spécifiques à partir des démonstrations plutôt que de simplement mémoriser des étiquettes. Lorsque les rationales sont corrompues (remplacées par des chaînes statiques), la performance chute significativement à des nombres de tirs élevés, confirmant que les modèles internalisent les étapes procédurales.

4. Principes Proposés et Méthode (CDS)

Sur la base du constat que l'ICL avec CoT agit comme un processus d'apprentissage, les auteurs proposent deux principes pour une conception efficace des démonstrations :

Facilité de Compréhension : Les démonstrations doivent s'aligner sur les connaissances actuelles du modèle et sa distribution de génération. Les CoTs auto-générés (même avec quelques erreurs) surpassent souvent les CoTs de vérité terrain pour les modèles plus faibles car ils sont plus « compréhensibles » pour le modèle cible.
Fluidité de la Progression des Connaissances : Les démonstrations doivent être ordonnées pour créer une transition conceptuelle fluide, évitant les sauts brusques dans les stratégies de raisonnement.

Pour opérationnaliser le deuxième principe, les auteurs introduisent la Sélection de Démonstrations Curvilinéaires (CDS).

Méthode : CDS traite la séquence de démonstrations comme une trajectoire dans l'espace d'embedding. Elle ordonne les démonstrations pour minimiser la courbure conceptuelle totale (la somme des angles de virage entre les vecteurs d'embedding consécutifs).
Implémentation : Elle utilise une heuristique basée sur le problème du voyageur de commerce (TSP) (plus proche voisin + 2-opt) avec une fonction de coût équilibrant la proximité euclidienne et la minimisation de la courbure.
Résultats : CDS génère des gains cohérents, atteignant jusqu'à une amélioration de 5,42 points de pourcentage sur les tâches de géométrie avec 64 démonstrations. Elle surpasse l'ordonnancement aléatoire et les baselines à haute courbure sur les tâches de raisonnement mathématique et narratif.

5. Importance et Revendications

L'article revendique une reformulation de la compréhension des fenêtres de contexte longues, passant d'un simple « tampon de récupération » à un « curriculum structuré » pour l'apprentissage en contexte au moment du test.

Contribution Théorique : Il démontre que les règles régissant l'ICL à multiples tirs pour la classification ne se transfèrent pas au raisonnement. Il soutient que l'ICL de raisonnement efficace repose sur la capacité du modèle à interpréter et internaliser des signaux procéduraux, et non simplement sur un appariement de motifs de surface.
Contribution Pratique : Il fournit une méthode simple, peu coûteuse et sans paramètres (CDS) pour améliorer les performances de raisonnement en optimisant l'ordre des démonstrations basé sur la fluidité conceptuelle.
Limites : Les auteurs notent que les bénéfices de CDS sont les plus prononcés lorsque l'ordonnancement de base est sous-optimal (courbure élevée) et que les gains peuvent être plus faibles dans les tâches où la précision de base est déjà très élevée (par exemple, la théorie des nombres).

Le travail suggère que pour les LLM capables de raisonnement, la fenêtre de contexte longue sert d'environnement d'apprentissage dynamique où la structure de l'invite (curriculum) est aussi critique que le contenu des exemples.