🤖 AI

What Drives Interactive Improvement from Feedback?

Ce document introduit un cadre d'évaluation étudiant-enseignant contrôlé à travers diverses tâches de raisonnement pour démontrer que les améliorations multi-tours découlent souvent d'un calcul supplémentaire plutôt que de l'utilité du feedback, révélant que la capacité de l'étudiant à agir efficacement sur des orientations externes de haute qualité est le principal goulot d'étranglement pour une véritable amélioration interactive.

Auteurs originaux : Bartłomiej Cupiał, Jan Łojek, Mikołaj Garstecki, Szymon Pobłocki, Alicja Ziarko, Piotr Miłoś

Publié 2026-07-01

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Bartłomiej Cupiał, Jan Łojek, Mikołaj Garstecki, Szymon Pobłocki, Alicja Ziarko, Piotr Miłoś

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de résoudre un puzzle très difficile, comme un problème de mathématiques complexe ou un défi de codage épineux. Vous essayez une fois, vous échouez, puis vous réessayez. Parfois, vous vous améliorez simplement parce que vous avez continué à essayer (rééchantillonnage). D'autres fois, vous vous améliorez parce que quelqu'un vous a donné un indice sur ce que vous avez fait de travers (feedback).

Cet article pose une question simple mais délicate : lorsque nous voyons une IA s'améliorer après plusieurs tentatives, apprend-elle réellement des indices, ou s'améliore-t-elle simplement parce qu'elle a plus de temps pour réfléchir et réessayer ?

Pour le découvrir, les chercheurs ont mis en place une expérience de type « salle de classe » avec des modèles d'IA jouant deux rôles : l'Étudiant (qui essaie de résoudre le problème) et le Professeur (qui donne un feedback). Ils ont testé 13 modèles d'IA différents dans ces deux rôles à travers quatre types de tâches difficiles : les mathématiques, le codage, l'apprentissage de règles et les puzzles de motifs.

Voici ce qu'ils ont découvert, expliqué à travers des analogies de la vie quotidienne :

1. Le piège du « Continue de réessayer »

La découverte : Souvent, lorsqu'une IA s'améliore après un deuxième ou un troisième essai, ce n'est pas parce que le feedback était utile. C'est simplement parce que l'IA a pu « relancer les dés » avec plus de puissance de calcul.
L'analogie : Imaginez que vous essayiez de deviner la combinaison d'un cadenas. Si vous faites une erreur, et que vous essayez de nouveau sans aucune nouvelle information, vous pourriez finir par avoir de la chance. L'article a constaté que pour de nombreux modèles d'IA, leur donner un « indice » (feedback) n'aidait pas beaucoup plus que de simplement les laisser deviner à nouveau. L'amélioration provenait des tentatives supplémentaires, et non du conseil.

2. La différence entre « Auto-parole » et « Vrai Professeur »

La découverte : Lorsqu'une IA se donne son propre feedback (se parler à soi-même), elle s'améliore à peine par rapport à un simple nouvel essai. Cependant, lorsqu'une IA plus forte joue le rôle de professeur, l'étudiant s'améliore de manière significative.
L'analogie :

Auto-feedback : Imaginez que vous êtes bloqué sur une énigme et que vous vous dites : « Je pense que j'ai raté la première partie. » Vous réessayez, mais vous êtes toujours coincé dans la même boucle. Vous n'apprenez rien de nouveau.
Professeur externe : Maintenant, imaginez qu'un maître solveur de puzzles regarde votre tentative et vous dit : « Tu regardes la mauvaise forme ; essaie de la faire pivoter. » Ce conseil spécifique et de haute qualité vous aide réellement à résoudre le puzzle. L'article montre qu'un « bon professeur » est essentiel ; un professeur faible ou le fait de se parler à soi-même ne suffit pas.

3. L'Étudiant est la star, pas le Professeur

La découverte : Le facteur le plus important pour déterminer si une IA s'améliore est qui est l'étudiant, et non qui est le professeur. Un étudiant intelligent peut apprendre de presque n'importe qui, mais un étudiant confus n'apprendra rien, même face à un génie.
L'analogie : Pensez à un cours de musique. Si vous avez un professeur de violon de classe mondiale (le Professeur), mais que l'étudiant n'a jamais tenu de violon et ne sait pas lire la musique (l'Étudiant), il ne deviendra pas soudainement un virtuose simplement parce que le professeur est célèbre. La capacité de l'étudiant à comprendre et à utiliser le conseil est le véritable goulot d'étranglement. L'article a constaté que « l'identité de l'étudiant » expliquait bien plus le succès que « l'identité du professeur ».

4. Plus d'historique ne signifie pas toujours plus d'aide

La découverte : Donner au professeur et à l'étudiant un historique plus long de leur conversation passée (plus de contexte) aide, mais seulement si les modèles sont assez intelligents pour l'utiliser. Ce n'est pas une solution magique.
L'analogie : Imaginez un détective essayant de résoudre un crime. Si le détective est très perspicace, lui donner un dossier de 50 pages d'indices passés l'aide à trouver le coupable. Mais si le détective est facilement submergé, un dossier de 50 pages pourrait simplement le confondre, et un résumé court serait préférable. L'article a découvert que les historiques de conversation plus longs n'ont aidé que les modèles d'IA les plus « intelligents ».

5. Connaître la réponse n'aide pas toujours le Professeur

La découverte : Parfois, laisser le professeur voir la réponse correcte (information privilégiée) l'aide à donner un meilleur feedback. Mais pas toujours. Dans certaines tâches, connaître la réponse n'a pas rendu le professeur beaucoup plus efficace pour expliquer comment corriger l'erreur.
L'analogie : Imaginez un professeur de mathématiques qui sait que la réponse est « 42 ». Si l'étudiant a écrit « 40 », le professeur pourrait simplement dire « Faux ». Mais si le professeur sait pourquoi la réponse est 42, il peut dire : « Tu as oublié de retenir la retenue. » L'article a trouvé que pour certaines tâches, connaître la réponse aidait le professeur à donner ce conseil du type « oublie de retenir la retenue ». Pour d'autres tâches, connaître la réponse n'aidait pas le professeur à mieux expliquer l'erreur.

En résumé

L'article conclut que le feedback n'est aussi bon que la capacité de l'étudiant à l'utiliser.

Si vous voulez construire une IA capable d'apprendre du feedback, vous ne devez pas seulement vous concentrer sur la recherche de l'IA « Professeur » la plus intelligente. Vous devez vous concentrer sur la construction d'une IA « Étudiante » qui est réellement capable d'écouter, de comprendre l'erreur et de changer sa stratégie. Sans un étudiant capable d'agir sur le conseil, même le meilleur feedback n'est que du bruit.

En bref : Ne vous contentez pas de donner plus d'indices à une IA ; assurez-vous que l'IA est assez intelligente pour vraiment les écouter.

Résumé technique : Qu'est-ce qui stimule l'amélioration interactive par le feedback ?

Problématique

Alors que les grands modèles de langage (LM) sont de plus en plus déployés en tant qu'agents interactifs qui agissent, observent et révisent, une question critique se pose : quand le feedback en langage naturel stimule-t-il réellement une amélioration au-delà des gains obtenables par de simples tentatives répétées ?

Dans les contextes multi-tours, une précision finale plus élevée peut être confondue avec plusieurs mécanismes :

Feedback utile : L'agent interprète et agit correctement sur les informations diagnostiques.
Rééchantillonnage/Calcul : L'agent génère simplement plus de tentatives, bénéficiant ainsi d'un calcul au moment de l'inférence accru (ex: échantillonnage Best-of-N ou Chain-of-Thought).
Correction de format : L'agent corrige des erreurs de formatage de sortie plutôt que de résoudre le problème logique sous-jacent.

La littérature actuelle traite souvent l'amélioration multi-tour comme une preuve de l'utilité du feedback sans distinguer ces facteurs. De plus, il reste à déterminer si le goulot d'étranglement de l'amélioration interactive réside dans la capacité du professeur à générer un feedback utile ou dans la capacité de l'étudiant à l'utiliser.

Méthodologie

Les auteurs introduisent un protocole étudiant-professeur contrôlé conçu pour isoler la contribution spécifique du feedback par rapport au rééchantillonnage répété.

Configuration expérimentale

Protocole : Une boucle d'interaction « didactique » où un modèle étudiant tente de résoudre un problème. S'il est incorrect, un modèle professeur fournit un feedback en langage naturel (sans révéler la réponse finale), et l'étudiant révise sa tentative. Cela se répète jusqu'à $K=10$ tours.
Environnements : Quatre benchmarks de raisonnement vérifiables ont été utilisés :
- Omni-MATH : Mathématiques de niveau olympiade.
- Codeforces : Programmation compétitive.
- BBEH Linguini : Une tâche nécessitant l'apprentissage de nouvelles règles.
- ARC-AGI1 : Puzzles de raisonnement abstrait sur grille.
Modèles : Treize modèles à poids ouverts issus de quatre familles (Gemma4, Llama3, Qwen3.5, GPT-OSS) allant de 1B à 120B de paramètres.
Conception matricielle dense : Chaque modèle a été évalué à la fois dans les rôles d'étudiant et de professeur à travers tous les environnements, créant une matrice d'interaction de $13 \times 13$ . Cela permet de marginaliser les effets de l'étudiant et du professeur.
Baselines et contrôles :
- Auto-raffinement (Self-refinement) : L'étudiant tente de résoudre à nouveau le problème sans aucun feedback externe (contrôlant les tentatives répétées).
- Auto-feedback (Self-feedback) : L'étudiant génère son propre feedback (contrôlant la présence d'un message de feedback).
- Meilleur Feedback (Best Feedback) : L'étudiant est associé au professeur le plus puissant disponible.
Ablations : L'étude a fait varier la longueur de l'historique d'interaction ( $h \in \{1..5\}$ ) et l'accès du professeur à des informations privilégiées (ex: solutions de vérité terrain, traces d'exécution) pour tester leur impact sélectif.

Métriques

acc@K : Précision au tour $K$ .
Gain brut/normalisé : $acc@K - acc@1$ et $\frac{acc@K - acc@1}{1 - acc@1}$ , isolant l'amélioration par rapport à la tentative initiale.
AUC : Aire sous la courbe de la précision cumulative sur les tours.

Contributions clés

Cadre d'évaluation contrôlé : Un protocole d'évaluation étudiant-professeur zero-shot qui sépare les gains spécifiques au feedback des bénéfices du rééchantillonnage répété et de l'auto-raffinement.
Désentrelacement des mécanismes : Preuve empirique montrant que l'amélioration multi-tour n'est pas synonyme d'utilisation du feedback ; l'auto-feedback n'apporte souvent que peu de plus qu'un auto-raffinement non guidé.
Goulot d'étranglement centré sur l'étudiant : Une démonstration que la performance interactive est principalement pilotée par la capacité de l'étudiant à utiliser le feedback plutôt que par l'identité du professeur, bien que le choix du professeur reste significatif pour un étudiant donné.
Valeur sélective de l'information privilégiée : Constatations selon lesquelles les historiques plus longs et les informations privilégiées du professeur (ex: réponses de vérité terrain) ne sont pas universellement bénéfiques mais agissent comme des interventions ciblées dépendant de la difficulté de la tâche et de la capacité du modèle.

Résultats clés

1. Les gains spécifiques au feedback sont limités sans une guidance forte

Auto-feedback vs Auto-raffinement : L'ajout d'un message de feedback généré par le même modèle (auto-feedback) a produit des résultats incohérents par rapport à l'auto-raffinement non guidé. Dans certains environnements (ex: BBEH Linguini), l'auto-feedback n'offrait aucun avantage par rapport à une simple tentative répétée.
Impact du professeur externe : Les gains les plus importants provenaient de l'association d'étudiants avec des professeurs de haute qualité. Les conditions de « meilleur feedback » ont ajouté 9,2 à 16,6 points de pourcentage en $acc@10$ par rapport à l'auto-raffinement, suggérant que le feedback utile doit fournir des informations correctives au-delà d'une simple répétition générique.
Gains concentrés en début de parcours : Les améliorations marginales étaient fortement concentrées au début ; la première tentative conditionnée par le feedback représentait 30 à 58 % des gains totaux, avec des rendements décroissants dans les tours suivants.

2. La performance interactive dépend de l'étudiant

Dominance de l'identité de l'étudiant : Dans la matrice dense des modèles, l'identité de l'étudiant expliquait 77,1 % à 96,5 % de la variation des gains par paire. L'identité du professeur n'expliquait que 1,3 % à 12,4 %.
Capacités distinctes : La capacité de résolution initiale d'un modèle ($acc@1$) ne prédit pas sa capacité à s'améliorer grâce au feedback ($ngain$). Par exemple, GPT-OSS-120B commençait souvent avec une $acc@1$ plus élevée mais montrait une meilleure adhérence au feedback que Gemma4-31B dans certains environnements.
Compétence du professeur : La performance du professeur sur une tâche en un seul tour n'est qu'un prédicteur partiel de sa capacité d'enseignement interactive. Dans 28,9 % à 41,4 % des paires comparables, un solveur plus faible agissait comme un professeur plus efficace pour un étudiant spécifique.

3. Le contexte et l'information privilégiée sont sélectifs

Longueur de l'historique : Augmenter l'historique visible de 1 à 5 tours a apporté des gains modestes (ex: +0,094 AUC sur Omni-MATH) mais dépendait fortement de la capacité du modèle. Les professeurs plus forts exploitaient mieux l'historique pour diagnostiquer les échecs répétés.
Information privilégiée : Donner aux professeurs accès aux réponses de vérité terrain ou aux solutions n'a pas uniformément amélioré les résultats.
- BBEH Linguini : A montré le plus grand bénéfice (l'AUC est passée de 0,151 à 0,331 avec l'accès à la réponse).
- Codeforces/Omni-MATH : Les bénéfices étaient marginaux ou inexistants, probablement parce que le professeur avait déjà un contexte suffisant (ex: traces d'exécution) ou que la structure de la tâche rendait la réponse moins critique pour le diagnostic.
Fuite d'information : Même avec un accès privilégié, la fuite d'information du professeur vers l'étudiant était faible (<5 %), indiquant que les professeurs respectaient généralement la contrainte de ne pas révéler la solution.

Signification et affirmations

L'article soutient que le domaine doit changer sa manière d'évaluer les agents basés sur le feedback :

Rigueur de l'évaluation : Les gains multi-tours doivent toujours être comparés à des baselines de tentatives répétées (auto-raffinement) pour s'assurer que les améliorations sont réellement induites par le feedback.
Identification du goulot d'étranglement : La principale contrainte de l'amélioration interactive est souvent la capacité de l'étudiant à agir sur le feedback, et non la simple disponibilité du feedback ou la force du professeur.
Déploiement stratégique : Les historiques d'interaction plus longs et les informations privilégiées du professeur doivent être traités comme des interventions ciblées pour des goulots d'étranglement spécifiques plutôt que comme des améliorations par défaut, car ils augmentent le coût computationnel et la pression sur le contexte sans garantie de rendement.

Les auteurs concluent que si le feedback est un outil puissant, son efficacité dépend de la capacité de l'étudiant à traduire des informations diagnostiques en corrections exploitables, une capacité qui varie considérablement selon les architectures et la taille des modèles.