Sample More, Reflect Less: Self-Refine and Reflexion Lose to Repeated Sampling at Equal Token Cost, from 1.5B to 7B

La Grande Expérience du Boost Cérébral de l'IA

Imaginez que vous avez un étudiant très intelligent mais légèrement distrait. Vous lui donnez un problème de mathématiques difficile, et il essaie de le résoudre. Parfois, il réussit ; parfois, il échoue. Dans le monde de l'intelligence artificielle, les chercheurs essaient de comprendre comment faire en sorte que ces « étudiants » (appelés Modèles de Langage de Grande Taille) réfléchissent mieux sans les reconstruire de zéro. L'idée populaire a été de dire à l'IA de « réfléchir plus intensément ». Cela signifie lui demander de planifier ses étapes, de débattre avec elle-même, de critiquer ses propres erreurs ou de réécrire ses réponses avant de les rendre. C'est comme dire à un étudiant : « Ne te contente pas d'écrire la réponse ; écris tout un essai sur les raisons pour lesquelles tu penses que cette réponse est correcte, vérifie ton travail, et peut-être réessaie. »

La grande question est la suivante : tout ce travail de réflexion supplémentaire aide-t-il réellement, ou est-ce simplement une perte de temps ? Le concept clé ici est les tokens. Considérez les tokens comme les « mots » ou les « unités d'effort » qu'une IA dépense. Chaque fois que l'IA écrit un mot, cela coûte un token. Si une méthode fait écrire à l'IA 1 000 mots pour résoudre un problème qui pourrait être résolu en 100, elle a dépensé dix fois plus d'effort. Le débat scientifique est de savoir si cet effort supplémentaire provient de la stratégie (comme l'autocritique) ou simplement du fait que l'IA a eu l'occasion d'écrire plus de mots. Si vous donnez à un étudiant dix fois plus de papier, il pourrait obtenir une meilleure note simplement parce qu'il a eu plus d'espace pour essayer, et non parce qu'il est soudainement devenu plus intelligent. Cet article se propose de tester exactement cela : lorsque vous donnez à différentes stratégies la même quantité de papier (tokens), laquelle gagne réellement ?

L'Article : Plus d'Échantillons, Moins de Réflexion

Cet article, intitulé « Sample More, Reflect Less » (Échantillonner davantage, réfléchir moins), est une expérience massive conçue pour trancher le débat sur la question de savoir si l'IA a besoin de « réfléchir » sur son propre travail pour devenir plus intelligente. Les chercheurs ont pris sept méthodes populaires qui poussent l'IA à « réfléchir plus intensément » — incluant des méthodes où l'IA se critique elle-même, débat avec des copies d'elle-même, ou tente de choisir la meilleure réponse à partir d'une liste — et les ont opposées à une base de référence très simple et banale : l'échantillonnage répété.

La base de référence est comme lancer une pièce dix fois et choisir le côté qui apparaît le plus souvent. En termes d'IA, cela signifie poser la même question dix fois et prendre la réponse la plus commune. Les chercheurs se sont assurés que chaque méthode utilisait exactement le même nombre de tokens (mots générés) afin que le terrain de jeu soit parfaitement équitable. Ils ont testé cela sur trois tailles différentes de modèles d'IA (1,5 milliard, 3 milliards et 7 milliards de paramètres) en utilisant deux benchmarks mathématiques (GSM8K et MATH-500) comprenant 150 questions chacun.

La Grande Découverte :
Les résultats ont été surprenants. Dans presque tous les cas, les méthodes sophistiquées qui poussaient l'IA à « réfléchir », « critiquer » ou « débattre » ont perdu face à la méthode simple consistant à poser la question plusieurs fois et à compter les voix.

Lorsque les chercheurs ont examiné de près pourquoi les méthodes sophistiquées avaient perdu, ils ont trouvé un schéma clair. Les méthodes qui demandaient à l'IA de juger son propre travail (comme réécrire sa réponse ou choisir la « meilleure » parmi une liste) ont systématiquement obtenu de moins bons résultats que la base de référence. Par exemple, sur le plus petit modèle de 1,5 milliard de paramètres, une méthode appelée « Best-of-N » (où l'IA choisit la meilleure de 8 réponses) a obtenu un score environ 8 à 11 points de pourcentage inférieur au simple comptage de la réponse la plus fréquente parmi ces mêmes 8 essais. Même sur le modèle plus large de 7 milliards, l'écart a disparu : la différence est devenue statistiquement indiscernable de zéro, ce qui signifie que le « juge » n'était plus clairement moins bon que le « compteur », et que la pénalité n'était plus distinguable de zéro.

L'article exclut explicitement l'idée que « réfléchir plus intensément » par l'autoreflexion soit l'ingrédient magique. Au contraire, il suggère que dépenser des tokens pour une autre tentative est un meilleur investissement que de les dépenser pour l'autocorrection — à chaque taille de modèle testée par les chercheurs. Si vous avez assez de tokens pour écrire un long essai critique sur votre réponse, vous feriez mieux d'utiliser ces tokens pour écrire deux ou trois réponses fraîches et indépendantes, puis de simplement choisir la plus populaire.

La Méthode « Fantôme » et la Leçon de la Taille

L'une des parties les plus ludiques et révélatrices de l'expérience impliquait une méthode appelée Reflexion. Cette méthode est censée fonctionner ainsi : l'IA essaie de résoudre un problème, puis se demande : « Ai-je réussi ? ». Si elle répond « Non », elle réessaie. Si elle répond « Oui », elle s'arrête.

Les chercheurs ont découvert un bug amusant sur le plus petit modèle (1,5B). Sur ce minuscule modèle, l'IA n'a jamais dit « Non ». Elle jugeait chacune de ses premières réponses comme « correcte », même lorsqu'elles étaient fausses. Ainsi, la méthode Reflexion n'a jamais réellement déclenché de nouvelle tentative. Elle s'est silencieusement effondrée en une seule tentative peu coûteuse. Comme elle était très peu coûteuse (elle n'a pas dépensé de tokens supplémentaires), elle semblait bien se comporter par rapport aux méthodes coûteuses. Mais quand les chercheurs ont forcé l'IA à réessayer trois fois, quel que soit son avis, la performance a chuté considérablement, prouvant que le mécanisme de « réflexion » lui-même nuisait en réalité au score.

À mesure que les modèles devenaient plus grands (passant de 1,5B à 7B), l'écart entre « compter les voix » et « laisser l'IA juger » a commencé à se réduire. À 7 milliards de paramètres, l'IA était suffisamment douée pour juger qu'elle a cessé d'être nuisible ; la différence n'était plus distinguable de zéro. Cependant, l'article note que même à cette taille, l'IA n'était pas meilleure pour juger que le simple comptage ; elle était juste devenue moins mauvaise. Les chercheurs suggèrent que pour qu'une IA puisse véritablement battre la méthode simple du « comptage de votes », elle devrait être entraînée spécifment pour être un juge, et non simplement sollicitée pour juger sur le vif.

Ce que cela signifie pour l'avenir

L'article conclut par un message fort pour quiconque construit ces systèmes d'IA : Ne compliquez pas les choses. Si vous avez un budget de tokens (mots) à dépenser, la façon la plus efficace d'obtenir une réponse correcte est souvent de générer de nombreuses tentatives différentes et de laisser la majorité décider, plutôt que de demander à l'IA de critiquer et de réécrire son propre travail.

Les auteurs avertissent également que certaines méthodes peuvent sembler bonnes sur le papier mais échouer en pratique car elles « cachent » leur coût réel. Si une méthode décide d'elle-même quand s'arrêter (comme Reflexion), elle peut s'arrêter immédiatement et économiser de l'argent, ce qui la fait paraître efficace, mais elle ne réalise pas réellement le travail pour lequel elle a été conçue.

En fin de compte, cette étude suggère que pour les problèmes mathématiques ayant des réponses claires (vrai ou faux), la « magie » de l'auto-réflexion est un mythe — du moins pour les modèles testés jusqu'à présent. L'outil le plus puissant n'est pas une stratégie plus intelligente ; c'est simplement d'essayer plus de fois. Comme l'ont précisé les chercheurs, dépenser des tokens pour reconsidérer une réponse est une moins bonne utilisation de ceux-ci que de les utiliser pour une nouvelle tentative. L'IA n'a pas besoin qu'on lui dise de réfléchir plus intensément ; elle a juste besoin qu'on lui donne plus de chances d'essayer.