Soft Guidance Starts to Outperform CoT Prompting as LLMs Improve
L'article soutient qu'à mesure que les grands modèles de langage s'améliorent, le prompting standard de type « few-shot Chain-of-Thought » entrave souvent la performance en introduisant des contraintes de formatage et de style distrayantes, rendant les approches simples de type « zero-shot » plus efficaces pour les tâches de raisonnement.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous appreniez à un robot à résoudre une énigme. Pendant longtemps, la meilleure façon de faire consistait à montrer au robot une série d'exemples où un humain rédigeait chaque étape de son raisonnement, comme une recette détaillée. Cette méthode, appelée « Chain-of-Thought » (chaîne de pensée), était comme donner au robot un manuel d'instruction qui disait : « D'abord, fais ceci. Ensuite, fais cela. Enfin, voici la réponse. » Cela fonctionnait à merveille pour les anciens robots plus simples qui avaient tendance à simplement deviner la réponse sans réfléchir.
Mais aujourd'hui, nous avons construit des robots plus intelligents et plus avancés. Ces nouveaux modèles ont lu tellement de livres et résolu tellement d'énigmes par eux-mêmes qu'ils commencent naturellement à réfléchir étape par étape, même si vous ne leur donnez pas de manuel. Ils possèdent une boussole interne pour la logique. La grande question que les scientifiques se posent est la suivante : si un robot sait déjà comment réfléchir, a-t-il encore besoin que nous lui tenions la main avec une recette détaillée ? Ou bien cette recette est-elle en train de le gêner, en le confondant avec trop de règles sur la manière d'écrire ses pensées ? Ce document explore précisément cette question pour voir si nos anciennes méthodes d'enseignement sont désormais en train de freiner nos étudiants les plus récents et les plus brillants.
Le robot « sur-guidé » : quand trop d'aide nuit au résultat
Dans cette étude, les chercheurs ont décidé de tester certains des robots mathématiques les plus intelligents actuellement disponibles. Ils voulaient voir si l'ancienne méthode consistant à montrer des exemples (le « few-shot prompting ») était toujours la meilleure façon d'obtenir de bonnes réponses, ou si elle faisait en réalité moins bien performer les robots.
Voyez cela de cette façon : imaginez que vous êtes un chef étoilé qui cuisine depuis des années. Vous savez exactement comment préparer un soufflé parfait sans recette. Maintenant, imaginez que quelqu'un vous tende un post-it qui dit : « D'abord, cassez les œufs. Ensuite, battez-les. Puis, faites cuire à 180 degrés », et insiste pour que vous suiviez cela à la lettre. Vous pourriez être agacé, ou bien vous pourriez être tellement concentré sur le respect strict de la note que vous en oubliez vos propres instincts de cuisinier. Vous pourriez même rater votre plat parce que vous avez été distrait par les instructions.
Les chercheurs ont découvert que c'est exactement ce qui arrive à l'IA moderne. Lorsqu'ils ont demandé à ces modèles avancés « spécialisés dans le raisonnement » de résoudre des problèmes mathématiques en utilisant la méthode standard — à savoir leur montrer quelques exemples de la façon dont des humains ont résolu des problèmes similaires — les modèles ont moins bien performé.
Prenons par exemple un modèle appelé Mathstral. Lorsque les chercheurs l'ont laissé résoudre des problèmes de manière autonome, sans aucun exemple (une approche dite « zero-shot »), il a réussi environ 83,8 % des réponses. Mais lorsqu'ils lui ont donné le « manuel d'instruction » standard avec des exemples écrits par des humains, son score est tombé à environ 74,2 %. C'est une différence énorme ! C'est comme si le robot était tellement occupé à essayer de copier le style et le formatage des exemples qu'il en avait oublié de faire les mathématiques.
Le papier suggère que cela se produit parce que les exemples standards forcent le robot à adapter son style pour correspondre aux exemples humains. Il doit se soucier du formatage, suivre des structures de phrases spécifiques et entrer dans une boîte qui n'a pas été construite pour lui. Cela crée un compromis entre « guidage » et « distraction ». Le guidage (les exemples) est censé aider, mais pour ces modèles super-intelligents, il devient une distraction qui détourne leur attention de la tâche centrale de résolution du problème.
L'astuce du « Réfléchissons » : toujours utile, mais moins magique
Les chercheurs ont également testé une astuce plus simple appelée « Zero-Shot CoT ». C'est le cas où vous ne montrez aucun exemple, vous ajoutez simplement la phrase « Réfléchissons étape par étape » à la question.
Pour les anciens robots à usage général (comme le modèle Llama), cette astuce était encore très utile. Elle augmentait leurs scores de manière significative, agissant comme un léger coup de pouce pour réveiller leurs capacités de raisonnement. Cependant, pour les modèles spécialisés dans le raisonnement et ultra-intelligents, cette astuce n'a apporté qu'un gain minime. Pour Mathstral, le score est passé de 83,8 % à 86,1 %.
Les auteurs soutiennent que cela est dû au fait que ces modèles sont déjà si doués pour réfléchir étape par étape qu'ils n'ont plus besoin de ce coup de pouce autant qu'auparavant. Ils comparent cela aux débuts de l'informatique, où les ingénieurs devaient concevoir manuellement chaque fonctionnalité d'un programme. Finalement, les ordinateurs sont devenus assez intelligents pour apprendre ces fonctionnalités par eux-mêmes, rendant la conception manuelle inutile. Le papier suggère que la phrase « Réfléchissons étape par étape » devient comme ces anciennes fonctionnalités manuelles : elle était essentielle autrefois, mais elle n'est plus qu'un petit ajout supplémentaire qui ne change pas grand-chose.
Pourquoi l'ancienne méthode échoue
L'une des découvertes les plus surprenantes est que même lorsque les chercheurs ont tenté de corriger le problème en utilisant des exemples générés par les modèles eux-mêmes (pour que le style soit identique), cela n'a toujours pas surpassé l'approche simple « sans exemples » pour les modèles les plus intelligents.
Il s'avère que le problème ne vient pas seulement du fait que les exemples viennent d'humains ; il s'agit de la structure des exemples. En forçant le modèle à suivre un schéma spécifique, vous limitez sa capacité naturelle à résoudre le problème de la manière qui lui convient le mieux. Le papier exclut explicitement l'idée que montrer plus d'exemples ou choisir de « meilleurs » exemples réglera le problème pour les modèles spécialisés dans le raisonnement. En fait, ils ont constaté que pour les modèles les plus avancés, plus vous essayez de les guider avec des exemples, plus vous risquez de les freiner.
La conclusion : faites confiance aux instincts du robot
Alors, qu'est-ce que cela signifie pour l'avenir de l'évaluation de l'IA ? Les auteurs suggèrent que nous devons changer la façon dont nous mesurons ces modèles. Pendant longtemps, le test standard consistait à montrer au modèle quelques exemples et à voir comment il les copiait. Mais ce papier démontre que pour les modèles les plus récents et les plus intelligents, ce test est injuste. C'est comme tester un pilote de course en le faisant conduire dans une zone scolaire avec un panneau de limitation de vitesse ; cela ne montre pas sa véritable vitesse.
Au lieu de cela, les chercheurs soutiennent que nous devrions simplement poser les questions directement aux modèles, sans aucun exemple ni instruction particulière, et voir ce qu'ils produisent par eux-mêmes. Cette méthode « zero-shot » donne une image plus fidèle de ce que le modèle est réellement capable de faire.
Le papier ne prétend pas que le « Chain-of-Thought prompting » est mort pour toujours. Il peut encore être utile pour des modèles plus simples ou pour des tâches spécifiques où le modèle a besoin d'un peu d'aide. Mais pour les poids lourds — les modèles conçus spécifiquement pour le raisonnement — l'ancienne façon de les enseigner devient une distraction. À mesure que ces modèles deviennent plus intelligents, ils ont besoin de moins de guidage et de plus de liberté pour penser par eux-mêmes. La meilleure façon de voir à quel point ils sont vraiment intelligents est peut-être de cesser de leur tenir la main et de les laisser résoudre l'énigme à leur propre manière.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.