Measuring in-context algorithmic reasoning in language models against an exact Bayes-optimal standard

Imaginez que vous essayez d'apprendre à un robot à résoudre un puzzle. Vous lui montrez quelques exemples : « Si je pose un bloc rouge ici, un bloc bleu apparaît là. » Puis vous lui demandez de prédire ce qui se passe ensuite. Parfois le robot réussit, mais est-il vraiment en train de réfléchir aux règles du puzzle, ou ne fait-il que deviner en fonction de la manière dont les mots sonnent habituellement ensemble ? C'est le grand mystère derrière les « Grands Modèles de Langage » (LLM) modernes, ces agents conversationnels IA super-intelligents que nous utilisons aujourd'hui. Les scientifiques appellent cela l'« apprentissage en contexte » (in-context learning) — la capacité d'apprendre une nouvelle tâche simplement en lisant quelques exemples dans une consigne. Le problème est que nous n'avons pas vraiment une règle parfaite pour mesurer si le robot raisonne réellement ou s'il se contente d'une reconnaissance de formes (pattern-matching). Habituellement, nous pouvons seulement comparer un robot à un autre, ou à un humain, mais nous ne connaissons pas le « point de vue de Dieu » de ce que devrait être la réponse parfaite.

Pour corriger cela, les auteurs de cet article ont construit un univers spécial, minuscule et parfaitement contrôlé. Ils ont créé un benchmark appelé F-ICL. Considérez-le comme une immense bibliothèque exhaustive de tous les programmes informatiques simples possibles qui pourraient résoudre un type spécifique de puzzle binaire (utilisant uniquement des 0 et des 1). Parce qu'ils ont répertorié chacun de ces 1,5 milliard de petits programmes, ils peuvent calculer la réponse mathématiquement parfaite pour n'importe quel puzzle. Cette réponse parfaite est appelée la solution « Bayes-optimale ». C'est l'étalon-or : la meilleure supposition possible qu'une machine puisse faire compte tenu des preuves. Désormais, ils peuvent enfin confronter un véritable modèle d'IA à cet étalon-or et voir exactement à quel point il s'en éloigne. C'est comme avoir une carte parfaite d'une ville et vérifier ensuite si une application GPS vous guide réellement sur le chemin le plus court, ou si elle devine simplement en se basant sur le trafic qu'elle a vu hier.

Le Grand Fossé du Raisonnement

Les chercheurs ont pris un panel massif de 105 modèles d'IA différents — allant de projets open-source aux systèmes « frontières » les plus avancés des grands laboratoires technologiques — et les ont soumis au test F-ICL. Ils voulaient voir si ces modèles pouvaient agir comme des raisonneurs bayésiens parfaits, en mettant à jour leurs croyances de manière logique à mesure que de nouvelles preuves arrivaient.

Voici le retournement de situation surprenant : les modèles sont excellents pour donner la bonne réponse, mais terribles pour raisonner comme une machine parfaite.

Même si certains modèles obtiennent la réponse finale correcte jusqu'à 92 % du temps, leur « distribution de probabilité de devinette » interne (la façon dont ils pondèrent les différentes possibilités) était souvent pire qu'un simple devin de hasard. En fait, 45 modèles sur 46 ont été moins performants qu'une « référence de frappe au clavier ». Imaginez un singe frappant aléatoirement des touches sur un clavier ; ce singe aléatoire produisait en réalité une distribution de probabilité plus proche de la vérité mathématique parfaite que la plupart des modèles d'IA avancés. Les modèles n'étaient pas seulement légèrement à côté ; ils étaient avec certitude dans l'erreur concernant la logique sous-jacente.

Le Bug de l'« Over-Commitment » (Engagement Excessif)

L'une des découvertes les plus ludiques et révélatrices est la façon dont les modèles se comportent lorsque vous leur donnez un seul exemple. Un raisonneur parfait s'améliorerait légèrement avec chaque nouvel indice. Mais ces modèles d'IA deviennent souvent moins bons après avoir vu un seul exemple avant de commencer à s'améliorer.

C'est comme si vous montriez un indice unique à un détective sur un crime, et qu'au lieu de réfléchir soigneusement, celui-ci criait immédiatement : « Je sais qui l'a fait ! » et se focalisait sur le mauvais suspect. Ce n'est qu'après que vous lui avez montré quelques indices supplémentaires qu'il commençait lentement à faire marche arrière et à examiner à nouveau les preuves. L'étude a révélé que 69 exécutions sur 81 de modèles ont commis cette erreur, en tirant des conclusions trop vite. Ils font preuve d'un « engagement excessif » (over-committing) envers le premier élément de donnée qu'ils voient, plutôt que d'attendre de voir l'ensemble du tableau.

La Taille ne Règle pas la Logique

Vous pourriez penser que des modèles plus gros, plus intelligents, corrigeraient cela. L'article a testé des modèles avec des milliards de paramètres (la « taille du cerveau » de l'IA), allant de minuscules modèles de 0,8 milliard à des géants de 675 milliards. Le résultat ? Les modèles plus gros devenaient meilleurs pour donner la bonne réponse, mais ils ne devenaient pas meilleurs pour raisonner.

L'écart entre le comportement du modèle et le standard mathématique parfait restait exactement le même, peu importe la taille du modèle. Que le modèle possède 1 milliard de paramètres ou 600 milliards, il luttait toujours pour correspondre à la logique « Bayes-optimale ». C'est comme si vous donniez à un étudiant une bibliothèque de plus en plus grande (plus de données), mais qu'il n'apprenait toujours pas à utiliser une carte ; il devenait juste meilleur pour mémoriser les titres des livres.

Le Piège de la « Sécurité » et de l'« Entraînement »

L'article a également examiné ce qui se passe lorsque les modèles sont « post-entraînés » — c'est-à-dire lorsque les humains les ajustent pour qu'ils soient plus utiles, suivent les instructions ou soient plus « sûrs ». Curieusement, cet entraînement a rendu le fossé du raisonnement plus large.

Lorsque les modèles étaient ajustés pour être plus « respectueux des instructions » ou pour mieux « réfléchir », ils s'éloignaient en fait davantage du standard logique parfait. Il semble que l'enseignement d'un comportement poli ou le suivi d'un format de chat spécifique puisse apprendre au modèle à ignorer la structure logique brute du problème. C'est comme enseigner à un joueur d'échecs de toujours dire « Bonne partie » après un match ; il peut devenir plus aimable, mais il pourrait oublier les règles réelles du jeu.

La Frontière Stagne

Les chercheurs ont également observé les modèles les plus récents et les plus coûteux des plus grandes entreprises technologiques, sortis au cours des deux dernières années. Ils ont constaté que la fidélité au standard logique parfait ne s'est pas améliorée du tout. Les modèles les plus récents sont tout aussi éloignés du raisonneur parfait que les anciens l'étaient. En fait, le modèle le plus ancien testé (de mai 2024) était en fait le plus fidèle au standard logique, tandis que les plus récents étaient légèrement moins bons.

Le Problème de la « Terminaison »

Une raison spécifique pour laquelle les modèles ont obtenu un score si bas est la façon dont ils gèrent la fin d'une phrase. Le modèle mathématique parfait sait exactement quand une séquence de 0 et de 1 doit s'arrêter. Les modèles d'IA, cependant, étaient très mauvais à ce sujet. Ils devinaient souvent qu'une séquence devait s'arrêter alors qu'elle ne le devait pas, ou continuaient quand ils auraient dû s'arrêter. Cette erreur spécifique représentait près de 90 % de leurs fautes. C'est comme si les modèles étaient excellents pour écrire l'histoire, mais incapables de savoir quand mettre un point final.

Le Verdict

L'article conclut que, bien que ces modèles d'IA soient incroyablement doués pour la complétion de motifs (pattern completion) — trouver le mot suivant le plus probable basé sur ce qu'ils ont vu auparavant — ils ne pratiquent pas encore un raisonnement algorithmique véritable. Ils ne construisent pas un modèle mental des règles ; ils ne font que recoudre des motifs.

Les auteurs ont publié leur benchmark, F-ICL, en tant qu'outil ouvert afin que d'autres scientifiques puissent continuer à tester. Ils ont constaté que les modèles actuels sont coincés dans une zone de « reconnaissance de formes », situés entre un choix aléatoire et un raisonneur logique parfait, mais beaucoup plus proches du choix aléatoire. Tant que les modèles ne pourront pas combler ce fossé, ils pourront être excellents pour écrire des essais ou des extraits de code, mais ils ne « pensent » pas vraiment comme nous l'espérons. Le fossé n'est pas réduit en rendant les modèles plus gros ou en les entraînant plus longtemps ; cela semble nécessiter un changement fondamental dans la manière dont ils traitent l'information.