Imaginez que vous essayez de résoudre un puzzle vraiment difficile, mais chaque fois que vous approchez de la solution, votre cerveau s'enferme dans une boucle. Vous ne cessez de penser : « J'ai raison, j'ai raison », et vous ne corrigez jamais l'erreur que vous avez commise trois étapes auparavant. C'est un problème courant pour les programmes informatiques super intelligents que nous appelons les Grands Modèles de Langage (LLM). Ils sont excellents pour discuter et écrire, mais lorsqu'ils essaient de raisonner sur des problèmes mathématiques ou scientifiques complexes, ils trébuchent souvent sur leurs propres pieds. Pour corriger cela, les scientifiques ont essayé d'apprendre à ces modèles à faire preuve d'« auto-réflexion », ou à regarder leur travail en se disant : « Attendez, cela n'a pas de sens ». Mais souvent, les modèles se montrent têtus. Une fois qu'ils pensent avoir une bonne réponse, ils refusent de la changer, même s'ils ont tort. Ce document, écrit par des chercheurs de Microsoft et d'une université de New York, pose une question cruciale : comment pouvons-nous amener ces modèles à réellement changer d'avis et à trouver de meilleures réponses sans simplement tourner en rond ? Ils se tournent vers une vieille idée de la philosophie appelée la « dialectique hégélienne ». Voyez cela comme un club de débat très structuré et à enjeux élevés. Au lieu de simplement dire « J'ai raison », le modèle est forcé de jouer deux personnages : l'un qui propose une idée, et un autre qui agit comme un critique strict pour trouver les failles de cette idée. Ensuite, un troisième personnage intervient pour fusionner les deux en une idée nouvelle et meilleure qui conserve les meilleurs éléments des deux. C'est une façon de forcer l'ordinateur à devenir plus intelligent en argumentant avec lui-même, plutôt qu'en répétant ce qu'il pense déjà.

Les auteurs proposent un nouveau cadre où un LLM joue un drame philosophique étape par étape. Ils appellent cela un processus « auto-dialectique ». Voici comment la magie opère : D'abord, le modèle élabore une idée initiale, qu'ils appellent la « Proposition ». Ensuite, il doit générer une « Idée Opposée ». Il ne s'agit pas d'une simple supposition aléatoire ; le modèle reçoit l'instruction d'agir comme un critique qui trouve des défauts ou des lacunes spécifiques dans l'idée originale. Cette étape est appelée « Sublimation ». Enfin, le modèle tente de réunir ces deux points de vue opposés pour créer une « Idée Unifiée », ou une « Spéculation ». Cette nouvelle idée n'est pas seulement un compromis ; elle est censée être une solution de niveau supérieur qui corrige les problèmes de la première idée tout en conservant ses forces. Les chercheurs ont testé cela sur plusieurs types de tâches différents, notamment la résolution de problèmes mathématiques textuels (comme les ensembles de données GSM-8k et GSM-hard), la gestion de puzzles de logique symbolique et la réponse à des questions de connaissances complexes (MMLU Pro). Ils ont constaté que cette méthode aidait les modèles à devenir nettement meilleurs dans ces tâches par rapport aux méthodes classiques de prompting. Par exemple, sur un test de mathématiques difficile appelé GSM-Symbolic, leur méthode a fait passer la précision d'un modèle appelé GPT-4o-mini de 0,709 à 0,770, et pour le modèle Qwen 2.5-7B, de 0,587 à 0,623.

L'un des aspects les plus intéressants de l'étude était de déterminer à quel point le modèle devait être « créatif » durant ce processus. Les chercheurs ont utilisé ce qu'on appelle la « température » pour contrôler cela. Imaginez la température comme un curseur pour l'imagination du modèle. Un réglage bas rend le modèle très concentré et susceptible de s'en tenir à la réponse la plus évidente, tandis qu'un réglage élevé le rend plus sauvage et plus enclin à essayer des combinaisons étranges et nouvelles. L'équipe a testé deux manières d'utiliser ce curseur : soit en le maintenant à un réglage constant tout au long du processus, soit en utilisant un « programme d'annealing dynamique ». Le programme d'annealing est comme commencer un voyage avec une température élevée (beaucoup d'exploration sauvage et créative) et baisser lentement le curseur vers une température basse (un raffinement concentré et méticuleux) au fur et pas à pas. Ils ont découvert qu'aucune des deux méthodes n'était parfaite pour toutes les situations. Pour certains modèles et certaines tâches, la température constante fonctionnait le mieux, tandis que pour d'autres, le programme dynamique qui passait de la créativité à la concentration produisait les meilleurs résultats. Par exemple, sur le test de mathématiques GSM-8k, le programme d'annealing dynamique a aidé GPT-4o à atteindre une précision de 0,955, dépassant légèrement son score de température constante de 0,953. Cependant, pour le modèle Qwen 2.5-7B sur le même test, la température constante était légèrement meilleure. Cela suggère que la « meilleure » façon de régler la créativité du modèle dépend du problème spécifique et du « cerveau informatique » utilisé.

Pour s'assurer que les nouvelles idées proposées par les modèles étaient réellement bonnes, les chercheurs ont dû être prudents. Comme ils n'avaient pas d'experts humains disponibles pour vérifier chaque problème mathématique ou idée scientifique, ils ont inventé un système appelé « Vote Majoritaire Multi-Agents » (MAMV). Imaginez une table ronde avec plusieurs modèles d'IA assis autour. Chacun vote de manière indépendante pour savoir si la nouvelle idée unifiée est valide (a-t-elle du sens ?) et novatrice (est-elle réellement nouvelle ?). Si la majorité des juges IA répond « oui », l'idée est acceptée. Si la réponse est « non », le processus s'arrête. Cela a permis à l'équipe de tester sa méthode à grande échelle sans avoir besoin d'une équipe de professeurs humains. Les résultats ont montré que cette auto-critique structurée était bien meilleure que de simplement demander au modèle de « réessayer » ou de « réfléchir plus intensément ». Les modèles utilisant cette approche hégélienne étaient plus aptes à repérer leurs propres erreurs logiques et à les corriger, menant à des réponses plus précises en mathématiques et en sciences.

Cependant, les auteurs précisent avec prudence que ce n'est pas une baguette magique qui résout tout. Ils ont constaté que si le modèle devient trop créatif (température trop élevée), il peut proposer des idées totalement hors sujet ou absurdes. S'il est trop concentré (température trop basse), il peut simplement répéter la même erreur encore et encore. De plus, mesurer à quel point une idée est « nouvelle » est très difficile. Le modèle peut penser qu'il a découvert une théorie brillante, alors qu'il ne fait que se souvenir de quelque chose qu'il a lu dans ses données d'entraînement. Les chercheurs admettent que leur méthode génère des idées qui ne sont pas toujours scientifiquement correctes, et qu'une véritable validation nécessiterait toujours des experts humains. Ils ont également noté que parfois, les modèles restaient bloqués dans une boucle où ils ne parvenaient pas à générer une vue opposée pertinente, ou bien ils se contentaient de répéter les mêmes paragraphes. Malgré ces limites, l'article suggère que traiter l'auto-réflexion comme un débat structuré, plutôt que comme une simple commande de « vérification de travail », est un moyen puissant d'aider l'IA à réfléchir plus clairement. En forçant le modèle à confronter ses propres failles et à synthétiser une meilleure réponse, nous pourrions peut-être construire des systèmes qui ne se contentent pas de paraître intelligents, mais qui raisonnent réellement mieux.