🤖 AI

Diverse Thinking Schemata Elicit Better Reasoning in Large Language Models

Le papier propose DiScO, un cadre qui améliore le raisonnement des grands modèles de langage en définissant et en optimisant explicitement des schémas de pensée diversifiés — comprenant des transitions de raisonnement et des candidats de réponses — à travers un processus en trois étapes de sensibilisation aux schémas, d'apprentissage par renforcement et d'inférence diversifiée, résultant en une performance supérieure sur les benchmarks mathématiques et une meilleure récupération d'erreurs par rapport aux méthodes standards.

Auteurs originaux : Xinyue Liang, Yizhe Yang, Yu Bai, Bin Xu, Jiawei Li, Yang Gao

Publié 2026-06-09

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Xinyue Liang, Yizhe Yang, Yu Bai, Bin Xu, Jiawei Li, Yang Gao

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

L'idée principale : Ne cherchez pas seulement à réfléchir plus fort, réfléchissez différemment

Imaginez que vous essayiez de résoudre un labyrinthe très complexe. La plupart des modèles d'IA (modèles de raisonnement large) sont comme un coureur solitaire qui s'élance sur un chemin, heurte un mur, fait demi-tour, et tente de parcourir ce même chemin, mais un peu plus vite. Ils s'enferment dans des boucles ou abandonnent parce qu'ils sont trop concentrés sur leur première idée.

Ce papier soutient que pour résoudre des problèmes complexes, l'IA ne doit pas seulement courir plus vite ; elle doit devenir un meilleur explorateur. Les auteurs introduisent un concept appelé « Thinking Schemata » (Schémas de pensée). Voyez cela comme le style de « création de cartes » interne de l'IA.

Ils ont découvert que l'IA est plus performante lorsque son style de création de cartes est diversifié. Plus précisément, ils ont observé deux choses :

Les transitions de raisonnement (Reasoning Transitions) : La fréquence à laquelle l'IA change d'avis ou change de stratégie (ex : « Attendez, ce calcul n'a pas fonctionné, essayons plutôt de dessiner un schéma »).
Les candidats de réponses (Answer Candidates) : Le nombre de différentes réponses possibles que l'IA considère en cours de route avant de choisir la réponse finale.

Le papier affirme : Plus l'IA change d'avis et explore différents angles, plus elle a de chances de trouver la bonne réponse.

Le problème : Le « Coureur Têtu »

Les modèles d'IA actuels s'enlisent souvent dans une routine. S'ils commencent à résoudre un problème mathématique d'une certaine manière, ils ont tendance à continuer ainsi, même s'ils réalisent à mi-chemin qu'ils ont fait une erreur. Ils peuvent dire : « Je pense que la réponse est 12 », puis réaliser que 12 est faux, mais au lieu d'essayer une approche totalement nouvelle, ils se contentent de modifier légèrement le 12 en disant : « D'accord, peut-être 12,1 ? ».

Ils manquent de la flexibilité nécessaire pour dire : « D'accord, j'avais tort. Jetons toute cette idée à la poubelle et repartons de zéro sous un autre angle. »

La solution : DiScO (Diverse Schemata Policy Optimization)

Les auteurs ont créé une nouvelle méthode d'entraînement appelée DiScO. Vous pouvez considérer DiScO comme un entraîneur qui apprend à l'IA comment être un explorateur flexible. Cela fonctionne en trois étapes :

1. Apprendre à l'IA à « Étiqueter ses pensées » (Schemata-Aware SFT)

D'abord, l'IA apprend à porter un « bonnet de réflexion » qui l'aide à voir son propre processus de pensée. Elle apprend à marquer son propre raisonnement avec des étiquettes spéciales :

\AnswerCandidate : « Je pense que la réponse pourrait être X. »
\ReasoningTransition : « Attendez, je change de stratégie maintenant. »

C'est comme apprendre à un élève à écrire « Je suis bloqué » ou « Essayons une autre méthode » dans les marges de ses devoirs. Cela permet à l'IA d'être consciente de comment elle pense, et pas seulement de ce qu'elle pense.

2. Récompenser le « Changement d'avis » (Diversity-Oriented RL)

Ensuite, l'IA joue à un jeu où elle ne gagne pas des points seulement pour avoir la bonne réponse, mais aussi pour être diversifiée.

Si l'IA essaie trois manières différentes de résoudre le problème, elle reçoit un bonus.
Si elle passe de « faire des maths » à « dessiner un diagramme », elle reçoit un bonus.
Si elle répète la même phrase encore et encore, elle n'obtient aucun point.

C'est comme un entraîneur qui dirait à un coureur : « Si tu fais simplement le même tour de piste, tu as un C. Mais si tu essaies de courir dans les bois, puis dans la rivière, puis dans les collines, tu as un A+. » L'IA apprend que l'exploration de différents chemins est précieuse.

3. L'astuce du « Nouveau départ » (Inference-Time Diversity)

Enfin, lorsque l'IA passe réellement un test (au moment de l'inférence), le système dispose d'un filet de sécurité. Si l'IA commence à divaguer ou à s'enfermer dans une boucle (se répéter), le système coupe le début de son processus de pensée et dit : « D'accord, oublie les 20 % de ce que tu viens de dire. Recommence avec ce qu'il te reste. »

Cela force l'IA à se « réinitialiser » et à regarder le problème avec un regard neuf, l'empêchant de rester piégée dans une impasse mentale.

Qu'est-ce qui s'est passé ? (Les résultats)

Les chercheurs ont testé cela sur des problèmes mathématiques difficiles (comme ceux que l'on trouve dans les concours de haut niveau).

Meilleurs scores : L'IA entraînée avec DiScO a obtenu des scores nettement plus élevés que les modèles d'IA standards, particulièrement sur les problèmes les plus difficiles.
Meilleure récupération : Lorsqu'une IA commettait une erreur au début, le modèle entraîné avec DiScO était bien meilleur pour réaliser : « Oh non, je me suis trompé de chemin », et pour changer de trajectoire afin de corriger le tir. Les modèles standards continuaient souvent à marcher dans la mauvaise direction.
Plus d'options : Les modèles DiScO ne se contentaient pas de deviner une seule réponse ; ils exploraient de nombreux « Candidats de réponses » avant de se décider sur la bonne.

L'essentiel à retenir

Le papier conclut que la diversité est la clé. Tout comme un humain résolvant un puzzle difficile bénéficie de l'essai de différentes stratégies, de changements de perspectives et du fait de ne pas s'accrocher à sa première idée, les modèles d'IA sont bien plus performants lorsqu'ils sont encouragés à penser de manière variée et flexible.

Les auteurs suggèrent que l'avenir du raisonnement de l'IA ne réside pas seulement dans le fait de rendre les modèles plus grands ou plus rapides, mais dans le fait de les rendre des penseurs plus diversifiés.

Résumé Technique : Les Schémas de Pensée Diversifiés Favorisent un Meilleur Raisonnement dans les Grands Modèles de Langage

Énoncé du Problème

Les Grands Modèles de Raisonnement (LRM) ont démontré des capacités significatives pour résoudre des problèmes mathématiques complexes en générant de longues chaînes de pensée. Cependant, les approches actuelles reposent souvent sur des structures de raisonnement trop prédéfinies, telles que des chaînes strictement linéaires ou des arbres explicitement organisés, ce qui peut limiter la flexibilité cognitive. Les auteurs identifient deux aspects critiques mais encore peu explorés du processus de raisonnement : les Transitions de Raisonnement (les changements distincts entre les étapes de raisonnement intermédiaires, par exemple, « Essayons une autre approche ») et les Candidats de Réponse (la variété des chemins de solution ou des conclusions intermédiaires proposées par le modèle). Le papier postule que les modèles existants convergent souvent vers des schémas de raisonnement étroits, échouant à explorer pleinement l'espace de solution, ce qui limite leur capacité à se rétracter d'erreurs ou à trouver des solutions optimales dans des tâches complexes.

Méthodologie : Cadre DiScO

Pour répondre à ces limitations, les auteurs proposent DiScO (Diverse Schemata Policy Optimization), un cadre conçu pour améliorer la diversité des « schémas de pensée » (la structure de raisonnement latente régissant les transitions et les chemins de solution) lors de l'entraînement et de l'inférence. Le cadre se compose de trois composantes centrales :

1. Ajustement Supervisé (SFT) Sensible aux Schémas

Le modèle est d'abord doté d'une « conscience des schémas » en étant entraîné à annoter explicitement ses propres chaînes de raisonnement. Deux jetons spécialisés sont introduits :

\ReasoningTransition : Marque les changements de perspective ou de stratégie de raisonnement.
\AnswerCandidate : Marque les réponses finales potentielles ou les conclusions intermédiaires.
Cette étape rend la structure de pensée latente observable et analysable sans nécessiter d'annotation humaine externe pour chaque étape d'entraînement (les annotations sont générées par un annotateur LLM, spécifiquement Qwen3-Max).

2. Apprentissage par Renforcement (RL) Orienté vers la Diversité

Après le SFT, le modèle subit un apprentissage par renforcement utilisant un algorithme GRPO (Group Relative Policy Optimization) modifié. L'innovation centrale est une fonction de récompense composite ( $R$ ) qui équilibre l'exactitude et la diversité :
$R = W_{div}R_{div} + W_{acc}R_{acc} + W_{form}R_{form}$

Récompense de Diversité ( $R_{div}$ ) : Encourage la génération de transitions de raisonnement et de candidats de réponse distincts. Elle mesure le nombre de transitions ( $N_{thought}$ ), le nombre de candidats de réponse ( $N_{ans}$ ), l'unicité des solutions ( $N_{uniq}$ ) et la correction des candidats intermédiaires ( $N_{true}$ ). Des plafonds de troncature sont appliqués pour éviter le détournement de récompense (reward hacking) par répétition de marqueurs.
Récompense d'Exactitude ( $R_{acc}$ ) : Récompense binaire standard pour une réponse finale correcte.
Récompense de Format ( $R_{form}$ ) : Garantit que le modèle respecte les balises d'annotation requises et le format de la réponse finale.

3. Amélioration de la Diversité à l'Inférence (ITDE)

Pour favoriser davantage la diversité lors de l'inférence, deux stratégies sont employées lorsque le modèle atteint la longueur de génération maximale sans réponse finale :

Troncature Initiale : Écarte les premiers 20 % des jetons pour simuler une « réinitialisation cognitive », permettant au modèle de recadrer le problème sous une nouvelle perspective.
Troncature avec Élimination de la Répétition : Détecte et supprime les schémas de raisonnement répétitifs (par exemple, la même phrase de 15 mots) pour briser les boucles locales et encourager l'exploration de nouveaux chemins.

Principales Contributions

Définition du Concept : Le papier introduit les « Schémas de Pensée », les définissant à travers des Transitions de Raisonnement et des Candidats de Réponse observables. Il démontre empiriquement une corrélation positive entre la diversité de ces schémas et la performance du modèle à travers divers LRM.
Cadre DiScO : Les auteurs proposent un nouveau cadre qui intègre le SFT sensible aux schémas, le RL orienté vers la diversité et des stratégies d'inférence pour promouvoir systématiquement un raisonnement diversifié.
Validation Empirique : Des expériences approfondies sur cinq benchmarks de raisonnement mathématique et trois benchmarks hors domaine (OOD) démontrent que DiScO surpasse systématiquement le GRPO standard et les autres bases orientées vers la diversité.

Résultats Expérimentaux

Les auteurs ont évalué DiScO sur des modèles DeepSeek-R1-Distill-Qwen aux échelles 7B et 32B, en les comparant à des modèles propriétaires de pointe (ex: GPT-5, Claude 3.5) et à des bases open-source.

Gains de Performance : DiScO a systématiquement obtenu des résultats de pointe parmi les modèles open-source. Par exemple, DiScO-7B a atteint 95,6 % sur MATH-500 et 70,0 % sur AIME 2024, surpassant nettement les autres modèles 7B. DiScO-32B a atteint une précision moyenne de 83,5 % sur les benchmarks, dépassant le DeepSeek-R1-Distill-Qwen-32B de base.
Amélioration sur les Tâches Difficiles : Les gains sont plus prononcés sur les benchmarks de niveau compétition (AIME, AMC), où il existe une marge de progression substantielle. DiScO-32B montre une amélioration absolue de 6,7 % par rapport au modèle de base sur AIME 2024 et 2025.
Généralisation : Bien qu'entraîné exclusivement sur des données mathématiques, DiScO s'est généralisé efficacement à des tâches hors domaine (ARC-c, GPQA-diamond, MMLU-Pro), suggérant que la diversité des schémas favorise des comportements de raisonnement transférables.
Récupération d'Erreur : Une analyse annotée par des humains a révélé que DiScO améliore considérablement la capacité du modèle à se rétracter d'une tentative initiale erronée (mesurée par la métrique FWFC : First Wrong, Final Correct). Les modèles DiScO sont moins susceptibles de rejeter des réponses intermédiaires correctes et plus enclins à l'autocorrection par rapport aux bases.
Performance Pass@k : DiScO montre une amélioration des performances dans les scénarios à multiples tentatives (Pass@k), indiquant une véritable expansion de la frontière de raisonnement plutôt qu'une simple reconfiguration de la distribution à coup unique (single-shot).

Signification et Revendications

Le papier affirme que la diversité des schémas de pensée joue un rôle crucial dans la résolution de problèmes, agissant comme un axe complémentaire au passage à l'échelle standard des modèles (paramètres et données). Les auteurs soutiennent que :

La Diversité est une Ressource Scalable : Promouvoir des schémas de pensée diversifiés permet aux modèles d'explorer des voies inférentielles alternatives et de se rétracter plus efficacement des erreurs, menant à de meilleures performances sur des tâches complexes sans nécessairement augmenter la taille du modèle.
Au-delà de la Diversité au Niveau des Jetons : Contrairement aux méthodes précédentes qui se concentrent sur l'entropie au niveau des jetons ou l'échantillonnage de trajectoire à travers des déploiements indépendants, DiScO cible la diversité au sein d'une seule trajectoire de raisonnement, favorisant les changements sémantiques et de perspective qui reflètent la résolution de problèmes humaine.
Impact Pratique : Le cadre offre une voie pratique pour améliorer les modèles de raisonnement open-source, réduisant l'écart avec les systèmes propriétaires de pointe, et améliorant l'interprétabilité des processus de raisonnement grâce à l'annotation explicite des schémas.

Les auteurs reconnaissent des limitations, notamment le coût non négligeable de l'annotation basée sur les LLM, l'augmentation modeste de la latence d'inférence (environ 10 % de jetons en plus), et l'accent actuel mis sur le raisonnement mathématique, bien qu'ils notent des gains constants dans les tâches hors domaine. Ils suggèrent que les travaux futurs pourraient explorer des méthodes d'annotation moins coûteuses (par exemple, le sondage des états cachés) et l'application de ces principes à d'autres régimes de raisonnement.