🤖 machine learning

Uncovering Latent Reasoning Strategies in Language Models

Cet article propose un cadre d'inférence variationnelle qui décompose la distribution de réponse d'un modèle de langage préentraîné en un routeur et un générateur afin de découvrir des stratégies de raisonnement latentes, surmontant l'effondrement de la distribution postérieure en privilégiant les jetons présentant une forte surprise du modèle de base pour garantir que les codes latents capturent les variations pertinentes à la stratégie.

Auteurs originaux : Awni Altabaa, John Lafferty

Publié 2026-07-21

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Awni Altabaa, John Lafferty

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous pénétriez dans une immense bibliothèque animée où les livres ne sont pas de simples histoires, mais la somme totale du savoir et de la logique humaine. À l'intérieur de cette bibliothèque vit un bibliothécaire très intelligent et très rapide nommé le « Modèle de Langage ». Ce bibliothécaire a tout lu et peut répondre à n'importe quelle question que vous posez, de « Comment faire un gâteau ? » à « Prouvez ce théorème mathématique ». Mais voici le piège : le bibliothécaire n'a pas un processus de pensée unique et clair. Lorsque vous posez une question, le cerveau du bibliothécaire est un mélange tourbillonnant de nombreuses façons différentes de résoudre le problème à la fois. Il pourrait penser à résoudre un problème mathématique en dessinant un schéma, en utilisant une formule ou en procédant par tâtonnements, tout cela simultanément. La réponse finale est correcte, mais le chemin emprunté est un nœud complexe de possibilités.

Les scientifiques cherchent depuis longtemps à démêler ce nœud. Ils veulent savoir : « Quel chemin spécifique le bibliothécaire a-t-il emprunté ? » et « Pouvons-nous demander au bibliothécaire d'emprunter un autre chemin la prochaine fois ? » C'est le monde des variables latentes (facteurs cachés qui influencent un résultat) et des stratégies de raisonnement (plans étape par étape utilisés pour résoudre des problèmes). Habituellement, lorsque les scientifiques essaient de trouver ces chemins cachés, ils utilisent une méthode appelée Inférence Variationnelle, qui consiste à essayer de deviner la recette secrète du bibliothécaire en goûtant le plat final. Le problème est que le bibliothécaire est si doué pour cuisiner que le plat a un goût parfait, quelle que soit la recette secrète que vous devinez. Ainsi, la machine à deviner abandonne, dit « Je n'ai pas besoin de deviner la recette, le plat est déjà parfait », et cesse de chercher les chemins cachés. C'est une impasse frustrante où l'outil censé trouver le secret finit par l'ignorer complètement.

Cet article, intitulé « Uncovering Latent Reasoning Strategies in Language Models » (Révéler les stratégies de raisonnement latentes dans les modèles de langage), s'attaque précisément à cette impasse. Les auteurs, Awni Altabaa et John Lafferty de l'Université de Yale, ont réalisé que la méthode standard pour tenter de trouver ces stratégies cachées échouait parce que le modèle était trop bon dans son travail. Ils ont proposé un nouveau tour astucieux : au lieu de simplement demander au modèle de « faire un plat parfait », ils lui ont demandé d'expliquer les parties du plat qui étaient difficiles à préparer.

Voyez cela comme ceci : si vous demandez à un grand chef comment il a fait un gâteau parfait, il pourrait simplement dire : « J'ai suivi la recette ». Mais si vous lui demandez d'expliquer le moment précis où il a décidé d'ajouter de l'extrait de vanille au lieu du citron, ou pourquoi il a incorporé la pâte d'une certaine manière, il doit creuser plus profondément. Les auteurs ont créé une nouvelle méthode d'entraînement qui agit comme un critique culinaire curieux. Ils ont dit au modèle : « Vous savez déjà comment faire un gâteau parfait. Mais je veux que vous utilisiez votre "interrupteur de stratégie" caché pour expliquer les moments spécifiques où la recette n'était pas évidente — où vous avez dû faire un véritable choix. »

En se concentrant uniquement sur les « parties difficiles » de la réponse (les moments où le modèle était le plus incertain ou bien où plusieurs chemins étaient possibles), la nouvelle méthode a forcé l'« interrupteur de stratégie » caché à être réellement utile. Le résultat ? Le modèle a appris avec succès à séparer sa pensée en chemins distincts et utilisables. Par exemple, lorsqu'on lui demande de prouver un théorème mathématique, on peut désormais lui dire : « Utilise l'interrupteur "Preuve par l'absurde" », et il choisira systématiquement ce chemin logique spécifique, plutôt que de le mélanger avec d'autres méthodes.

Les chercheurs ont testé cela sur un ensemble de puzzles algorithmiques, comme le tri de listes de nombres ou la résolution d'équations, où ils savaient exactement quels étaient les différentes stratégies. Ils ont découvert que leur nouvelle méthode révélait avec succès ces stratégies cachées et les maintenait cohérentes à travers différents problèmes. En revanche, les anciennes méthodes standards échouaient, laissant l'« interrupteur de stratégie » inutile et le processus de pensée toujours emmêlé. Bien que ce travail soit actuellement concentré sur des puzzles mathématiques et logiques synthétiques, il suggère une nouvelle façon puissante de regarder à l'intérieur de la « boîte noire » de l'IA, permettant potentiellement de contrôler comment une IA pense, et pas seulement ce qu'elle dit. Cela transforme un fouillis de possibilités en un menu de choix clairs, nous donnant une meilleure maîtrise des capacités de raisonnement de ces esprits numériques.

Résumé technique : Découvrir les stratégies de raisonnement latentes dans les modèles de langage

Énoncé du problème

Les modèles de langage (LM) pré-entraînés, entraînés sur des tâches de raisonnement, résolvent souvent des problèmes en utilisant plusieurs stratégies de haut niveau distinctes (par exemple, la preuve par l'absurde versus l'induction, ou différents algorithmes de tri). Cependant, ces stratégies sont implicites et entremêlées dans la distribution de réponse du modèle $p_\theta(y|x)$ . Il n'existe aucune variable explicite pour identifier ou contrôler la stratégie utilisée pendant la génération.

Le papier formule le problème de la décomposition de cette distribution de réponse en une représentation structurée, conditionnée par la stratégie. L'objectif est d'apprendre une factorisation routeur-générateur $(r_\phi(z|x), g_\phi(y|x, z))$ telle que :

Fidélité marginale : La distribution intégrée $\int r_\phi(z|x)g_\phi(y|x, z) dz$ approxime la distribution du modèle de base originale $p_\theta(y|x)$ .
Alignement de la stratégie : La variable latente $z$ est informative et alignée sur la stratégie, ce qui signifie que la variation de $z$ modifie la stratégie de haut niveau utilisée, et que la même valeur latente porte une signification de stratégie cohérente à travers différentes entrées.

Le défi central : Contrairement à la modélisation standard de variables latentes où un modèle est entraîné à partir de zéro, le modèle de base $p_\theta$ capture déjà la distribution cible sans aucune variable latente. Par conséquent, une factorisation qui ignore $z$ (où $g_\phi(y|x, z) = p_\theta(y|x)$ pour tout $z$ ) est disponible dès l'initialisation et est globalement optimale pour les objectifs qui ne mesurent que l'ajustement marginal. L'inférence variationnelle standard (par exemple, l'ELBO conditionnel) souffre d'un effondrement de l'a posteriori (posterior collapse) dans ce contexte, échouant à inciter $z$ à encoder la variation au niveau de la stratégie.

Méthodologie

Architecture

Les auteurs adaptent un Transformer pré-entraîné dans un cadre routeur-générateur :

Routeur ( $r_\phi$ ) : Lit l'entrée $x$ et produit une distribution sur une stratégie latente continue $z$ (modélisée comme un gaussien diagonal).
Générateur ( $g_\phi$ ) : Un modèle autorégressif qui conditionne sur $x$ et un plongement projeté $E(z)$ du latent échantillonné.
A posteriori ( $q_\xi$ ) : Un modèle distinct utilisé uniquement pendant l'entraînement pour inférer $z$ à partir de la paire entrée-réponse complète $(x, y)$ .
Paramétrage : Le routeur et le générateur partagent des paramètres initialisés à partir du modèle de base $\theta$ , mis à jour via une adaptation de bas rang de type LoRA.

Objectif de reconstruction dirigé par le modèle

Pour surmonter la sous-spécification de l'ELBO standard, les auteurs proposent un objectif de reconstruction dirigé par le modèle. Cet objectif utilise le modèle de base fixe $p_\theta$ comme référence pour diriger l'endroit où la variable latente $z$ doit expliquer la variation.

La fonction d'objectif $J_\theta$ se compose d'un terme de reconstruction $R_\theta$ et d'une pénalité KL :
$J_\theta(x, y; \phi, \xi) = R_\theta(x, y; \phi, \xi) + \beta \text{KL}(q_\xi(\cdot|x, y) \parallel r_\phi(\cdot|x))$

Composantes clés du terme de reconstruction :

Normalisation par le modèle de base : La perte de reconstruction est normalisée par la perte de réponse attendue du modèle de base ( $c_\theta$ ), exprimant la perte en "unités de référence du modèle de base".
Pondération dirigée par la surprise : Au lieu d'un pondérage uniforme des jetons, la perte est pondérée par la surprise au niveau du jeton du modèle de base ( $b_{\theta,t}$ $b_{θ, t}$ ).
- $b_{\theta,t}(x, y) = -\log p_\theta(y_t | x, y_{<t})$
- Les jetons ayant une surprise élevée (points de bifurcation où le modèle de base est incertain) reçoivent une pression de reconstruction plus forte.
- Cela encourage $z$ à encoder la variation aux positions où le modèle de base laisse plusieurs continuations plausibles, ce qui correspond généralement aux points de choix de stratégie.

Le terme de reconstruction est défini comme une fraction pondérée et normalisée de la perte du modèle de base :
$R_\theta = \frac{1}{c_\theta} \mathbb{E}_{z \sim q_\xi} \left[ \sum_{t} a_{\theta,t}(x, y) [-\log g_\phi(y_t | x, z, y_{<t})] \right]$
où les poids $a_{\theta,t}$ interpolent entre une pression uniforme et une pression dirigée par la surprise.

Configuration expérimentale et benchmark

Les auteurs introduisent un benchmark contrôlé de tâches algorithmiques multi-stratégies pour rendre l'alignement de la stratégie mesurable.

Tâches : Somme de listes, algorithmes de tri, recherche de chemin sur grille, résolution d'équations linéaires, conversion de base et addition multi-chiffres.
Conception : Chaque tâche permet plusieurs traces de solution valides pour la même instance de problème. Les étiquettes de stratégie de vérité terrain sont générées mais dissimulées pendant l'entraînement, utilisées uniquement pour l'évaluation.
Métriques d'évaluation :
1. Fidélité distributionnelle : La fraction des traces générées qui restent des solutions valides pour la tâche.
2. Alignement de stratégie (Cohérence analogique) : La probabilité qu'échantillonner un latent $z$ à partir d'une entrée source $X$ et l'appliquer à une entrée cible liée $X'$ résulte en une trace de solution $Y'$ utilisant la même stratégie que $Y$ généré à partir de $X$ .

Résultats clés

L'information implicite existe : Des sondes linéaires sur les états cachés du modèle de base peuvent décoder les étiquettes de stratégie, confirmant que la structure cible existe implicitement avant la factorisation.
Échec de l'ELBO standard : Les objectifs variationnels standards préservent la fidélité distributionnelle mais entraînent un effondrement latent, où $z$ reste inerte et échoue à s'aligner sur les stratégies.
Succès de la reconstruction dirigée par le modèle : L'objectif proposé réussit à récupérer des codes latents qui :
- Maintiennent une haute fidélité distributionnelle (préservant les sorties valides du modèle de base).
- Atteignent une haute Cohérence Analogique, démontant que $z$ porte des sémantiques de stratégie réutilisables à travers différentes entrées.
- Se séparent en régions distinctes spécifiques à la tâche et à la stratégie dans l'espace latent au cours de l'entraînement.
Études d'ablation :
- Supprimer l'échelle globale (normalisation) ou le pondérage des jetons (direction de la surprise) dégrade l'alignement de la stratégie.
- Utiliser un pondérage par surprise inverse (accentuant les jetons à faible surprise) affaiblit l'alignement, confirmant que la pression doit être appliquée aux jetons incertains/de bifurcation pour récupérer la variation de stratégie.

Analyse théorique

Le papier initie une analyse théorique du problème de récupération. Il cadre l'objectif comme la maximisation d'un score profilé impliquant l'information mutuelle $I(Y; Z|X)$ moins une pénalité de complexité d'approximation. Les auteurs fournissent des conditions suffisantes sous lesquelles un objectif variationnel pénalisé par la complexité sélectionne une factorisation latente alignée avec une structure de stratégie cible $S^*$ , à condition que la "discrépance de récupération" entre la solution optimale et les solutions sous-optimales soit positive.

Signification et revendications

Le papier prétend traiter une forme pathologique spécifique d'effondrement de l'a posteriori, unique à l'adaptation de modèles pré-entraînés plutôt qu'à l'entraînement à partir de zéro. En introduisant un objectif de reconstruction dirigé par le modèle, les auteurs démontrent une méthode pour :

Désenchevêtrer les stratégies de raisonnement implicites en une variable latente explicite et contrôlable.
Préserver la distribution de réponse du modèle de base tout en rendant la variable latente informative.
Permettre l'intervention : La structure latente récupérée permet de diriger la génération vers des stratégies de haut niveau spécifiques (par exemple, forcer une méthode de preuve spécifique) sans réentraîner le modèle de base.

Les auteurs notent que la méthodologie est validée sur des tâches algorithmiques synthétiques avec des stratégies de vérité terrain. Ils déclarent explicitement que l'extension de cela à des tâches de raisonnement ouvertes et la caractérisation complète du lien entre le critère de sélection de l'oracle théorique et les dynamiques d'entraînement réelles restent des questions ouvertes pour des travaux futurs. Les applications potentielles mentionnées incluent l'interprétabilité des modèles, le contrôle et l'exploration dirigée dans l'apprentissage par renforcement post-entraînement.