Résumé Technique : Repensée au Moment de l'Inférence avec des Vecteurs de Pensée Latents pour le Raisonnement Mathématique

1. Énoncé du Problème

Le raisonnement standard par Chaîne de Pensée (Chain-of-Thought ou CoT) dans les Grands Modèles de Langage (LLM) opère via une passe avant unique, où le modèle s'engage de manière irrévocable sur chaque jeton généré. Cette architecture enchevêtre la connaissance déclarative (le contenu du plan de raisonnement) et l'exécution procédurale (la génération syntaxique de jetons). Par conséquent, les erreurs précoces de génération se propagent sans contrôle car le modèle manque d'un mécanisme indépendant pour revenir en arrière, critiquer ou affiner sa stratégie de raisonnement avant de finaliser la sortie.

Les auteurs soutiennent qu'un raisonnement efficace nécessite une séparation fonctionnelle entre « ce sur quoi raisonner » (déclaratif) et « comment le verbaliser » (procédural), reflétant la distinction entre le traitement sémantique (par exemple, l'aire de Wernicke) et la production syntaxique (par exemple, l'aire de Broca) dans la cognition humaine.

2. Méthodologie

2.1 Modèle Génératif avec Vecteurs de Pensée Latents

Le cadre proposé factorise le raisonnement en deux composantes distinctes :

1. Vecteurs de Pensée Latents ($z$) : Une représentation déclarative continue de la stratégie de raisonnement (« quoi »).
2. Décodeur Procédural : Un Transformer autorégressif qui génère la séquence de jetons (« comment ») conditionnée par $z$.

Le modèle conjoint est défini par :
$$p_\theta(x, z) = p_\alpha(z) p_\beta(x|z)$$
Où $x$ est la séquence de jetons de base (question + trace de raisonnement) et $\theta = (\alpha, \beta)$ représente l'ensemble des paramètres du modèle.

• Modèle Prior ($p_\alpha(z)$) : Contrairement aux VAE standards avec des priors fixes, ce modèle utilise une carte de transport apprenable. Un encodeur ($U_\alpha$) transforme des jetons de bruit non structurés $z_0 \sim \mathcal{N}(0, I)$ en vecteurs de pensée latents structurés $z$. Cela crée une variété apprise où la géométrie reflète des motifs de raisonnement valides.
• Générateur Guidé par la Pensée ($p_\beta(x|z)$) : Un décodeur Transformer où le vecteur latent $z$ effectue une attention croisée (cross-attention) à chaque couche. Crucialement, le décodeur utilise une fenêtre de contexte courte ($w=64$). Ce goulot d'étranglement architectural force le modèle à acheminer les dépendances à longue portée à travers $z$, obligeant le vecteur latent à encoder une structure globale au niveau de la séquence plutôt qu'un contexte local redondant.

2.2 Apprentissage : Optimisation à Double Taux

L'entraînement emploie un schéma à double taux pour séparer l'adaptation locale rapide par instance de l'apprentissage global lent :

• Mises à jour Locales Rapides : Pour chaque séquence d'entraînement, les paramètres de la distribution a posteriori variationnelle $(\mu, \sigma^2)$ sur les jetons de bruit $z_0$ sont optimisés directement via la descente de gradient (Adam) avec un taux d'apprentissage élevé. Aucun réseau d'inférence n'est entraîné ; chaque instance maintient sa propre représentation latente optimisée.
• Mises à jour Globales Lentes : Les paramètres du modèle $\theta$ (poids de l'encodeur et du décodeur) sont mis à jour avec un taux d'apprentissage standard, plus faible.

Cette approche évite l'effondrement de la distribution a posteriori (posterior collapse) et permet au modèle d'accumuler des schémas généraux ($\theta$) tout en maintenant une précision par instance via les variables latentes.

2.3 Repensée au Moment de l'Inférence

Au moment du test, le modèle emploie une procédure itérative de type Gibbs pour affiner la stratégie de raisonnement. Étant donné une question $x_q$, l'objectif est d'approcher la marge $p_\theta(x_r|x_q)$ en alternant entre génération et réflexion :

1. Générer : Échantillonner une trace de raisonnement candidate $x_r^{(t)}$ conditionnée par la pensée latente actuelle $z^{(t-1)}$.
   $$x_r^{(t)} \sim p_\beta(x_r | U_\alpha(z_0^{(t-1)}), x_q)$$
2. Réfléchir : Optimiser le vecteur de bruit latent $z_0$ pour maximiser la vraisemblance de la trace générée (effectivement en minimisant la divergence KL entre la distribution a posteriori variationnelle et la véritable distribution a posteriori).
   $$z_0^{(t)} = \arg \min_{z_0} D_{KL}(q(z_0|x_r^{(t)}, x_q) \parallel p_\theta(z_0|x_r^{(t)}, x_q))$$

Cette boucle permet au modèle de « repenser » : les erreurs dans la trace générée informent un vecteur latent affiné, qui guide ensuite une trace corrigée lors de l'itération suivante. Le processus est théoriquement fondé sur une optimisation par ascentée de coordonnées sur une borne inférieure variationnelle (ELBO), garantissant une amélioration monotone de l'approximation de la distribution a posteriori jointe.

3. Contributions Clés

1. Cadre Génératif : Une architecture novatrice qui découple le contenu déclaratif (vecteurs latents) de la génération procédurale, permettant un apprentissage efficace où un petit modèle peut surpasser des architectures monolithiques plus larges.
2. Repensée au Moment de l'Inférence : Une procédure de type Gibbs qui affine itérativement les pensées latentes au moment du test, permettant l'auto-correction sans nécessiter de données d'entraînement supplémentaires ou de re-paramétrage du modèle.
3. Validation Empirique : Démonstration que le calcul au moment de l'inférence est un axe de mise à l'échelle (scaling) hautement efficace, orthogonal au nombre de paramètres.

4. Résultats Expérimentaux

Les auteurs ont entraîné un modèle de 0,2 milliard de paramètres de zéro sur le jeu de données GSM8K-Aug (385K exemples) et l'ont évalué sur trois benchmarks : GSM8K (en domaine), SVAMP (variations de surface hors domaine) et MultiArith (raisonnement multi-étapes).

• Performance : Le modèle de 0,2B avec 30 itérations de repensée (Rethink-30) a obtenu :
  • 31,54 % sur GSM8K (surpassant un modèle CoT-SFT de 3B à 22,70 % et un modèle MARCoS de 2B à 24,11 %).
  • 51,50 % sur SVAMP (contre 27,77 % pour le MARCoS de 2B).
  • 68,00 % sur MultiArith (contre 42,33 % pour le MARCoS de 2B).
• Efficacité : Même une seule passe (Rethink-1) a surpassé presque toutes les lignes de base, y compris des modèles possédant 10 à 15 fois plus de paramètres.
• Généralisation : La méthode a montré une robustesse significative sur les benchmarks hors domaine, attribuée à la capacité du vecteur latent à s'abstraire de la variabilité des jetons de surface.

5. Signification et Revendications

L'article affirme qu'un raisonnement mathématique efficace peut émerger d'un calcul sophistiqué au moment de l'inférence plutôt que uniquement de comptes massifs de paramètres.

• Mise à l'échelle Orthogonale : Les résultats suggèrent que « réfléchir plus longtemps » (investir du calcul dans le raffinement itératif) est un axe de mise à l'échelle puissant qui complète l'augmentation de la taille du modèle.
• Alignement Cognitif : En séparant la planification déclarative de l'exécution procédurale, le modèle imite les mécanismes cognitifs humains, permettant l'inspection et la révision des pensées avant l'engagement.
• La Vraisemblance comme Proxy : Les auteurs postulent que lorsqu'on entraîne sur des démonstrations proches de l'expertise, le paysage de vraisemblance favorise naturellement les chemins logiques valides. Par conséquent, optimiser le vecteur latent pour maximiser la vraisemblance de la trace générée guide efficacement le modèle vers des stratégies de raisonnement correctes.

Les auteurs notent des limites, spécifiquement que le recours à la vraisemblance comme proxy suppose des données d'entraînement de haute qualité ; dans des contextes bruités, cette corrélation peut s'affaiblir, nécessitant des signaux de vérification externes dans les travaux futurs.