Résumé technique : Le raisonnement latent géométrique induit des générations plus courtes dans les LLM

Problématique

Les grands modèles de langage (LLM) résolvent actuellement des problèmes complexes en générant de longues chaînes de jetons de raisonnement explicites (par exemple, la Chaîne de Pensée ou CoT - Chain-of-Thought). Bien qu'efficace, cette approche impose une surcharge de calcul significative, est sensible à la longueur de la génération et force les étapes de raisonnement intermédiaires dans un langage naturel discret. Cette rigidité oblige les modèles à s'engager prématurément dans des jetons de vocabulaire spécifiques à chaque étape, ce qui peut occulter le véritable calcul interne.

Bien que le « raisonnement latent » offre une alternative continue en déplaçant le calcul intermédiaire vers des espaces de représentation continus, les méthodes existantes sont confrontées à des défis fondamentaux. Les approches qui réinjectent des états cachés non contraints dans le modèle souffrent de décalages dans l'espace d'enchâssement (embedding-space mismatch), tandis que celles qui reposent sur des modules auxiliaires ou la distillation de connaissances introduisent des dépendances d'entraînement et des frictions architecturales complexes. Un défi central demeure : déterminer la structure optimale des états continus intermédiaires qui s'aligne avec la géométrie préentraînée du modèle.

Méthodologie : Raisonnement Latent Géométrique (GLR)

Les auteurs proposent le Raisonnement Latent Géométrique (GLR), qui reformule le raisonnement latent comme un problème d'approximation de trajectoire géométrique au sein de l'espace d'enchâssement des jetons préentraînés du modèle.

Concept Central

Au lieu d'apprendre un espace latent non contraint, le GLR repose sur l'hypothèse que des états intermédiaires utiles existent dans les voisinages locaux des trajectoires induites par les jetons discrets. La méthode traite la CoT textuelle standard comme une trajectoire discrète à travers l'espace d'enchâssement et apprend à approximer ces transitions à l'aide de vecteurs continus.

Architecture et Entraînement

1. Tête de Transition Latente (Latent Transition Head) : Une couche linéaire légère ($g_\phi$) est ajoutée au modèle de langage. Elle prend l'état caché actuel ($h_{i-1}$) et prédit un vecteur de déplacement continu ($\Delta \hat{e}_i$) dans l'espace d'enchâssement.
2. Objectif d'Entraînement : Le modèle est entraîné via une procédure en deux passes sur des traces de CoT textuelles :
   • Première Passe : Le modèle traite la séquence discrète originale pour collecter les déplacements d'enchâssement exacts ($\Delta e_i = e_i - e_{i-1}$) entre les jetons de raisonnement consécutifs.
   • Seconde Passe : Les jetons de raisonnement discrets sont remplacés par des états latents continus générés en appliquant la sortie de la tête de transition à l'état latent précédent.
   • Fonction de Perte : La perte totale combine l'entropie croisée (CE) standard sur les jetons de réponse finale avec une erreur quadratique moyenne (MSE) pondérée par la position sur les transitions latentes. Le facteur de pondération ($\gamma$) réduit la pénalité pour les positions de raisonnement ultérieures, permettant au modèle de s'écarter davantage de la trace textuelle originale à mesure que le raisonnement progresse. Crucialement, aucune CE par jeton n'est appliquée aux positions de remplacement latent, car ces états ne sont pas destinés à être verbalisables de manière indépendante.
3. Inférence : Lors de l'inférence, le modèle initie le raisonnement avec un nombre fixe d'étapes latentes continues ($K$). Pour chaque étape, la tête de transition prédit une mise à jour, et l'enchâssement continu résultant est réinjecté dans le modèle. Après $K$ étapes, le modèle reprend le décodage autoregressif standard pour générer la réponse finale.

Contributions Clés

• Formulation Géométrique : L'article formule le raisonnement latent comme un problème d'approximation de trajectoire géométrique au sein de l'espace d'enchâssement des jetons préentraînés, offrant une alternative structurée à la rétroaction non contrainte des états cachés.
• Méthode GLR : Introduction d'une méthode qui apprend des mises à jour d'enchâssement continu à partir de trajectoires de CoT textuelles en utilisant un objectif de transition simple et pondéré par la position.
• Réduction Émergente de la Longueur : Démonstration que le GLR induit des générations sensiblement plus courtes sur les benchmarks de raisonnement mathématique sans pénalité ou objectif de longueur explicite.
• Compromis Précision-Longueur : Identification d'un compromis contrôlable régi par le nombre d'étapes latentes ($K$), exposant un nouveau mécanisme d'inférence pour allouer le calcul entre les mises à jour latentes continues et la génération de texte explicite.

Résultats Expérimentaux

Les auteurs ont évalué le GLR en utilisant des modèles Qwen3 (0.6B et 1.7B) sur six benchmarks de raisonnement mathématique (GSM8K, MATH500, MultiArith, AMC23, OlympiadBench et SVAMP), en comparant avec une ligne de base standard de fine-tuning supervisé de la chaîne de pensée (CoT-SFT).

• Performance sous Budget Contraint : Sous des budgets de génération strictement contraints (ex: $\le$ 256 étapes), le GLR surpasse significativement le CoT-SFT. Par exemple, sur MATH500 avec un budget de 512 étapes, le CoT-SFT a atteint une précision proche de zéro, tandis que le GLR-10 a résolu plus de 40 % des problèmes. Cela suggère que les transitions latentes remplacent les préfixes de raisonnement explicites redondants, permettant au modèle de reprendre le décodage à partir d'un état de raisonnement plus avancé.
• Réduction de la Longueur de Génération : Pour les réponses correctes, le GLR nécessite nettement moins d'étapes de génération totales que le CoT-SFT. Sur MATH500, la longueur médiane de génération pour le CoT-SFT était d'environ 2 000 jetons, tandis que des budgets latents modérés (GLR-10, GLR-20) ont réduit cela à environ 350 étapes. Cette réduction est émergente et n'est pas explicitement optimisée via une pénalité de longueur.
• Généralisation : La réduction des traces de raisonnement redondantes a été observée sur divers benchmarks, y compris l'arithmétique simple (SVAMP), où le GLR a réduit les longueurs médianes de génération de ~500–700 jetons à ~100 étapes.
• Dynamique Latente : Une étude d'ablation avec $K=0$ (désactivation du déroulement latent lors de l'inférence tout en conservant l'architecture entraînée par GLR) a montré que le modèle revenait à de longues générations explicites. Cela confirme que la réduction de la longueur est pilotée par l'utilisation de déplacements continus appris durant l'inférence, et non simplement par la recette d'entraînement ou le masquage de perte.
• Non-Monotonie : La relation entre les étapes latentes ($K$) et la précision est non monotone. Des valeurs modérées de $K$ offrent le meilleur compromis, tandis que des étapes latentes excessives (ex: $K=80$ ou $100$) peuvent dégrader la précision en raison de la dérive géométrique accumulée, où les erreurs de la tête de transition éloignent l'état latent de la trajectoire de raisonnement induite par les jetons.

Signification et Revendications

L'article affirme que les espaces d'enchâssement des jetons préentraînés peuvent supporter des états de raisonnement intermédiaires utiles au-delà des jetons discrets. En remplaçant le raisonnement explicite précoce par des étapes latentes continues, le GLR permet aux modèles d'atteindre des réponses correctes avec nettement moins d'étapes de génération totales.

Les auteurs positionnent le GLR comme une fondation géométrique principielle pour un raisonnement efficace en termes de jetons. Il expose un nouveau compromis entre le budget de calcul latent, la longueur de sortie et la précision, fournissant un mécanisme simple pour contrôler le coût et la forme du raisonnement au moment du test. Ce travail suggère que les trajectoires continues agissent comme des états de raisonnement intermédiaires compacts, contournant efficacement les transitions discrètes redondantes qui sont souvent nécessaires pour un texte lisible mais qui portent peu de contenu de raisonnement.