Résumé Technique : Le Raisonneur Géométrique (TGR)

Énoncé du Problème

L'augmentation de la puissance de calcul au moment de l'inférence s'est avérée efficace pour améliorer les capacités de raisonnement des grands modèles de langage (LLM) grâce à des trajectoires longues de type chaîne de pensée (CoT). Cependant, les approches existantes font face à un compromis fondamental entre le coût computationnel et la qualité de la couverture des trajectoires.

• Méthodes lourdes en entraînement : L'apprentissage par renforcement (RL) et l'optimisation des préférences (par exemple, GRPO, SimKO) amortissent le contrôle à long horizon dans les poids du modèle. Bien qu'efficaces pour la précision sur un échantillon unique, ces méthodes nécessitent une puissance de calcul d'entraînement substantielle et risquent de faire effondrer la distribution des trajectoires, réduisant ainsi la diversité.
• Échantillonnage sans entraînement : Les stratégies d'échantillonnage standard (par exemple, Power Sampling, Tree of Thoughts) échangent le calcul contre la couverture sans réentraînement. Cependant, elles souffrent souvent de rendements décroissants car les échantillons supplémentaires restent hautement corrélés, échouant à élargir l'ensemble des trajectoires distinctes et valides.
• Contraintes de mémoire : La complexité quadratique des mécanismes d'attention et l'empreinte mémoire du cache KV créent un goulot d'étranglement pour le déploiement pratique, rendant l'exploration naïve à long horizon inabordable sous des contraintes de mémoire strictes.

Il existe un besoin critique d'une procédure de recherche au moment de l'inférence, sans entraînement, qui alloue dynamiquement le calcul pour atteindre une exploration contrôlable et une couverture robuste sans engendrer de coûts de mémoire ou d'entraînement prohibitifs.

Méthodologie : Le Raisonneur Géométrique (TGR)

Le Raisonneur Géométrique (TGR) est un cadre sans entraînement qui effectue une recherche de prévision latente informée par la variété. Il traite le raisonnement comme une recherche de chemin sur une variété latente, évitant les contraintes rigides qui deviennent fragiles dans les espaces de haute dimension.

Architecture Principale

1. Inférence par blocs avec réinitialisation du cache KV : TGR segmente le raisonnement en blocs de longueur fixe. À chaque limite de bloc, il effectue une réinitialisation du cache KV, reconstruisant le cache de préfixe à partir d'un contexte explicite borné (requête + tokens récents) tout en écartant l'historique antérieur. Cela garantit que l'utilisation de la mémoire reste linéaire ($O(S)$) par rapport à la longueur du bloc, indépendamment de l'horizon total de raisonnement.
2. Ancres d'état latent : Au lieu de s'appuyer sur des transitions d'état apprises ou des vérificateurs externes, TGR extrait des ancres latentes unitaires compactes ($z_t$) à partir des états cachés aux limites des blocs. Ces ancres servent de résumés d'état qui transmettent des informations à longue portée à travers les réinitialisations de blocs.
3. Recherche de prévision : À chaque limite, TGR échantillonne $K$ ancres candidates depuis le voisinage local de l'état actuel (via une perturbation dans l'espace tangent sur la sphère unitaire). Il évalue ces candidats à l'aide d'une fonction de score géométrique douce avant de générer le bloc suivant.

L'Objectif de Score

Les candidats sont classés en maximisant un score composite qui équilibre trois facteurs :
$$\text{Score}(a; c, z) = V_{\text{fore}}(a; c) - \lambda_b P_{\text{bum}}(a; c) - \lambda_u P_{\text{uni}}(a; z)$$

• Valeur de prévision ($V_{\text{fore}}$) : Une estimation légère de l'avenir calculée via un déroulement superficiel ($s \ll S$ tokens). Elle mesure la cohérence de la vraisemblance logarithmique du candidat, servant de proxy pour l'utilité immédiate sans modèles de récompense externes.
• Pénalité de rugosité ($P_{\text{bum}}$) : Un régularisateur qui pénalise les variations haute fréquence dans la trajectoire latente (différences discrètes d'ordre deux). Cela encourage des transitions lisses et cohérentes entre les blocs.
• Régularisateur d'uniformité ($P_{\text{uni}}$) : Une force répulsive (pénalité à charnière) qui décourage les candidats de se regrouper trop près de l'ancre précédente. Cela favorise une exploration diversifiée et prévient l'effondrement des modes.

Conditionnement des Ancres

Les ancres sélectionnées sont injectées dans le LLM de base figé via une injection résiduelle de faible rang à chaque couche de transformateur. Cela permet au modèle de conditionner sa génération sur l'état latent choisi sans nécessiter de mises à jour de paramètres ni de modifications architecturales.

Contributions Clés

1. Recherche de prévision latente informée par la variété : TGR introduit un cadre sans entraînement qui note les ancres latentes au niveau des blocs en utilisant un objectif géométrique doux. Cela permet une exploration contrôlable et une couverture robuste des trajectoires sans mises à jour de paramètres.
2. Robustesse économe en budget : Le cadre améliore considérablement la couverture des trajectoires robustes (mesurée par l'aire sous la courbe Pass@k, AUC) sur des benchmarks exigeants de mathématiques et de code. Sur Qwen3-8B, TGR atteint jusqu'à 13 points de gain AUC avec une surcharge d'inférence négligeable (environ 1,1–1,3×).
3. Limites de l'échelle de la géométrie stricte : L'article démontre que le filtrage géométrique strict (contraintes de faisabilité rigides) souffre de taux d'acceptation s'évanouissant dans les espaces latents de haute dimension en raison de la concentration de la mesure. TGR établit la régularisation géométrique douce comme une alternative évolutive qui préserve le biais géométrique sans le coût prohibitif de l'échantillonnage par rejet.

Résultats Expérimentaux

TGR a été évalué sur le modèle Qwen3-8B à travers des benchmarks de raisonnement mathématique (MATH500, AIME25, OlympiadBench, OmniMath) et de génération de code (HumanEval, BigCodeBench, LiveCodeBench).

• Performance : TGR-Latent surpasse constamment les lignes de base, y compris l'échantillonnage sans entraînement (Power Sampling) et les approches RL lourdes en entraînement (LCoT-GRPO, Delethink). Il obtient les scores AUC les plus élevés, indiquant une capacité supérieure à générer des trajectoires de solution distinctes et valides.
• Efficacité : TGR égale ou dépasse la performance des lignes de base ajustées par RL tout en consommant moins de tokens de passage avant au total (par exemple, 18 % de tokens en moins que certaines lignes de base RL sur les tâches mathématiques).
• Diversité : L'analyse de la géométrie latente montre que TGR maintient une distribution d'ancres dispersée, tandis que les lignes de base ajustées par RL tendent à s'effondrer dans des cônes étroits et corrélés. Le terme d'uniformité est crucial pour maintenir cette diversité.
• Évolutivité : La méthode généralise à travers les échelles de modèles (de 1,7B à 14B) et reste robuste aux variations de la longueur des blocs, à condition que l'horizon total soit fixe.

Importance et Revendications

L'article postule que la couverture robuste dans le raisonnement à long horizon n'a pas nécessairement besoin d'être amortie par un entraînement coûteux. Au contraire, elle peut être induite à la volée via une recherche structurée dans l'espace latent.

• Découplage du contrôle de l'entraînement : En externalisant l'orientation géométrique en tant que couche de contrôle au moment de l'inférence, TGR offre des boutons de réglage pour médier le compromis entre la valeur de prévision, la cohérence et la diversité. Cela est particulièrement efficace pour les modèles (par exemple, SFT uniquement) où la distribution des trajectoires conserve une flexibilité résiduelle.
• Contraintes douces vs contraintes rigides : Le travail souligne que les pénalités géométriques douces sont supérieures au filtrage de faisabilité rigide dans les espaces de haute dimension, évitant l'effondrement exponentiel des taux d'acceptation tout en guidant toujours la recherche vers des chemins cohérents et diversifiés.
• Déploiement pratique : TGR fournit une voie pour améliorer les capacités de raisonnement dans des budgets de calcul fixes ou modérément accrus, le rendant adapté à des applications telles que l'assistance à la programmation où l'entraînement de nouveaux modèles est irréalisable.

Les auteurs notent des limitations, notamment une latence d'inférence accrue due aux déroulements et la nécessité d'accéder aux états cachés (le rendant moins adapté aux API boîte noire sans interfaces exposées). Cependant, le cadre représente une étape significative vers un raisonnement en contexte long efficace et sans entraînement.