Résumé technique : L'émergence du raisonnement à partir de variétés d'inférence contraintes dans les grands modèles de langage

Énoncé du problème

Les évaluations actuelles du raisonnement dans les grands modèles de langage (LLM) reposent principalement sur des benchmarks étiquetés et la précision des tâches. Cette approche confond la qualité de l'inférence interne avec l'alignement sur les jeux de données et les stratégies de prompting, traitant le raisonnement comme une application opaque d'entrées vers des sorties. Par conséquent, elle offre peu de perspectives sur la manière dont le raisonnement est réellement réalisé en interne, pourquoi des modèles ayant une précision similaire diffèrent en robustesse, et quelles propriétés structurelles distinguent un raisonnement sain de dynamiques pathologiques. Ce travail répond à la nécessité d'étudier le raisonnement comme un processus dynamique intrinsèque se déployant dans l'espace de représentation, indépendamment de la supervision spécifique aux tâches.

Méthodologie

Les auteurs analysent les trajectoires de représentation lors de l'inférence, provoquées par des stimuli cognitifs génériques (dérivés du sous-ensemble « Other » du benchmark MMLU) à travers un ensemble diversifié de familles de LLM autorégressifs contemporains (Qwen2.5, Qwen3, Gemma 3 et les familles DeepSeek-R1-Distill-Qwen, allant de 0,5B à 72B de paramètres).

La méthodologie centrale comprend :

1. Extraction de trajectoire : Pour chaque stimulus, l'état caché du dernier jeton est enregistré à chaque couche du transformateur et à chaque étape d'inférence, formant une trajectoire discrète $T_\ell(x)$ dans l'espace de représentation de haute dimension.
2. Analyse géométrique :
   • Dimension intrinsèque (ID) : Estimée à l'aide de l'estimateur Tight Local Intrinsic Dimensionality (TLE) pour quantifier les degrés de liberté effectifs des trajectoires. Deux ID distinctes sont mesurées : $D_{world}$ (provenant des plongements de vocabulaire statiques) et $D_{stim}$ (provenant des trajectoires d'inférence).
   • Volume d'information ($V$) : Calculé via le logarithme du déterminant de la matrice de covariance des points de trajectoire centrés pour quantifier la quantité de variation structurée préservée au sein de la variété.
3. Expansion du stimulus : Pour tester la stabilité, l'ensemble des stimuli est progressivement étendu en ajoutant cumulativement des types de questions disjoints de MMLU-Other, en suivant l'évolution de $D_{stim}$ avec l'augmentation de la diversité conceptuelle.
4. Diagnostic unifié : Une métrique scalaire, le Score de Santé du Raisonnement ($H$), est formulée pour intégrer l'organisation géométrique, le contenu informationnel et la capacité expressive sans utiliser d'étiquettes de tâches ou de signaux de correction.

Contributions clés

L'article identifie trois contraintes structurelles qui régissent conjointement les dynamiques de raisonnement sain et introduit un diagnostic sans étiquette basé sur ces contraintes :

1. Compression spontanée de la variété : Les représentations lors de l'inférence se replient spontanément sur des variétés de faible dimension injectées dans des espaces de haute dimension. Cette compression dimensionnelle est induite par le stimulus, reproductible et distinct de la haute expressivité des plongements de vocabulaire statiques.
2. Flux d'information non dégénéré : La faible dimensionnalité seule est insuffisante. Un raisonnement efficace nécessite que la variété compressée maintienne un volume d'information élevé. Les auteurs observent que si l'ID diminue avec la profondeur du réseau, le volume d'information augmente, indiquant un mécanisme de focalisation qui supprime le bruit tout en amplifiant les variations pertinentes pour la tâche.
3. Capacité expressive comme stabilisateur : La dimension intrinsèque des plongements de vocabulaire statique ($D_{world}$) agit comme une condition structurelle de fond. Les modèles dotés d'une plus grande capacité expressive peuvent accommoder une diversité conceptuelle croissante sans nécessiter une expansion substantielle des degrés de liberté lors de l'inférence, stabilisant ainsi le raisonnement de faible dimension sous des stimuli hétérogènes.

Résultats

• Collapse dimensionnel : À travers toutes les familles de modèles et toutes les échelles, les trajectoires de raisonnement se stabilisent systématiquement à des dimensionalités intrinsèques bien inférieures à la dimension d'immersion du vocabulaire (convergeant souvent vers moins de dix degrés de liberté).
• Découplage de la compression et de la performance : Une compression géométrique plus forte (ID plus faible) ne corrèle pas linéairement avec une meilleure performance de raisonnement. Des modèles présentant une ID similaire peuvent exhiber des comportements d'inférence radicalement différents, incluant des dynamiques fragiles ou pauvres en informations.
• Le régime admissible : Les modèles performants se concentrent dans une région étroite d'un espace tridimensionnel défini par une faible $D_{stim}$, un $V$ élevé et une $D_{world}$ suffisante. Les modèles en dehors de ce régime présentent des dynamiques pathologiques telles qu'une exploration diffuse, un encombrement représentationnel ou un effondrement dégénéré.
• Performance du diagnostic : Le score de santé du raisonnement unifié ($H$) montre un fort accord monotone (coefficients de corrélation de Spearman > 0,9) avec la performance de raisonnement en aval sur divers benchmarks (ex. AIME, GPQA, LiveBench). Cette corrélation se maintient bien que $H$ soit entièrement indépendant des tâches et calculé uniquement à partir de la dynamique interne.

Signification et revendications

L'article recadre l'évaluation du raisonnement en déplaçant l'attention des résultats des tâches vers la géométrie interne et le flux d'information des dynamiques d'inférence. Les auteurs affirment que le raisonnement dans les LLM est fondamentalement régi par des contraintes géométriques et informationnelles.

• Cadre complémentaire : Le diagnostic structurel proposé ne remplace pas l'évaluation centrée sur les benchmarks mais offre un prisme complémentaire. Il isole les propriétés intrinsèques des dynamiques d'inférence des effets spécifiques aux jeux de données, permettant la comparaison du comportement de raisonnement entre modèles et architectures sans recours à des données étiquetées.
• Aperçu mécaniste : Les conclusions suggèrent que le raisonnement robuste n'émerge pas d'un mécanisme unique, mais de l'interaction coordonnée entre une organisation de faible dimension, une préservation suffisante de l'information et un substrat représentationnel riche.
• Utilité diagnostique : Ce travail fournit un moyen principiel d'identifier les régimes pathologiques (ex. sur-compression ou famine d'information) et offre une référence structurelle pour évaluer les effets des futures approches d'entraînement ou de techniques d'alignement sur le calcul interne.

Les auteurs notent explicitement les limites : le diagnostic est descriptif et corrélationnel, n'établit pas de mécanismes causaux et repose sur les états cachés du dernier jeton comme proxy pour le calcul distribué. De plus, l'applicabilité de ces régimes admissibles aux systèmes non autorégressifs, multimodaux ou incarnés demeure une question ouverte.