Résumé technique : Le raisonnement émerge de variétés d'inférence contraintes dans les grands modèles de langage

Énoncé du problème

Les évaluations actuelles du raisonnement dans les grands modèles de langage (LLM) reposent principalement sur des benchmarks étiquetés et la précision des tâches. Cette approche confond la qualité de l'inférence interne avec l'alignement sur les jeux de données et les stratégies d'incitation, traitant le raisonnement comme une mapping entrée-sortie opaque. Par conséquent, ces métriques offrent un aperçu limité de la manière dont le raisonnement est réalisé en interne, des raisons pour lesquelles des modèles de précision similaire diffèrent en robustesse, ou des processus dynamiques spécifiques sous-tendant une inférence réussie. Il existe un besoin d'un cadre qui caractérise le raisonnement comme un processus dynamique intrinsèque se déroulant dans l'espace de représentation du modèle, indépendant de la supervision spécifique à la tâche.

Méthodologie

Les auteurs analysent le raisonnement comme un processus dynamique en examinant l'évolution des représentations internes durant l'inférence. L'étude utilise un ensemble diversifié de LLM autorégressifs contemporains (Qwen2.5, Qwen3, Gemma 3 et DeepSeek-R1-Distill-Qwen) allant de 0,6 à 72 milliards de paramètres.

Collecte de données et stimuli :

• Stimuli : Des stimuli cognitifs génériques sont dérivés du sous-ensemble « Other » du benchmark MMLU, couvrant des domaines hétérogènes (par exemple, éthique, droit, sciences) sans s'appuyer sur des étiquettes de tâche spécifiques ou des signaux de correction durant l'analyse.
• Extraction de trajectoires : Pour chaque stimulus, l'état caché du dernier token est enregistré à chaque couche de transformateur et à chaque étape d'inférence. Ces séquences forment des trajectoires discrètes intégrées dans l'espace de représentation de haute dimension du modèle.

Métriques géométriques et théoriques de l'information :

1. Dimensionnalité intrinsèque (DI) : Estimée à l'aide de l'estimateur de dimensionnalité intrinsèque locale serrée (TLE). Deux DI distinctes sont mesurées :
   • $D_{stim}$ : La DI des trajectoires d'inférence induites par le stimulus (organisation géométrique).
   • $D_{monde}$ : La DI des embeddings de vocabulaire statiques (expressivité représentative).
2. Volume d'information ($V$) : Une métrique quantifiant la variation structurée préservée au sein de la variété de raisonnement, calculée via le déterminant de la matrice de covariance des états de trajectoires centrés.
3. Expansion du stimulus : Pour tester la stabilité, l'ensemble des stimuli est progressivement étendu en ajoutant cumulativement des types de questions disjoints de MMLU-Other, en suivant l'évolution de $D_{stim}$ avec l'augmentation de la diversité conceptuelle.

Diagnostic unifié :
Un score de santé du raisonnement sans étiquette ($H$) est formulé pour intégrer ces contraintes structurelles :
$$H = \log(D_{monde}) \cdot \frac{V}{\exp(\varepsilon D_{stim})}$$
où $\varepsilon$ est un paramètre de pénalité fixe. Ce score est calculé uniquement à partir de la dynamique interne et comparé aux performances des benchmarks en aval via la corrélation de rang de Spearman.

Contributions et résultats clés

1. Auto-organisation en variétés de basse dimension

L'étude révèle que les dynamiques de raisonnement au moment de l'inférence s'auto-organisent systématiquement en des variétés de dimension extrêmement faible, bien qu'elles résident dans des espaces d'embedding de haute dimension.

• Observation : À mesure que l'inférence progresse à travers les couches du réseau, la dimensionnalité intrinsèque des représentations diminue rapidement, se stabilisant souvent à moins de dix degrés de liberté.
• Distinction : Cet effondrement est induit par le stimulus et dynamique ; les embeddings de vocabulaire statiques conservent une dimensionnalité quasi-totale, indiquant que les modèles possèdent une capacité représentative élevée, mais que le raisonnement contraint spécifiquement cet espace.

2. L'insuffisance de la dimensionnalité seule

La faible dimensionnalité est nécessaire mais non suffisante pour un raisonnement robuste.

• Résultat : Des modèles présentant des trajectoires également compressées exhibent des comportements d'inférence nettement différents. Une compression trop agressive peut conduire à des dynamiques fragiles ou pauvres en information.
• Compromis information-géométrie : Un raisonnement efficace nécessite un régime spécifique où la compression géométrique s'accompagne d'une augmentation du volume d'information ($V$) à mesure que la profondeur augmente. Les couches plus profondes suppriment le bruit (réduisant la DI) tout en amplifiant les variations conceptuelles pertinentes pour la tâche (augmentant $V$).

3. Le rôle de la capacité expressive

La robustesse face à des entrées hétérogènes dépend de la capacité expressive ($D_{monde}$) du modèle, définie comme la dimensionnalité intrinsèque de son vocabulaire statique.

• Mécanisme de stabilité : Les modèles dotés d'une capacité expressive plus élevée présentent une croissance plus lente de la dimensionnalité induite par le stimulus ($D_{stim}$) à mesure que la diversité conceptuelle augmente.
• Contrainte : Les modèles dont la capacité expressive est insuffisante doivent recruter des dimensions supplémentaires pour encoder des concepts divers, entraînant une dispersion des trajectoires et une instabilité structurelle.

4. Le diagnostic structurel unifié ($H$)

Les auteurs introduisent le score de santé du raisonnement $H$, qui intègre l'organisation géométrique ($D_{stim}$), le contenu informationnel ($V$) et la capacité expressive ($D_{monde}$).

• Performance : $H$ montre un accord monotone fort ($\rho$ de Spearman > 0,9) avec les performances de raisonnement en aval sur plusieurs benchmarks indépendants (par exemple, AIME, GPQA, LiveBench).
• Nature sans étiquette : Crucialement, $H$ est calculé sans accès aux étiquettes de tâche, aux signaux de correction ou aux jeux de données d'évaluation, pourtant il prédit avec succès la robustesse et la généralisation.

Importance et affirmations

L'article reformule l'évaluation du raisonnement en déplaçant l'accent de la précision des tâches vers la géométrie interne et le flux d'information des dynamiques d'inférence.

• Régime admissible : Les auteurs proposent qu'un raisonnement sain occupe un « régime admissible » étroit caractérisé par trois conditions :
  1. Expressivité représentative adéquate : Un substrat à haute capacité ($D_{monde}$) pour supporter des concepts divers.
  2. Compression spontanée de variété : L'auto-organisation des trajectoires d'inférence en structures de basse dimension ($D_{stim}$).
  3. Volume d'information non dégénéré : La préservation de variations structurées ($V$) au sein de la variété compressée.
• Dynamiques pathologiques : Les modèles violant ces contraintes exhibent des modes d'échec caractéristiques, tels qu'une exploration diffuse, un encombrement représentatif ou un effondrement dégénéré.
• Cadre complémentaire : Le diagnostic proposé ne remplace pas l'évaluation centrée sur les benchmarks mais offre une lentille complémentaire et principielle pour isoler les propriétés intrinsèques du raisonnement des effets spécifiques aux jeux de données. Il suggère que le raisonnement est fondamentalement régi par des contraintes géométriques et informationnelles, fournissant une base pour diagnostiquer la santé des modèles et comprendre les conditions structurelles permettant une inférence robuste.

Les auteurs maintiennent que, bien que ce cadre délimite une fenêtre structurelle pour un raisonnement robuste, il ne prédit pas de lois d'échelle monotones, et l'applicabilité aux systèmes non autorégressifs ou multimodaux reste une question ouverte.