Reasoning Models Don't Just Think Longer, They Move Differently

Résumé technique : Les modèles de raisonnement ne pensent pas seulement plus longtemps, ils se déplacent différemment

Énoncé du problème
Les grands modèles de langage (LLM) entraînés au raisonnement allouent fréquemment davantage de puissance de calcul au moment du test aux problèmes plus difficiles, ce qui se traduit par des chaînes de pensée nettement plus longues. Cependant, la littérature existante a eu du mal à distinguer si ces modèles effectuent simplement plus d'étapes de calcul ou s'ils modifient fondamentalement leur trajectoire de raisonnement interne. Un facteur de confusion critique dans l'analyse des trajectoires d'états cachés est la longueur de génération : des trajectoires plus longues sont mécaniquement moins directes (plus « tortueuses ») indépendamment de la logique interne du modèle. Par conséquent, les analyses géométriques brutes attribuent souvent à tort les effets mécaniques de la longueur du chemin à la difficulté du problème ou à l'architecture du modèle, masquant ainsi de savoir si l'entraînement au raisonnement induit des dynamiques internes distinctes.

Méthodologie
Les auteurs emploient une conception expérimentale appariée sur trois domaines : la programmation compétitive (Codeforces), les mathématiques (MATH) et la satisfaisabilité booléenne (SAT).

1. Calibration de la difficulté : Pour établir une échelle de difficulté continue indépendante des étiquettes spécifiques à chaque plateforme, les auteurs ajustent un modèle de Rasch (théorie de la réponse à l'item) en utilisant les performances de 32 modèles sur 1 500 items. Cela produit une variable de difficulté latente ($b_i$) pour chaque problème.
2. Extraction des trajectoires : Les trajectoires d'états cachés sont extraites du flux résiduel à cinq couches régulièrement espacées durant la génération des segments de solution. Pour les modèles de raisonnement, ce segment correspond au bloc de réflexion explicite ; pour les modèles de base entraînés par instruction, il s'agit du texte précédant la limite de réponse détectée.
3. Métriques géométriques : Deux statistiques principales sont calculées :
   • Directivité ($D$) : Le rapport entre le déplacement net et la longueur totale du chemin ($\Delta / L$), mesurant l'efficacité de l'extrémité.
   • Variabilité de la courbure ($V$) : L'écart-type de la courbure de Menger sur des triplets consécutifs, mesurant l'hétérogénéité de la flexion locale.
4. Correction de la longueur : Reconnaissant que la géométrie brute est dominée par la longueur de génération ($N$), les auteurs effectuent une procédure de résiduation. Ils ajustent une régression basée uniquement sur la longueur ($\bar{D} \sim \log N$) pour chaque modèle et chaque couche, puis corrèlent les résidus ($D_\perp$) avec la difficulté de l'item ($b_i$). Cela isole le couplage difficulté-géométrie indépendamment de la longueur du chemin.
5. Analyse comparative : L'étude compare six paires appariées de modèles entraînés au raisonnement (utilisant la distillation R1, SFT+RL ou la distillation o3-mini) par rapport à leurs modèles de base entraînés par instruction.
6. Analyses auxiliaires : Les auteurs utilisent des sondes linéaires pour tester la décodabilité de la difficulté au stade de l'invite et emploient des juges LLM indépendants pour annoter les traces générées en termes de comportements de raisonnement (par exemple, changement de stratégie, surveillance de l'incertitude).

Résultats clés

1. Inversion de signe via la correction de la longueur : Dans les trajectoires brutes, les problèmes plus difficiles semblent moins directs car ils génèrent des chemins plus longs. Après correction de la longueur, cette relation s'inverse dans les trois domaines : les problèmes plus difficiles suscitent des trajectoires corrigées plus directes. Cela indique que la géométrie brute est un artefact structurel de la longueur et non une représentation fidèle de l'organisation du raisonnement.
2. Séparation du raisonnement dépendante du domaine :
   • Programmation compétitive : La distinction la plus nette émerge ici. Les six modèles de raisonnement présentent une forte corrélation positive entre la difficulté et la directivité corrigée ($\rho_{D_\perp} \approx +0,41$), tandis que les modèles de base appariés restent proches de zéro ou négatifs ($\approx -0,06$). Les modèles de raisonnement montrent également une variabilité de courbure réduite sur les problèmes difficiles.
   • Mathématiques : La séparation est plus faible et plus hétérogène ($\rho_{D_\perp} \approx +0,05$ pour les modèles de raisonnement contre $-0,07$ pour les modèles de base).
   • Satisfaisabilité booléenne : Les modèles de raisonnement et les modèles de base montrent tous deux un couplage corrigé positif, suggérant que le couplage difficulté-géométrie peut émerger dans les modèles entraînés par instruction sans entraînement spécifique au raisonnement dans ce domaine.
3. Découplage par rapport aux sondes linéaires : Les sondes linéaires au stade de l'invite ne reflètent pas la séparation modèle de raisonnement/modèle de base observée dans la géométrie corrigée. Dans le domaine du code, l'écart géométrique est important tandis que la différence de décodabilité linéaire de la difficulté est négligeable. Cela suggère que l'effet ne résulte pas simplement d'un accès linéaire plus fort à l'information sur la difficulté, mais d'un changement dans la manière dont la trajectoire évolue durant la génération.
4. Corrélats comportementaux : Un couplage géométrique corrigé plus fort coïncide avec des comportements de raisonnement observables, spécifiquement le « changement de stratégie » et la « surveillance de l'incertitude », en particulier dans les modèles distillés R1. Ces annotations sont des corrélats descriptifs mesurés à partir des mêmes traces, et non des mécanismes causaux.

Signification et affirmations
L'article établit que la longueur de génération est un facteur de confusion structurel dans l'analyse des trajectoires au moment de la génération et que la correction de la longueur est une condition préalable à une interprétation valide. Les auteurs affirment que l'entraînement au raisonnement est associé à une géométrie de trajectoire corrigée distincte, mais que cet effet est dépendant du domaine, étant plus prononcé en programmation compétitive.

Les résultats suggèrent que les modèles de raisonnement ne font pas que « penser plus longtemps » ; ils suivent des trajectoires internes différentes qui deviennent plus directes et moins hétérogènes localement à mesure que la difficulté du problème augmente, spécifiquement dans les domaines nécessitant une sélection complexe de stratégies. L'article postule que ce signal géométrique est complémentaire à la décodabilité linéaire de la difficulté, plutôt qu'une reformulation de celle-ci. Enfin, les auteurs publient une archive à grande échelle de trajectoires associant des chaînes de pensée générées à des trajectoires d'états cachés échantillonnés pour faciliter les recherches futures sur les dynamiques internes du raisonnement.

Limites
Les auteurs reconnaissent que l'analyse identifie une association géométrique robuste plutôt qu'un mécanisme causal. La segmentation des segments de solution repose sur des heuristiques pour les modèles de base, et les annotations comportementales sont des corrélats descriptifs dérivés des mêmes données que la géométrie, excluant toute affirmation causale sur la manière dont des comportements spécifiques génèrent le signal géométrique. De plus, l'échantillonnage à pas fixe peut manquer des structures temporelles plus fines.