Résumé Technique : La Forme de l'Addition : Structures Géométriques de l'Arithmétique dans les Grands Modèles de Langage

1. Énoncé du Problème

Malgré des performances élevées sur des tests de raisonnement mathématique complexes (ex. GSM8K, MATH), les Grands Modèles de Langage (LLM) présentent une fragilité surprenante concernant les primitives algorithmiques fondamentales, particulièrement l'arithmétique multi-chiffres. Un paradoxe central existe : les modèles encodent souvent l'information correcte en interne mais échouent à la produire en sortie, commettant fréquemment des erreurs de type « décalage d'une unité » (off-by-one) à mesure que le nombre d'opérandes augmente. Les recherches antérieures ont tenté de modéliser ces comportements via la manipulation symbolique ou des représentations géométriques, mais le mécanisme précis reliant les géométries d'activation internes à des échecs de sortie spécifiques (tels que les erreurs de propagation de retenue) reste élusive. De plus, bien que des sondes légères puissent décoder la vérité terrain à partir de modèles défaillants, la structure géométrique permettant à la vérité terrain et à l'hallucination de coexister au sein d'un même vecteur d'activation n'a pas encore été pleinement élucidée.

2. Méthodologie

Les auteurs étudient les représentations internes fines des LLM effectuant l'addition de trois termes d'entiers à 10 chiffres. L'étude emploie une approche multidimensionnelle combinant réduction de dimensionnalité, sondage et intervention causale :

• Jeu de données et configuration : Utilisant le modèle Qwen3-4B, les auteurs ont construit un jeu de données de 10 000 problèmes d'addition. Ils extraient les vecteurs d'état caché ($h_p^{(L)}$) de la dernière couche à chaque position de chiffre générée, se concentrant principalement sur une position médiane représentative ($p=4$).
• Visualisation géométrique : Les espaces d'activation de haute dimension sont projetés en 2D via UMAP (Uniform Manifold Approximation and Projection) avec une distance cosinus. La visualisation inclut des vecteurs « Ancres » fixes pour les jetons de chiffres (0–9) afin de fournir une référence sémantique.
• Cadre de sondage (Probing) : Des sondes légères (régression logistique, MLP) sont entraînées sur les activations du flux résiduel pour décoder diverses variables discrètes et continues, incluant les Chiffres de Vérité Terrain, la Sortie du Modèle, la Retenue d'Entrée, la Somme Brute, et une variable continue nouvellement définie appelée « Potentiel de Retenue ».
• Pilotage causal (Causal Steering) : Pour valider les hypothèses géométriques, les auteurs définissent des vecteurs de pilotage entre des centroïdes stables sur des trajectoires identifiées et interviennent sur les activations pour observer les changements dans les jetons générés.
• Correction au moment de l'inférence : Une méthode de vérification de cohérence à double flux est proposée pour détecter et corriger les erreurs en imposant un alignement logique entre les signaux locaux décodés (Somme Brute) et globaux (Potentiel de Retenue).

3. Principaux Résultats et Contributions

A. La Trajectoire Iso-Somme-Brute (IRST)

La principale découverte géométrique est la Trajectoire Iso-Somme-Brute (IRST). Les auteurs identifient que les représentations arithmétiques sont organisées en une structure hiérarchique :

• Épine dorsale macroscopique : Les représentations sont regroupées en dix « bassins de chiffres » distincts centrés autour d'ancres sémantiques (0–9).
• Texture microscopique : À l'intérieur de chaque bassin, l'espace est stratifié en fibres parallèles déterminées par l'état de la retenue d'entrée ($c_p \in \{0, 1, 2\}$).
• Définition de la trajectoire : Une IRST ($T_r$) est une variété continue connectant tous les états internes partageant la même somme brute ($r_p$). Ces trajectoires agissent comme des « fils » continus perçant à travers les bassins de chiffres adjacents. Par exemple, une trajectoire avec $r_p=1$ connecte des nœuds stables correspondant aux chiffres de sortie 1, 2 et 3 à mesure que la retenue d'entrée augmente.

B. Les Erreurs Arithmétiques comme Glissements Géométriques

Les erreurs arithmétiques sont caractérisées non pas comme du bruit aléatoire, mais comme des Glissements Géométriques.

• Les prédictions correctes se regroupent densément autour de nœuds stables au sein des bassins de chiffres.
• Les erreurs surviennent lorsque les vecteurs d'activation dérivent le long d'une IRST vers les zones de transition entre les bassins ou les fibres.
• Cette dérive se manifeste par des erreurs de « décalage d'une unité » où le modèle confond des états de retenue adjacents (par exemple, confondre $c_p=0$ avec $c_p=1$), provoquant le glissement de la représentation d'un bassin de chiffres vers un autre.

C. Le Modèle de Quantification Bruyante

Pour expliquer la continuité de ces trajectoires, les auteurs proposent le Modèle de Quantification Bruyante :

• Potentiel de Retenue Continu ($\Phi$) : Le modèle estime en interne un « Potiel de Retenue » continu, représentant l'impulsion ou la force du signal de retenue dérivé du contexte. La retenue discrète de vérité terrain est la partie entière de ce potentiel ($c_p = \lfloor \Phi \rfloor$).
• Échec de Quantification : L'estimation interne du modèle est corrompue par le bruit neuronal ($\epsilon$). Les erreurs surviennent lorsque ce bruit pousse le potentiel perçu ($\hat{\Phi} = \Phi + \epsilon$) au-delà d'un seuil de quantification entier.
• Distribution d'Erreur en Forme de Baignoire : Ce mécanisme prédit une distribution d'erreur périodique en « baignoire », où les taux d'erreur augmentent près des frontières entières (métastabilité) et disparaissent aux valeurs de demi-entiers (plateaux robustes). Les données empiriques confirment ce schéma, permettant l'estimation du niveau de bruit cognitif interne du modèle ($\sigma \approx 0,05$ pour l'addition de 3 termes).

D. Origine Géométrique de la Polyvalence des Sondes

L'article fournit une explication géométrique à la raison pour laquelle des sondes légères peuvent simultanément décoder divers signaux (Vérité Terrain, Sortie du Modèle, Retenue) à partir d'un seul vecteur. Cette « polyvalence des sondes » est une fonction directe de la séparabilité topologique de la variété. La haute séparabilité de la Somme Brute et la nature structurée des fibres IRST permettent aux sondes de démêler des signaux latents coexistants, même lorsque la sortie finale est erronée.

E. Autocorrection au Moment de l'Inférence

Pour valider la rétention des signaux latents corrects, les auteurs introduisent un Protocole de Cohérence à Double Flux :

1. Décoder le Flux de Calcul Local (Somme Brute) et le Flux de Contexte Global (Potentiel de Retenue).
2. Vérifier si la sortie du modèle est cohérente avec toute retenue plausible dérivée du voisinage du potentiel.
3. Si elle est incohérente, remplacer la sortie des logits pour projeter l'état sur la fibre de la variété correcte.
   Cette méthode améliore significativement les performances (augmentant par exemple la précision des jetons de 86,26 % à 89,56 % sur Qwen3-4B), confirmant que le modèle conserve les composants mathématiques corrects même lorsque la sélection du jeton discret échoue.

4. Résultats

• Visualisation : Les projections UMAP révèlent une structure hiérarchique claire avec des bassins de chiffres et des fibres de retenue stratifiées, cohérente à travers différents modèles (Qwen3-4B, Qwen3-8B, Gemma-3-4B-IT) et complexités de tâches (addition de 3 à 5 termes).
• Modélisation de l'erreur : Le Modèle de Quantification Bruyante s'ajuste à la distribution d'erreur empirique avec une grande fidélité ($R^2 \approx 0,80$), prédisant avec précision la nature périodique des erreurs.
• Validation Causale : Les expériences de pilotage démontrent que déplacer les représentations le long de la direction de l'IRST change causalement le chiffre généré, les états adjacents aux frontières nécessitant des perturbations plus faibles pour basculer que les états stables.
• Efficacité de la Correction : Le contrôle de cohérence à double flux corrige efficacement les glissements géométriques, la majorité des erreurs corrigées étant des cas de décalage d'une unité. Les études d'ablation confirment que le signal de la somme brute locale reste robuste même lorsque la sortie est fausse, isolant le potentiel de retenue bruité comme le principal goulot d'étranglement.

5. Signification et Revendications

L'article affirme fournir une explication géométrique mécaniste des échecs arithmétiques dans les LLM, dépassant la vision de l'arithmétique comme simple manipulation symbolique ou transitions d'états discrets.

• Cadre Unifié : Il unifie l'observation de la polyvalence des sondes et de la fragilité arithmétique sous un cadre géométrique unique où les erreurs sont des dérives continues sur une variété.
• Rétention du Signal Latent : Il démontre que les LLM maintiennent souvent des représentations continues correctes (Potentiel de Retenue) même lorsqu'ils échouent à produire la sortie discrète correcte, suggérant que les hallucinations en arithmétique sont souvent des échements de quantification plutôt qu'un manque de connaissance.
• Universalité : La géométrie de l'IRST et la dynamique de la Quantification Bruyante sont observées à travers différentes architectures et échelles de modèles, suggérant un mécanisme convergent pour la représentation arithmétique dans les LLM de pointe.
• Intervention Pratique : Ce travail valide que les interventions au moment de l'inférence basées sur la cohérence interne peuvent restaurer les performances, offrant une voie pour améliorer la fiabilité des LLM en stabilisant la correspondance entre les pensées neurales continues et les sorties symboliques discrètes.

Les auteurs restent modestes, notant que leurs preuves actuelles combinent visualisation et sondage plutôt qu'une localisation complète au niveau du circuit, et que l'accent est mis principalement sur l'addition. Ils suggèrent que les modèles basés sur le BPE avec des jetons multi-chiffres pourraient avoir des signaux de retenue entrelacés, présentant une frontière pour la recherche future.