Arithmetic OOD Failure Unfolds in Stages in Minimal GPTs

1. Problématique et Contexte

Les benchmarks arithmétiques sont souvent réduits à un score unique de "correspondance exacte" (exact match) sur un ensemble de test maintenu de côté (held-out). L'article identifie une limitation majeure de cette approche : un score unique peut masquer des échecs qualitativement différents. Un modèle peut connaître toutes les règles locales de transition de chiffres nécessaires pour l'addition, mais échouer lorsque la même opération est présentée dans un format différent (changement de mise en page) ou avec une sémantique positionnelle erronée.

L'objectif de l'étude est de répondre à une question plus précise : lorsqu'un GPT minimal entraîné sur l'addition exhaustive à 2 chiffres échoue sur des cas à 3 chiffres, quel est le premier échec, quel est le suivant, et que reste-t-il après chaque réparation ciblée ?

L'auteur postule que l'échec de la généralisation hors distribution (OOD) en arithmétique n'est pas monolithique, mais se déroule en stades séquentiels distincts qui peuvent être isolés expérimentalement.

2. Méthodologie

L'étude utilise un environnement contrôlé ("sandbox") basé sur un GPT minimal (inspiré de l'implémentation éducative microGPT de Karpathy), conçu pour maximiser le contrôle plutôt que l'échelle.

• Données d'entraînement : L'addition exhaustive à 2 chiffres (10 000 paires d'entrées, $100 \times 100$). Cela garantit que toutes les transitions locales de chiffres (règles de base $d_a + d_b + c_{in} \to d_{out}, c_{out}$) sont déjà présentes dans les données d'entraînement.
• Architecture :
  • Études analytiques (position, sonde de retenue, liaison) : Modèle à 1 couche, largeur 16, 4 têtes.
  • Études de pont et résiduelles tardives : Modèle à 2 couches, largeur 32, 4 têtes.
• Stratégie d'évaluation : Au lieu d'un simple test aléatoire, l'évaluation est structurée en "échelles" (ladders) où chaque nouvelle suite ajoute une source de difficulté qualitative spécifique :
  1. Layout-only : Même plage de valeurs (0-99) mais formatée en 3 chiffres (ex: 049+007=0056).
  2. True 3-digit (sans retenue entrante) : Addition réelle à 3 chiffres sans retenue vers les centaines.
  3. True 3-digit (avec retenue entrante) : Addition avec retenue vers les centaines.
  4. Thousands-carry : Cas où la retenue crée un nouveau chiffre de milliers.
• Interventions (Réparations) : Des familles de modèles sont comparées avec des contrôles appariés (volume de données égal) pour tester des hypothèses spécifiques :
  • Exposition mixte au layout : Entraînement sur les rendus 3 chiffres des mêmes sommes.
  • Sondes de retenue ciblées : Ajout de données spécifiques pour corriger la sémantique du chiffre des centaines.
  • Liaison conditionnelle : Entraînement sur la queue inférieure (tens/units) conditionnée par l'état supérieur correct.
  • Correction de signe des dizaines : Interventions spécifiques sur les erreurs de signe liées à la retenue.

3. Contributions Clés et Résultats

L'article décompose l'échec OOD en quatre étapes distinctes, chacune nécessitant une intervention spécifique pour être résolue :

Étape 1 : La Barrière de Mise en Page (Layout Barrier)

• Observation : Un modèle entraîné uniquement sur le format 2 chiffres échoue totalement (score ~0) lorsqu'on lui présente les mêmes nombres en format 3 chiffres, même si les règles locales sont connues.
• Résultat : Les biais positionnels inductifs (comme les positions relatives ou la symétrie) ne suffisent pas à corriger cela. Seule l'exposition mixte au layout (voir les rendus 3 chiffres pendant l'entraînement) affaiblit significativement cette barrière.
• Conclusion : Le modèle ne comprend pas le rôle des positions absolues dans un nouveau format sans avoir vu ce format.

Étape 2 : L'Erreur Sémantique de Retenue (Carry-Semantics Barrier)

• Observation : Une fois le layout corrigé, le modèle traite la position des centaines non pas comme un chiffre de valeur positionnelle, mais comme un drapeau de retenue (carry flag).
• Preuve : Les sondes de logits montrent que le modèle favorise massivement le "chiffre drapeau" (indiquant une retenue) par rapport au vrai chiffre.
• Résultat : Une intervention ciblée (sondes de retenue) inverse la marge de logits et corrige la sémantique. Un contrôle avec des données supplémentaires non ciblées n'a aucun effet, prouvant que le problème est sémantique, pas juste un manque de données.

Étape 3 : Le Goulot d'Étranglement de Recomposition Conditionnelle

• Observation : Après la correction de la retenue, le modèle obtient souvent les deux chiffres supérieurs (centaines et milliers) corrects, mais échoue à attacher la bonne "queue" inférieure (dizaines et unités).
• Résultat : L'ajout de données "queue seule" aide, mais l'ajout de données conditionnées par l'état supérieur correct (high-conditioned tail) est décisif. Cela améliore considérablement la probabilité $P(\text{exact} | \text{high2 correct})$.
• Conclusion : Le problème n'est pas le bruit des chiffres inférieurs, mais l'incapacité à recomposer la séquence complète une fois l'état supérieur stabilisé.

Étape 4 : Le Résidu Tardif Conditionné par la Retenue (Late Tens-Residual)

• Observation : Une fois la recomposition résolue, les erreurs restantes sont extrêmement localisées : des erreurs sur le chiffre des dizaines, dépendant systématiquement de l'état de la retenue ($c_2$).
  • Si $c_2 = 0$ : Le modèle a tendance à sous-estimer la dizaine.
  • Si $c_2 = 1$ : Le modèle a tendance à surestimer la dizaine.
• Résultat : Une intervention de "polarité des dizaines" (tenspolarity) corrige ce biais de signe, faisant passer le score exact sur les cas les plus difficiles (retenue vers milliers) de 0,664 à 0,822.

4. Signification et Implications

• Décomposition Expérimentale : L'article démontre que l'échec de la généralisation arithmétique n'est pas un phénomène unique, mais une séquence de barrières (Layout $\to$ Sémantique $\to$ Recomposition $\to$ Résidu conditionnel). Chaque barrière peut être isolée et réparée indépendamment.
• Limites des Scores Uniques : Un score global d'exactitude masque ces mécanismes. Un modèle peut sembler performant sur un aspect tout en échouant catastrophiquement sur un autre, rendant les diagnostics basés sur des scores globaux insuffisants.
• Méthodologie pour l'IA : L'étude plaide pour des benchmarks arithmétiques conçus comme des "laboratoires contrôlés" où chaque suite de test ajoute une difficulté spécifique. Cela permet de comprendre quoi échoue et pourquoi, plutôt que de simplement mesurer si cela échoue.
• Généralisation : Cette approche de décomposition par étapes pourrait s'appliquer à d'autres tâches algorithmiques où la couverture des règles locales est facile à saturer, mais où la recomposition correcte sur de nouvelles longueurs ou structures reste difficile.

En résumé, ce papier fournit une "anatomie" fine de l'échec de la généralisation dans les modèles de langage minimaux, transformant un problème d'évaluation opaque en une série de claims testables et réparables.