Résumé technique : Les modèles de langage sont des apprenants symboliques en arithmétique

Énoncé du problème

Le débat prédominant concernant la capacité des modèles de langage (LM) à effectuer des calculs arithmétiques se concentre sur la question de savoir si ces modèles apprennent réellement des algorithmes de calcul ou s'ils se contentent de maîtriser un appariement de motifs superficiels. Alors que les modèles de pointe ont atteint un point de saturation sur des benchmarks comme GSM8K, il reste incertain de savoir s'ils possèdent un véritable raisonnement numérique ou si leur succès est une « illusion élaborée » tissée à partir de motifs statistiques dans les données d'entraînement. Cet article soutient cette seconde hypothèse, postulant que les LM agissent comme des « apprenants symboliques gourmands » qui privilégient les raccourcis les plus simples possibles pour s'adapter aux statistiques du jeu de données plutôt que d'apprendre l'algorithme abstrait de la multiplication.

Méthodologie : Induction de sous-groupes

Pour étudier cette hypothèse, les auteurs introduisent l'Induction de sous-groupes, un cadre pratique adapté de l'Induction de Solomonoff (SI). La SI est un cadre théorique de prédiction optimale qui combine la calculabilité et les principes bayésiens, privilégiant les hypothèses les plus simples (le Rasoir d'Occam) via la complexité de Kolmogorov.

Les auteurs adaptent les principes de la SI au contexte concret de l'apprentissage arithmétique en définissant un sous-groupe comme l'unité de base d'analyse. Un sous-groupe $s$ est une application minimale d'un sous-ensemble de chiffres d'entrée ($A, B$) vers un chiffre de sortie unique ($C$). Le cadre analyse les problèmes arithmétiques en les décomposant en ces sous-groupes afin d'identifier les « raccourcis » utilisés par les LM.

Deux mesures complémentaires sont proposées pour mesurer la complexité des sous-groupes :

1. Qualité du sous-groupe ($Q(s)$) : Mesure la viabilité d'un raccourci en calculant la précision de la prédiction d'un chiffre de sortie en utilisant uniquement un sous-ensemble spécifique de jetons d'entrée (en masquant les autres à zéro). Un $Q(s)$ élevé indique un raccourci fiable nécessitant peu de jetons.
2. Entropie du sous-groupe ($H(s)$) : Mesure l'ambiguïté ou la variabilité inhérente des étiquettes de sortie au sein de l'espace d'étiquettes d'un sous-groupe. Elle sert d'outil de calcul efficace pour l'estimation de l'erreur et l'analyse des chemins de raisonnement.

Les auteurs considèrent le choix des jetons d'entrée par le LM comme un processus de sélection d'hypothèses. Ils émettent l'hypothèse que les LM suivent une recherche par « arbre de budget de jetons », apprenant d'abord les raccourcis de haute qualité nécessitant peu de jetons, puis incorporant progressivement des motifs plus complexes à plusieurs jetons uniquement lorsqu'ils y sont contraints par l'objectif d'apprentissage.

Résultats clés

1. Le profil de précision en forme de U

Des expériences sur la multiplication multi-chiffres (de 3 à 5 chiffres) utilisant Gemma-2-2B et Llama-3.1-8B révèlent une courbe de précision distincte en forme de U.

• Observation : Les modèles maîtrisent rapidement le premier (le plus significatif) et le dernier (le moins significatif) chiffre de sortie, atteignant une précision >95 %. À l'inverse, la précision chute drastiquement (à environ 10 %) pour les chiffres situés au milieu de la séquence.
• Corrélation : Cette forme en U n'est pas fortuite ; elle reflète parfaitement la Qualité du sous-groupe ($Q(s)$) des sous-groupes les plus simples.
  • Bords : Le chiffre le moins significatif dépend uniquement des derniers chiffres d'entrée (ex: $A_2 \times B_2$), et le chiffre le plus significatif est contraint par des estimations de grandeur utilisant les chiffres de tête. Ces positions requièrent peu de jetons (faible $k$) et présentent un $Q(s)$ élevé.
  • Milieu : Les chiffres du milieu nécessitent l'intégration de termes croisés et de retenues provenant de nombreux chiffres d'entrée. Les sous-groupes à faible nombre de jetons pour ces positions ont un $Q(s)$ faible, forçant le modèle à apprendre des correspondances plus complexes à plus de jetons plus tard dans l'entraînement.

2. Dynamique d'apprentissage comme recherche dans un arbre

Les auteurs interprètent la dynamique d'entraînement comme une recherche dans un « arbre de budget de jetons ».

• Phase 1 : Le modèle ajuste rapidement les « feuilles » faciles de l'arbre (chiffres de bord) en utilisant un minimum de jetons.
• Phase 2-n : À mesure que les erreurs résiduelles persistent dans les positions centrales, les gradients poussent le modèle à incorporer des sous-groupes plus larges (plus de jetons) pour résoudre l'ambiguïté.
• Conclusion : Les LM n'apprennent pas l'algorithme de la multiplication dans son ensemble ; ils apprennent une hiérarchie de correspondances symbole-à-symbole, en commençant par le chemin de moindre résistance.

3. Entropie du sous-groupe et Chaîne de pensée (CoT)

Le document étend le cadre au raisonnement par Chaîne de pensée (Chain-of-Thought, CoT) :

• Estimation de l'erreur : L'entropie du sous- groupe ($H(s)$) est fortement corrélée à la performance du modèle. Les tâches ayant une entropie agrégée plus faible (ex: arithmétique modulaire avec des modules plus petits) produisent une meilleure précision.
• Optimisation de la CoT : Dans un contexte de CoT, la décomposition d'un problème de multiplication en étapes (ex: Multiplication Égyptienne vs Multiplication Standard) affecte la performance. L'étude démontre que les chemins de CoT présentant l'entropie de sous-groupe agrégée la plus faible obtiennent systématiquement la meilleure précision. Cela suggère que les LM préfèrent les stratégies de raisonnement composées de la séquence de raccourcis symboliques les plus faciles.

Principales contributions

1. Cadre d'induction de sous-groupes : Un nouveau cadre pratique dérivé de l'Induction de Solomonoff pour analyser les mécanismes d'apprentissage des LM en arithmétique en les décomposant en correspondances minimales entrée-sortie.
2. Découverte de la précision en forme de U : Identification d'un profil de précision constant en forme de U dans la multiplication multi-chiffres, fournissant une preuve empirique que les LM peinent avec les interdépendances complexes des chiffres centraux tout en maîtrisant les chiffres de bord via des raccourcis simples.
3. Explication du mécanisme : Démonstration que la forme en U est une conséquence directe de la hiérarchie du « budget de jetons », où les modèles privilégient les raccourcis à faible nombre de jetons et de haute qualité (Rasoir d'Occam) avant d'apprendre des motifs complexes.
4. L'entropie comme métrique : Introduction de l'Entropie du sous-groupe comme une métrique calculable et efficace pour estimer les limites d'erreur et évaluer la complexité des chemins de raisonnement dans les contextes de CoT.

Signification et affirmations

L'article affirme que le chemin vers la maîtrise de l'arithmétique pour les LM ne passe pas par la découverte d'algorithmes abstraits, mais par une cascade de raccourcis symboliques simples appris de manière hiérarchique.

• Implication pour la fiabilité : Les résultats suggèrent que les LM ne développent pas un véritable raisonnement numérique, mais plutôt une capacité sophistiquée de reconnaissance de formes qui est fragile face à des scénarios hors distribution (out-of-distribution) où les raccourcis simples échouent (ex: calculs des chiffres centraux dans des multiplications complexes).
• Pont théorique : Ce travail fait le pont entre la prédiction universelle théorique (Induction de Solomonoff) et les architectures neuronales modernes, offrant une perspective pour comprendre comment les LM apprennent plutôt que simplement ce qu'ils accomplissent.
• Utilité pratique : Le cadre fournit des outils (Qualité du sous-groupe et Entropie) pour diagnostiquer les goulots d'étranglement de l'apprentissage et optimiser les stratégies d'entraînement, comme la préparation de données pour révéler les jetons nécessaires aux chiffres du milieu ou la conception de chemins de CoT qui minimisent la complexité symbolique.

Les auteurs concluent que comprendre les LM en tant qu'apprenants symboliques gourmands est crucial pour développer une IA de raisonnement fiable, car cela met en évidence les limites des modèles actuels pour traiter des tâches qui ne peuvent être décomposées en correspondances simples à faible nombre de jetons.