Résumé Technique : Représentations Numériques Sensibles à la Valeur pour les Modèles de Langage Transformer

Énoncé du Problème

Les modèles de langage à grande échelle (LLM) basés sur l'architecture Transformer démontrent fréquemment de fortes performances sur des tests de raisonnement mathématique complexes, tout en restant fragiles face à la compréhension numérique de base et aux opérations arithmétiques. La limitation fondamentale identifiée est que les LLM standards traitent les nombres comme des jetons symboliques (des séquences de caractères ou de sous-mots) dont les plongements (embeddings) sont appris uniquement à partir de statistiques de cooccurrence de jetons. Par conséquent, les modèles manquent d'une représentation explicite et continue de la magnitude numérique. Cela conduit à des erreurs systématiques dans les tâches nécessitant la comparaison, l'ordonnancement et l'arithmétique, particulièrement lorsque la longueur des entrées numériques augmente. L'article soutient que les approches actuelles axées sur le « raisonnement intensif » (par exemple, la Chaîne de Pensée ou Chain-of-Thought) masquent souvent ces faiblesses fondamentales en générant de longues étapes intermédiaires, mais qu'elles ne résolvent pas le problème sous-jacent : le fait que les modèles ne « savent » pas intrinsèquement ce qu'un nombre représente.

Méthodologie

Les auteurs proposent une représentation numérique sensible à la valeur qui augmente les entrées tokenisées standards par un jeton de préfixe dédié, noté <num>, inséré immédiatement avant les jetons de forme de surface des nombres.

Architecture et Mécanisme

1. Plongement Conditionné par la Valeur : Contrairement aux jetons standards, l'embedding du jeton <num> n'est pas fixe. Au lieu de cela, il est calculé comme une fonction $f(x)$ de la valeur numérique sous-jacente $x$.

   • Phase d'Entraînement : La véritable valeur numérique $x$ est disponible. Un module d'embedding apprenable (soit un encodeur à point fixe basé sur un MLP, soit un encodeur récurrent basé sur un RNN) calcule $f(x)$. Cet embedding est injecté dans la séquence d'entrée du modèle aux côtés des embeddings de jetons standards.
   • Phase d'Inférence : La véritable valeur $x$ n'est pas disponible. Une tête de projection cartographie l'état caché $h$ précédant le jeton <num> vers un espace d'embedding, approximant l'embedding basé sur la valeur ($proj(h) \approx f(x)$). Cet embedding projeté conditionne la génération des jetons numériques suivants.

2. Variantes du Module d'Embedding :

   • Basée sur le MLP : Représente les parties entières et fractionnaires comme des vecteurs décimaux de longueur fixe, concaténés avec des caractéristiques auxiliaires (signe, nombre de chiffres, décimales), et projetés via une couche de propagation vers l'avant (feed-forward).
   • Basée sur le RNN : Traite les parties entières et fractionnaires indépendamment à l'aide d'unités récurrentes à portes (GRU), permettant des séquences de longueur variable et une précision arbitraire, suivies d'une concaténation avec des caractéristiques auxiliaires et d'une projection linéaire.

3. Objectif d'Entraînement : Pour traiter le décalage entre l'entraînement et le test (où le modèle « triche » en voyant la vraie valeur pendant l'entraînement mais doit la prédire pendant l'inférence), les auteurs utilisent une fonction de perte composite :

   • Perte de Modélisation de Langage Standard ($L_{LM}^{emb}$) : Entraîne le modèle en utilisant le véritable embedding basé sur la valeur $f(x)$.
   • Perte de Modélisation de Langage Projetée ($L_{LM}^{proj}$) : Entraîne le modèle en utilisant l'état caché projeté $proj(h)$ pour simuler les conditions d'inférence.
   • Perte de Reconstruction ($L_{rec}$) : Minimise la distance cosinus entre l'état caché projeté et le véritable embedding basé sur la valeur pour forcer l'alignement.
   • La perte totale est une somme pondérée : $L = L_{LM}^{emb} + L_{LM}^{proj} + \lambda L_{rec}$.

Principales Contributions

1. Mécanisme d'Encodage Novateur : La proposition d'un jeton de préfixe sensible à la valeur dont l'embedding est explicitement conditionné par la valeur numérique, découplant la représentation de la magnitude de la tokenisation de la forme de surface.
2. Validation Empirique : Démonstration que cette approche améliore systématiquement les performances sur un benchmark conçu pour isoler la compétence arithmétique, surpassant les bases solides sous des conditions d'entraînement et d'inférence identiques.
3. Compatibilité Architecturale : La méthode nécessite des modifications minimales et est directement applicable à toute architecture Transformer de type décodeur seul sans modifier les tokeniseurs ou les mécanismes de génération existants.
4. Open Source : L'implémentation complète, incluant les changements architecturaux, le code d'entraînement et les scripts d'évaluation, est publiée pour soutenir la reproductibilité.

Résultats Expérimentaux

L'approche a été évaluée sur le benchmark NUPA (Yang et al., 2024), qui isole les compétences numériques fondamentales à travers les entiers, les nombres à virgule flottante, les fractions et la notation scientifique.

• Bases de Comparaison (Baselines) : Comparée à un Transformer Standard (autorégressif, uniquement par jetons) et à Numerologic (Schwartz et al., 2024), une méthode qui utilise des descriptions en langage naturel de la magnitude (par exemple, le nombre de chiffres) comme entrée auxiliaire.
• Performances :
  • Les modèles proposés NumValue-RNN et NumValue-MLP ont atteint une précision de correspondance exacte (Exact Match) de 0,724 et 0,720, respectivement, contre 0,687 pour le Transformer Standard et 0,633 pour Numerologic.
  • Des améliorations ont été observées pour tous les formats numériques, types de tâches (arithmétique, comparaison, conversion) et longueurs d'opérandes (jusqu'à 7 chiffres).
  • La variante basée sur le RNN a montré des scores de correspondance exacte légèrement plus élevés, attribués à sa capacité à gérer des séquences de longueur variable, tandis que la variante MLP a montré une performance marginalement meilleure sur l'alignement des chiffres et l'estimation de la longueur.
• Robustesse : L'écart de performance entre la méthode proposée et les bases de comparaison est resté constant ou s'est élargi à mesure que le nombre de chiffres augmentait, indiquant une robustesse améliorée à l'échelle des entrées.

Signification et Revendications

L'article affirme qu'encoder explicitement la valeur numérique est un moyen efficace et efficient d'améliorer la robustesse numérique fondamentale des modèles de langage. En injectant l'information de magnitude directement dans l'espace d'entrée, l'approche traite la cause profonde des erreurs numériques de base plutôt que de les compenser par des chaînes de raisonnement étendues.

Les auteurs soulignent que leur méthode offre une alternative légère aux stratégies gourmandes en raisonnement. Ils soutiennent que la compétence numérique est une capacité distincte qui nécessite une représentation explicite, et non simplement un sous-produit d'un meilleur raisonnement. Les résultats suggèrent que traiter les nombres comme des mesures continues plutôt que comme des jetons symboliques discrets améliore considérablement la capacité des modèles à raisonner sur des quantités numériques.

Limites Notées par les Auteurs :

• L'évaluation est menée au niveau prototype en utilisant des modèles entraînés de zéro sur un benchmark contraint ; les résultats peuvent ne pas refléter pleinement les performances des grands modèles pré-entraînés dans des scénarios complexes de suivi d'instructions.
• La méthode entraîne un coût d'entraînement plus élevé en raison de la nécessité de deux passages vers l'avant par exemple (un pour la projection, un pour le décodage), bien que cela n'affecte pas la latence d'inférence.
• Aucun réglage d'hyperparamètres dédié n'a été effectué, ce qui peut impacter les métriques de performance absolues mais ne modifie pas les comparaisons relatives.