Nothing from Something: Can a Language Model Discover 0?

Résumé technique : Rien à partir de quelque chose : un modèle de langage peut-il découvrir le 0 ?

Énoncé du problème
L'article étudie la capacité des réseaux de neurones artificiels à effectuer une généralisation « hors distribution » (out-of-distribution), plus précisément la capacité d'hypothétiser et d'apprendre de nouvelles structures mathématiques authentiques non présentes dans leurs données d'entraînement. Bien que les modèles de langage de grande taille (LLM) récents aient atteint des performances élevées sur des benchmarks mathématiques complexes (ex. : IMO, Putnam), ces succès reposent largement sur des données d'entraînement qui reflètent la complexité et le contenu des problèmes de test. Les auteurs postulent que la véritable découverte mathématique nécessite qu'un système comble un fossé conceptuel — passer d'un univers de concepts à un univers contenant des concepts plus puissants. En utilisant l'introduction du nombre « zéro » comme étude de cas, l'article pose la question suivante : un modèle entraîné exclusivement sur l'arithmétique des chiffres uniques positifs peut-il généraliser pour inclure le zéro, et le pré-entraînement linguistique facilite-t-il ce saut ?

Méthodologie
Les auteurs utilisent une configuration expérimentale contrôlée utilisant des transformeurs de type décodeur GPT (plus précisément des architectures de la taille de GPT-2).

• Modèles : Deux configurations principales ont été testées : un petit modèle (4 couches, dimension d'embedding de 128, ~800K paramètres) et un modèle plus grand (12 couches, dimension d'embedding de 768, ~124M paramètres). Ils ont été évalués sous quatre conditions : (1) pré-entraînés sur l'OpenWebText non filtré, (2) pré-entraînés sur un corpus OpenWebText filtré (dépouillé de nombres et de symboles mathématiques), (3) pré-entraînés sur des données non filtrées mais sans l'entraînement mathématique spécifique, et (4) sans aucun pré-entraînement.
• Construction des données :
  • Tâche arithmétique : Les modèles ont été entraînés sur des problèmes d'addition et de soustraction de chiffres uniques de longueurs variables (2 à 4 opérandes).
  • Stratégie de rétention du zéro (Zero-Holdout) : Les ensembles d'entraînement et de validation ne contenaient que des problèmes où le zéro n'apparaissait ni comme opérande ni comme résultat (sauf dans l'unité des nombres à plusieurs chiffres comme « 10 »). L'ensemble de test consistait entièrement en des problèmes nécessitant le zéro (ex. : « 3-3=0 » ou « 0+5=5 »).
  • Tokenisation : Un schéma de tokenisation manuel personnalisé a été utilisé où chaque chiffre et symbole est un token distinct. Cela garantit que le modèle traite le « 0 » comme un token spécifique plutôt que comme une partie d'un token entier plus large.
  • Pré-entraînement linguistique : Pour garantir que les modèles « filtrés » n'avaient aucune exposition préalable à l'arithmétique, les auteurs ont élaboré une version d'OpenWebText en supprimant tous les caractères de langage naturel non textuels, en convertissant les nombres en mots et en filtrant les symboles mathématiques. Des vérifications de perplexité ont confirmé que ces modèles étaient peu familiers avec les tokens arithmétiques avant l'entraînement arithmétique spécifique.
• Conception expérimentale :
  1. Généralisation zero-shot : Les modèles entraînés sur l'arithmétique de nombres positifs uniquement ont été testés sur des problèmes incluant le zéro.
  2. Apprentissage few-shot : Une petite fraction des données d'entraînement (allant de 1 à 1024 exemples) a été remplacée par des problèmes incluant le zéro pour mesurer l'efficacité de l'échantillonnage.
  3. Expériences de contrôle : La procédure de rétention du zéro a été répétée pour les chiffres 1 à 9 (et 1 à 7 dans un contexte de base 8) pour déterminer si le zéro est exceptionnellement difficile à généraliser.

Résultats clés

1. Échec de la généralisation zero-shot : Indépendamment du pré-entraînement linguistique ou de la taille du modèle, les modèles de la taille de GPT-2 ont échoué à généraliser vers le zéro lorsqu'il était totalement absent de la distribution d'entraînement. Même lorsque la perte d'entraînement diminuait et que la précision de validation saturait, la précision de test sur les problèmes incluant le zéro restait au niveau du hasard.
2. Impact des données few-shot : Lorsqu'un petit nombre d'exemples incluant le zéro a été introduit dans l'ensemble d'entraînement, les performances du modèle se sont considérablement améliorées.
   • Pour le modèle pré-entraîné linguistiquement, seulement 64 exemples (0.64% des données d'entraînement) ont produit une précision >60%, et 1024 exemples (>90% de précision).
   • Efficacité de l'échantillonnage : Le pré-entraînement linguistique a réduit le nombre d'exemples requis pour le few-shot d'environ 50% par rapport aux modèles sans pré-entraînement. Cela suggère que les capacités linguistiques agissent comme un échafaudage pour la découverte mathématique.
3. Le zéro est spécial : La difficulté de généralisation variait selon le chiffre. Les chiffres situés au milieu de la plage (ex. : 4, 5) étaient plus faciles à généraliser que le zéro ou le chiffre de la retenue (9 en base 10, 7 en base 8).
   • L'analyse des vecteurs d'embedding a révélé que les représentations pour 0 et 9 ont moins de « voisins proches » (chiffres ayant une forte similitude cosinus) que les chiffres du milieu. Cela soutient l'hypothèse que les modèles peinent à extrapoler vers des chiffres possédant des voisins représentationnels clairsemés.
4. Limites de mise à l'échelle (Scaling) : Les expériences avec des modèles plus grands de 1 milliard de paramètres en open-source (inclus dans l'annexe) ont également échoué à découvrir le zéro au moment du test sans exposition explicite, suggérant que la mise à l'échelle seule ne résout pas ce problème spécifique de généralisation.

Signification et affirmations
L'article affirme fournir un benchmark rigoureux pour la « généralisation conceptuelle » dans les modèles neuronaux, distinct de la généralisation compositionnelle. Les auteurs concluent que :

• Les modèles GPT-2 actuels ne peuvent pas découvrir spontanément le concept de zéro par l'entraînement arithmétique seul ; ils nécessitent une exposition explicite.
• Le pré-entraînement linguistique ne permet pas la découverte zero-shot mais accélère considérablement le processus d'apprentissage une fois le concept introduit, réduisant l'exigence de données d'environ la moitié.
• Cette découverte est parallèle aux théories de la science cognitive (ex. : Carey, 2009) suggérant que les capacités linguistiques servent d'échafaudage à l'évolution des concepts formels dans la cognition humaine.
• La difficulté de généraliser vers le zéro (et le chiffre de la retenue) met en évidence une limite dans la capacité des modèles à extrapoler au-delà de l'« interpolation » des représentations de tokens existantes.

Les auteurs maintiennent une position modeste, notant que bien que ces résultats éclairent les mécanismes de la généralisation dans l'arithmétique simple, ils ne démontrent pas encore la capacité de l'IA à générer indépendamment des preuves mathématiques complexes et novatrices. Ce travail sert d'étape fondamentale pour comprendre comment mesurer et potentiellement permettre une véritable découverte mathématique dans les systèmes d'IA.