💻 computer science

To See the Unseen: on the Generalization Ability of Transformers in Symbolic Reasoning

Cette étude démontre que l'incapacité des transformateurs à généraliser le raisonnement symbolique à des tokens non vus est causée par un effondrement de leurs représentations, et propose une combinaison de techniques architecturales et d'entraînement pour surmonter ce problème, phénomène également observé dans les modèles Gemma 3.

Auteurs originaux : Nevena Lazić, Liam Fowl, András György, Csaba Szepesvári

Publié 2026-04-24

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Nevena Lazić, Liam Fowl, András György, Csaba Szepesvári

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🧠 Le Problème : Les IA qui oublient les nouveaux noms

Imaginez que vous apprenez à un élève très intelligent (une Intelligence Artificielle) à résoudre des énigmes logiques. Vous lui donnez des règles comme : "Si A, alors B". Si vous lui dites "A est vrai", il déduit facilement "B est vrai".

Jusque-là, tout va bien. Mais voici le piège : si vous changez les noms et lui dites "Si Zorglub, alors Mystère", l'élève panique. Il ne sait plus quoi faire. Pourquoi ? Parce qu'il a appris à mémoriser les noms spécifiques (A, B, C) plutôt que la logique derrière. Si un nom lui est inconnu, il a tendance à l'ignorer ou à le remplacer par un nom qu'il connaît déjà, comme s'il disait : "Je ne connais pas Zorglub, donc je vais parler de Pierre à la place."

C'est ce que les chercheurs appellent un échec de généralisation. L'IA est trop collée à ce qu'elle a vu pendant son entraînement et ne sait pas s'adapter à l'inconnu.

🔍 La Découverte : La "Pile de Cartes" qui s'effondre

Les chercheurs ont découvert pourquoi cela arrive. C'est là que l'histoire devient fascinante.

Imaginez que chaque mot dans le vocabulaire de l'IA est représenté par une carte dans un jeu. Pendant l'entraînement, l'IA apprend à placer ces cartes dans un espace à 3D (ou même 1000D !).

Pour les mots qu'elle connaît bien (comme "A" ou "B"), les cartes restent bien séparées, chacune à sa place.
Pour les mots qu'elle ne connaît pas (les nouveaux noms comme "Zorglub"), il se passe quelque chose de bizarre : toutes les cartes des mots inconnus finissent par s'empiler les unes sur les autres au même endroit.

C'est ce qu'on appelle l'effondrement des représentations (ou embedding collapse).
Pour l'IA, "Zorglub", "Mystère" et "Superman" (s'ils sont nouveaux) deviennent exactement la même chose. C'est comme si vous aviez un classeur où toutes les pages vierges étaient collées ensemble avec de la superglue. Impossible de distinguer l'une de l'autre !

🛠️ La Solution : Trois Astuces Magiques

Comment réparer cela ? Les chercheurs ont testé plusieurs méthodes et en ont trouvé une combinaison gagnante :

Le "Copieur" (Copy Attention) :
Imaginez que l'IA a un petit assistant qui peut simplement copier-coller les mots du texte original vers la réponse, sans avoir besoin de les comprendre ou de les mémoriser. C'est comme si l'élève avait un stylo magique qui lui permet de recopier "Zorglub" tel quel, au lieu d'essayer de deviner ce que c'est. Cela aide énormément.
La "Mélange" (Diversité des données) :
Au lieu d'apprendre avec seulement 10 noms différents, on donne à l'IA des milliers de noms différents pendant l'entraînement. C'est comme si on lui montrait des millions de visages différents. Cela l'oblige à apprendre la logique (le visage humain) plutôt que de mémoriser des visages spécifiques.
L'Amnésie Active (Active Forgetting) :
C'est l'astuce la plus drôle. Pendant l'entraînement, on force l'IA à oublier ses cartes de vocabulaire toutes les 100 étapes. On les remet à zéro, comme si on secouait le jeu de cartes pour les mélanger à nouveau.
- Pourquoi ça marche ? Si on laisse l'IA tranquille, elle colle toutes les cartes inconnues ensemble (l'effondrement). Si on les secoue régulièrement, elles restent séparées et distinctes. C'est comme si on disait à l'élève : "Oublie ce que tu as appris sur les noms, concentre-toi sur la règle !"

🧪 Les Résultats : Des Géants aussi touchés

Les chercheurs ont testé ces idées sur de petits modèles, mais aussi sur de très gros modèles publics (la famille Gemma 3).
Ils ont découvert que même ces géants ont des mots "inutilisés" (des cartes vierges dans leur classeur) qui sont déjà collés ensemble avant même qu'on ne commence à les entraîner !

Conséquence : Si on veut utiliser ces modèles pour une nouvelle tâche avec de nouveaux mots, c'est très lent. L'IA met beaucoup de temps à "décoller" ces cartes collées pour les rendre distinctes.

💡 En Résumé

Ce papier nous apprend que les IA sont parfois trop paresseuses : elles préfèrent coller ensemble les choses qu'elles ne connaissent pas plutôt que de les distinguer.
Pour les rendre plus intelligentes et capables de raisonner avec n'importe quel mot nouveau, il faut :

Leur donner un outil pour copier les mots.
Les entraîner avec une grande variété de mots.
Parfois, les forcer à oublier leurs préjugés pour qu'ils ne se figent pas.

C'est une avancée majeure pour rendre les IA plus flexibles et moins "bêtes" face à l'inconnu !

1. Problématique

Les modèles de langage (LLM) basés sur l'architecture Transformer, bien que performants sur de nombreuses tâches, échouent souvent à généraliser le raisonnement symbolique abstrait, en particulier lorsqu'ils sont confrontés à des tokens inconnus (des symboles non vus pendant l'entraînement).

Le défi : Les modèles doivent exécuter des algorithmes "in-context" (comme le raisonnement logique propositionnel) en utilisant des symboles arbitraires et nouveaux.
L'échec précédent : Des travaux antérieurs ont montré que les modèles ne parviennent pas à copier ou générer des tokens non observés. Les causes invoquées étaient la difficulté de copie et le manque de diversité des données, mais le mécanisme interne précis de cet échec restait partiellement incompris.
Hypothèse centrale : Les auteurs postulent qu'un phénomène de collapse (effondrement) des représentations des tokens inconnus est la cause principale de cet échec de généralisation.

2. Méthodologie et Analyse Théorique

A. Analyse Théorique : L'Effondrement des Poids (Unembedding Collapse)

Les auteurs démontrent théoriquement que lors de l'entraînement par descente de gradient (SGD) avec régularisation $L_2$ (weight decay) et normalisation de couche (LayerNorm), les poids de sortie (unembeddings) des tokens jamais vus dans les données de formation tendent à converger vers le même vecteur.

Mécanisme : Pour deux labels $i$ et $j$ absents des données, la distance entre leurs poids $W_i$ et $W_j$ diminue à chaque étape de mise à jour si la norme des entrées est bornée (ce que garantit le LayerNorm) et si le modèle ajuste bien les données vues.
Conséquence : Les tokens inconnus deviennent indistinguables pour le modèle, ce qui empêche la différenciation de variables distinctes dans un problème de logique.

B. Architecture et Interventions Expérimentales

Pour contrer ce problème, les auteurs proposent une combinaison de techniques :

Architecture "Copy Attention" : Une modification mineure de l'architecture Transformer qui ajoute une tête d'attention dédiée capable de copier directement les embeddings d'entrée vers la sortie, facilitant la génération de tokens inconnus sans passer par les couches MLP complexes.
Diversité des Données : Augmentation de la taille du vocabulaire de symboles utilisés pendant l'entraînement pour forcer le modèle à apprendre des structures plutôt que des motifs spécifiques.
Gestion des Embeddings :
- Gel (Freezing) : Conserver les embeddings initiaux (souvent orthogonaux) non modifiables.
- Oubli Actif (Active Forgetting) : Réinitialiser périodiquement les embeddings des tokens inconnus pendant l'entraînement pour empêcher leur effondrement.

C. Expérimentations

Données Synthétiques : Création de problèmes de logique propositionnelle (clauses définies/Horn clauses) avec un raisonnement "Chain-of-Thought" (CoT) généré par un algorithme de chaînage avant.
Modèles : Entraînement de petits Transformers décodeurs (10 couches, ~60-75M paramètres) et évaluation sur des modèles open-weight plus grands (famille Gemma 3).
Scénarios d'évaluation :
1. Tous les tokens vus (distribution in).
2. Seule la requête (query) est un token inconnu.
3. Tous les prédicats sont des tokens inconnus.

3. Résultats Clés

A. Sur les Modèles Synthétiques

Échec du Transformer Standard : Sans interventions, le modèle échoue totalement dès qu'un token inconnu est présent, car il apprend à ne pas générer ces tokens et les remplace par des tokens vus ou les ignore.
Rôle de la Diversité : Une grande diversité de symboles ( $\|P\|$ élevé) aide à la généralisation, mais seule n'est pas suffisante si les embeddings s'effondrent.
Efficacité des Solutions :
- L'ajout de Copy Attention améliore la copie des tokens uniques inconnus.
- Le gel des embeddings ou leur réinitialisation périodique permet une généralisation robuste, même avec plusieurs variables inconnues, car cela maintient la distinction entre les symboles.
- La combinaison de Copy Attention + Réinitialisation offre les meilleurs résultats, permettant au modèle de distinguer des symboles même si leurs embeddings finaux sont proches, grâce à une attention plus aiguë.

B. Sur les Modèles Réels (Gemma 3)

Observation du Collapse : Les auteurs analysent les embeddings des 99 tokens délibérément inutilisés dans le vocabulaire de Gemma 3. Ils constatent que ces tokens ont une similarité cosinus beaucoup plus élevée entre eux que les tokens utilisés (ex: 0.78 vs 0.33 pour le modèle 1B), confirmant l'effondrement théorique.
Impact sur le Fine-tuning : Lors du fine-tuning de Gemma 3 1B sur des problèmes logiques utilisant ces tokens inutilisés :
- La convergence est extrêmement lente (environ 5000 étapes pour atteindre 90% de précision).
- En comparaison, l'utilisation de tokens courants (lettres, adjectifs) atteint 90% en moins de 500 étapes.
- Cela suggère que l'initialisation corrélée des tokens inutilisés est un point de départ médiocre pour les tâches nécessitant une distinction fine de symboles.

4. Contributions Principales

Identification du mécanisme d'échec : Démonstration théorique et empirique que l'effondrement des poids de sortie (unembeddings) des tokens non vus est une cause fondamentale de l'échec de généralisation en raisonnement symbolique.
Explication des heuristiques existantes : Fournit une justification mécanique pour l'efficacité de l'« oubli actif » (réinitialisation des embeddings), expliquant pourquoi cela fonctionne mieux que de simplement stocker de l'information dans les embeddings.
Solution Architecturelle et Algorithmique : Propose une combinaison efficace (Copy Attention + Gestion dynamique des embeddings + Diversité des données) qui résout le problème de généralisation aux tokens inconnus, dépassant les limites des approches précédentes (comme celle de Boix-Adserà et al., 2024).
Validation sur Modèles Réels : Montre que ce phénomène n'est pas limité aux petits modèles synthétiques mais affecte également les grands modèles open-weight (Gemma 3), avec des conséquences pratiques mesurables sur le fine-tuning.

5. Signification et Implications

Ce travail remet en question la capacité actuelle des LLM à effectuer un véritable raisonnement abstrait, suggérant qu'ils reposent souvent sur des biais statistiques liés aux tokens spécifiques.

Pour la recherche : Il met en lumière l'importance cruciale de la gestion des embeddings pour les tâches de raisonnement symbolique et la nécessité de concevoir des architectures capables de copier des informations sans les transformer de manière destructrice.
Pour la pratique : Il indique que l'utilisation de tokens réservés (unused tokens) pour le fine-tuning ou les applications en aval peut être contre-productive sans précautions (comme le gel ou la réinitialisation), car leurs représentations sont déjà corrompues par l'effondrement.
Futur : Ouvre la voie à de nouvelles stratégies d'entraînement pour améliorer la généralisation hors distribution (OOD) et l'adaptabilité des modèles à de nouveaux symboles ou concepts.