🤖 machine learning

Shortcut Solutions Learned by Transformers Impair Continual Compositional Reasoning

Ce papier examine le raisonnement compositionnel continu dans les Transformers en utilisant un cadre LEGO étendu, révélant que si les modèles BERT feedforward échouent en raison de solutions de contournement ancrées, les modèles ALBERT récurrents affichent une performance supérieure en apprenant des stratégies algorithmiques de type « boucle for » qui peuvent être encore améliorées grâce à un entraînement croisé basé sur l'expérience.

Auteurs originaux : William T. Redman, Erik C. Johnson, Brian Robinson

Publié 2026-05-08

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : William T. Redman, Erik C. Johnson, Brian Robinson

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot à résoudre une série d'énigmes. Ces énigmes ne sont pas aléatoires ; ce sont des variations d'une même logique sous-jacente. Par exemple, une énigme pourrait vous demander de faire pivoter un triangle, la suivante de le retourner, et la suivante de faire les deux. L'objectif est de voir si le robot peut apprendre la logique de la première énigme et l'utiliser pour résoudre instantanément la deuxième et la troisième, sans oublier comment faire la première.

Ce papier examine comment deux types populaires de « cerveaux » d'IA (appelés BERT et ALBERT) gèrent ce type d'apprentissage. Les chercheurs ont découvert que, bien que ces modèles d'IA soient incroyablement intelligents, ils prennent souvent des « raccourcis mentaux » qui les rendent mauvais pour apprendre de nouvelles choses par la suite.

Voici la décomposition de leurs résultats à l'aide d'analogies simples :

1. Les Deux Types d'Apprenants

Les chercheurs ont testé deux modèles :

BERT : Imaginez-le comme un photographe. Il regarde une image entière d'un coup et tente de mémoriser les détails spécifiques de cette seule image. Il est très rapide et bon pour reconnaître des motifs sur le moment, mais il ne comprend pas vraiment le processus de fabrication de l'image.
ALBERT : Imaginez-le comme un programmeur. Au lieu de simplement mémoriser l'image, il apprend un ensemble d'instructions (comme une boucle dans un code informatique) qui peut être répétée pour résoudre le problème. Il comprend le mécanisme derrière l'énigme.

2. Le Piège du « Raccourci »

Lorsque les modèles ont appris la première énigme (appelons-la « Énigme A »), les deux ont bien réussi. Cependant, lorsque les chercheurs ont introduit l'« Énigme B » (très similaire mais légèrement différente), un problème est apparu.

BERT (Le Photographe) : Il a appris un raccourci. Il s'est dit : « Hé, si je regarde juste le tout premier indice de l'énigme, je peux deviner la réponse pour ce type spécifique d'énigme. » Il n'a pas appris la logique réelle ; il a simplement mémorisé un truc qui fonctionnait pour l'Énigme A.
- Le Résultat : Face à l'Énigme B, BERT s'est perdu. Parce qu'il s'appuyait sur un truc spécifique à l'Énigme A, il ne pouvait pas s'adapter. Il a également complètement oublié comment faire l'Énigme A une fois qu'il a commencé à apprendre l'Énigme B. C'est ce qu'on appelle l'oubli catastrophique.
ALBERT (Le Programmeur) : Il a appris l'algorithme. Il a compris : « Oh, je dois prendre l'état actuel, appliquer une règle et passer à l'étape suivante. » C'est comme apprendre une « boucle For » (une instruction informatique qui répète une action).
- Le Résultat : Parce qu'ALBERT a appris la méthode plutôt qu'un truc spécifique, il a pu appliquer cette méthode à l'Énigme B beaucoup plus rapidement. Il a montré un transfert avant, ce qui signifie qu'il a utilisé ce qu'il avait appris dans l'Énigme A pour accélérer l'apprentissage de l'Énigme B.

3. La Taille Compte (Mais Pas Comme Vous Le Pensez)

Les chercheurs ont essayé de rendre les modèles plus grands (en ajoutant plus de couches, comme ajouter plus de pièces à une maison).

Pour ALBERT : Plus grand était mieux. Plus de « pièces » signifiait qu'il pouvait affiner son algorithme et devenir encore meilleur dans le transfert de connaissances.
Pour BERT : Plus grand a en fait empiré les choses ou rendu le tout instable. Parce que BERT s'appuie sur des raccourcis, rendre le modèle plus complexe lui a simplement donné plus de façons de se coincer dans une mauvaise habitude. Il n'a pas pu généraliser son apprentissage à de nouvelles énigmes.

4. La Correction par « Répétition Mémoire »

Les deux modèles ont souffert d'oubli catastrophique : lorsqu'ils apprenaient la nouvelle énigme, ils effaçaient complètement la mémoire de l'ancienne.

Pour corriger cela, les chercheurs ont utilisé un tampon de répétition (Replay Buffer). Imaginez un étudiant qui, en révisant pour un nouveau test de mathématiques, garde quelques cartes flash de l'ancien test sur son bureau pour y jeter un coup d'œil de temps en temps.

Le Résultat : Cela a fonctionné à merveille. En montrant aux modèles un tout petit peu (juste 1 %) des anciennes données pendant qu'ils apprenaient les nouvelles données, ils ont cessé d'oublier. BERT et ALBERT ont pu se souvenir des anciennes énigmes tout en apprenant les nouvelles.

5. Le Dernier Obstacle : Combiner les Énigmes

Le test ultime du « raisonnement compositionnel » est de savoir si l'IA peut mélanger et assortir des règles provenant de différentes énigmes pour résoudre une toute nouvelle énigme complexe qui les combine toutes.

Le Problème : Même avec le « tampon de répétition » les aidant à se souvenir, les deux modèles ont eu du mal à combiner les règles. Ils pouvaient se souvenir de l'Énigme A et de l'Énigme B séparément, mais ils ne pouvaient pas facilement les tisser ensemble pour résoudre une énigme hybride.
La Différence : Les chercheurs ont trouvé un moyen d'aider ALBERT à réussir cela. S'ils enseignaient à ALBERT en utilisant une stratégie où ils assemblaient lentement les anciennes énigmes et les nouvelles énigmes pendant l'entraînement (plutôt que de les garder séparées), ALBERT pouvait apprendre à les combiner.
La Limite : Cette stratégie de « assemblage » n'a pas fonctionné pour BERT. Parce que BERT s'était déjà ancré dans sa façon de penser par « raccourcis » lors de l'entraînement initial, il ne pouvait pas être enseigné à combiner les règles plus tard. Il était trop figé dans ses habitudes.

La Conclusion

Le papier conclut que, bien que des modèles d'IA comme BERT et ALBERT soient puissants, ils ont un défaut caché : ils ont tendance à apprendre des « triches » (raccourcis) au lieu d'une logique profonde.

ALBERT est meilleur pour apprendre la logique profonde (la « boucle For »), ce qui l'aide à apprendre de nouvelles tâches connexes plus rapidement.
BERT reste coincé sur des astuces de surface, ce qui le rend mauvais pour s'adapter à de nouvelles situations et provoque l'oubli des anciennes.

L'étude suggère que pour rendre l'IA véritablement capable d'apprentissage continu (apprendre éternellement sans oublier), nous devons nous éloigner des modèles qui s'appuient sur des raccourcis et nous diriger vers des architectures conçues pour comprendre les « algorithmes » sous-jacents du monde.

Résumé technique : Les solutions de raccourci apprises par les Transformers altèrent le raisonnement compositionnel continu

Énoncé du problème

L'article comble une lacune critique dans la compréhension de la manière dont les réseaux de neurones Transformer réalisent l'apprentissage continu (CL) dans le contexte du raisonnement compositionnel. Bien que les Transformers aient démontré leur succès dans l'identification de relations spécifiques à l'entrée et l'exécution de tâches compositionnelles sur des jeux de données statiques, leur capacité à exploiter les représentations apprises pour acquérir de nouvelles expériences connexes sans oublier catastrophiquement reste peu étudiée. Plus précisément, les auteurs examinent si ces modèles peuvent développer des stratégies de calcul générales (analogues au raisonnement analogique humain) ou s'ils s'appuient sur des solutions de « raccourci » non généralisables qui entravent leur capacité à transférer des connaissances entre tâches séquentielles.

Méthodologie

Les auteurs étendent le cadre synthétique Learning Equality and Group Operations (LEGO) (Zhang et al., 2022) vers un cadre LEGO Continu.

Conception de la tâche : La tâche LEGO consiste à résoudre une séquence d'opérations de groupe ( $a_t = a_{t-1} * x_t$ ) au sein d'une structure de groupe (spécifiquement le groupe de symétrie $D_3$ ). La tâche est envisagée comme une traversal de graphe orienté.
Configuration continue : Le groupe $D_3$ est décomposé en trois « expériences bascule » distinctes, chacune définie par un sous-groupe spécifique (par exemple, $\{x_1, x_4\}$ , $\{x_1, x_5\}$ , $\{x_1, x_6\}$ ). Les modèles sont entraînés séquentiellement sur ces expériences. Crucialement, une fois qu'un modèle passe à une nouvelle expérience, il ne reçoit aucune entrée des expériences précédentes, ce qui teste le transfert avant (apprentissage plus rapide de nouvelles tâches) et le maintien des performances (évitant l'oubli catastrophique).
Modèles : L'étude compare BERT (un Transformer feedforward canonique) et ALBERT (une variante récurrente avec partage de poids entre les couches).
Analyse architecturale : Les auteurs font varier systématiquement les hyperparamètres du modèle (nombre de couches cachées et de têtes d'attention) pour identifier les architectures minimales capables de résoudre la tâche. Ils analysent les modèles d'auto-attention pour déterminer la nature mécanistique des solutions apprises (par exemple, boucles algorithmiques vs raccourcis).
Interventions : L'étude évalue l'efficacité des mémoires tampon de replay (sauvegarde de 1 % des données passées) et de l'entraînement incrémental (assemblage des données des expériences passées et actuelles) pour atténuer l'oubli et permettre la composition inter-expériences.

Contributions clés

Cadre LEGO Continu : Les auteurs introduisent un paradigme synthétique contrôlé pour investiguer systématiquement les capacités de CL dans les Transformers, en se concentrant spécifiquement sur le raisonnement compositionnel.
Divergence architecturale : L'étude révèle que les choix architecturaux (feedforward vs récurrent/partage de poids) impactent différemment la généralisation et le transfert avant. Les modèles BERT montrent des performances incohérentes à mesure que leur taille augmente, tandis que les modèles ALBERT démontrent une relation plus claire entre la capacité et la performance.
Explication mécanistique de l'échec/succès : Grâce à l'analyse des modèles d'attention, les auteurs identifient que ALBERT apprend une solution algorithmique généralisable, de type boucle For, whereas BERT apprend des solutions de raccourci qui échouent à se généraliser à des séquences plus longues ou à de nouvelles expériences.
Limites du replay : L'article démontre que si les mémoires tampon de replay peuvent atténuer l'oubli catastrophique, elles sont insuffisantes pour permettre le raisonnement compositionnel inter-expériences dans les modèles BERT. Seuls les modèles ALBERT bénéficient de l'entraînement sur des données combinées incrémentalement pour atteindre une véritable composition inter-expériences.

Résultats

1. Performance sur LEGO Continu

Transfert avant : Les modèles ALBERT exhibent un fort transfert avant, atteignant une haute précision sur de nouvelles expériences bascule avec moins d'époques d'entraînement. Les modèles BERT montrent un transfert avant faible, nécessitant souvent plus d'époques pour atteindre une précision asymptotique et échouant à se généraliser à des longueurs de séquence supérieures à celles de l'ensemble d'entraînement.
Oubli catastrophique : Les modèles BERT et ALBERT exhibent tous deux un oubli catastrophique quasi complet (chute des performances à ~0 %) sur les expériences précédentes lorsqu'ils sont entraînés sur de nouvelles, sans intervention.
Généralisation : Les modèles ALBERT se généralisent bien à des séquences plus longues (par exemple, $a_5, a_6$ ) lorsqu'ils sont entraînés sur des séquences plus courtes ( $a_4$ ). Les modèles BERT échouent généralement à se généraliser au-delà de la longueur de séquence d'entraînement.

2. Analyse mécanistique (Modèles d'attention)

ALBERT (Solution générale) : Les modèles d'attention dans les modèles ALBERT minimaux montrent une signature de type « boucle For ». Les tokens d'une clause donnée s'attendent principalement aux tokens de la clause précédente, mettant à jour l'état de manière systématique. Ce modèle est maintenu et renforcé à travers les expériences.
BERT (Solution de raccourci) : Les modèles BERT exhibent une signature de raccourci où l'auto-attention isole un seul token d'entrée partagé dans la première clause pour tous les tokens de sortie. Cette solution s'enracine tôt dans l'entraînement et persiste même lorsque de nouvelles expériences sont introduites, empêchant le modèle d'apprendre la composition itérative nécessaire.

3. Impact de l'échelle architecturale

ALBERT : La performance (précision de la tâche, généralisation, transfert avant) évolue positivement avec le nombre de couches cachées (nécessitant au moins 4 couches pour réussir).
BERT : L'augmentation de la taille du modèle (par exemple, jusqu'à 12 couches) ne garantit pas de meilleures performances et peut conduire à une instabilité de l'entraînement. Aucune relation claire n'existe entre la taille du modèle et le transfert avant ou la généralisation pour BERT.

4. Stratégies d'atténuation

Mémoires tampon de replay : La sauvegarde de seulement 1 % des données passées atténue avec succès l'oubli catastrophique pour les deux modèles tout en préservant le transfert avant. Cependant, un replay naïf (sauvegarde d'exemples séparés) échoue à permettre la composition inter-expériences.
Entraînement incrémental/combiné : L'entraînement sur des données assemblant les expériences passées et actuelles (« bascule incrémentale ») sauve les performances pour ALBERT, lui permettant d'approcher la performance d'un modèle entraîné sur la tâche complète. Cette stratégie échoue pour BERT, où la solution de raccourci s'enracine lors de l'entraînement initial et ne peut être désapprenue ou corrigée par des données combinées.

Importance et affirmations

L'article affirme que le biais inductif des Transformers récurrents (spécifiquement le partage de poids d'ALBERT) est mieux adapté au raisonnement compositionnel continu que les architectures feedforward standard (BERT).

Solutions de raccourci comme obstacle : Les auteurs soutiennent que les « solutions de raccourci » apprises par BERT ne sont pas simplement un problème de performance, mais un obstacle fondamental à l'apprentissage continu dans les tâches compositionnelles. Ces raccourcis s'enracinent et empêchent le modèle d'acquérir les stratégies algorithmiques générales requises pour le transfert avant et la composition inter-expériences.
Avantage récurrent : Le calcul de type « boucle For » appris par ALBERT fournit un mécanisme pour la généralisation et le transfert avant, suggérant que les structures récurrentes (ou les mécanismes de partage de poids) peuvent être cruciaux pour développer des stratégies de calcul flexibles dans les réseaux de neurones.
Limites des stratégies d'entraînement : L'étude souligne que si un replay simple peut corriger l'oubli, il ne résout pas le problème de la composition inter-expériences. Un véritable raisonnement compositionnel en CL pourrait nécessiter des stratégies d'entraînement combinant explicitement les données entre expériences, une découverte qui suggère que les méthodes de replay génératif pourraient être une direction fructueuse pour la recherche future, en particulier pour des modèles comme ALBERT.

Les auteurs concluent que si les Transformers peuvent réussir sur des tâches statiques complexes, leur capacité à apprendre continuellement et à composer à travers de nouvelles expériences est sévèrement altérée par les stratégies de calcul spécifiques (raccourcis vs algorithmes) auxquelles ils convergent, lesquelles sont fortement influencées par les choix architecturaux.