🤖 machine learning

Can Transformers Really Do It All? On the Compatibility of Inductive Biases Across Tasks

Cet article démontre que, bien que les transformeurs standards soient rarement optimaux pour des tâches spécifiques, l'optimisation de leurs non-linéarités révèle que des architectures hautement spécifiques à une tâche peuvent améliorer considérablement les performances sur les tâches algorithmiques, tandis que des conceptions plus universellement compatibles offrent des gains modestes dans les domaines du langage et du code.

Auteurs originaux : Damien Teney, Liangze Jiang, Hemanth Saratchandran, Simon Lucey

Publié 2026-07-21

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Damien Teney, Liangze Jiang, Hemanth Saratchandran, Simon Lucey

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'apprendre à un robot à penser. Pendant longtemps, les scientifiques ont utilisé le même plan de base pour ces robots, appelé « Transformer ». Considérez le Transformer comme un couteau suisse universel : il possède un ensemble spécifique d'outils (des fonctions mathématiques) qui fonctionnent étonnamment bien pour presque tout, de l'écriture de poésie à la traduction de langues. Parce que ce modèle unique fonctionne de manière aussi large, beaucoup de gens ont commencé à croire qu'il pourrait être l'outil « parfait » pour chaque tâche, et que la seule façon d'obtenir de meilleurs résultats était simplement de rendre le robot plus grand et de le nourrir avec plus de données.

Cependant, il y a un piète. Ce n'est pas parce qu'un couteau suisse peut ouvrir une bouteille et couper une corde qu'il est pour autant le meilleur outil pour l'un ou l'autre de ces travaux. Un tire-bouchon dédié ouvre les bouteilles plus rapidement, et un couteau de chef bien aiguisé coupe la corde plus proprement. Dans le monde de l'intelligence artificielle, ces « meilleurs outils » sont appelés biais inductifs. Vous pouvez considérer un biais inductif comme l'instinct naturel d'un robot ou un raccourci intégré qui l'aide à apprendre rapidement un type de motif spécifique. La grande question que se posent les scientifiques est la suivante : l'instinct de « couteau suisse » du Transformer est-il réellement le meilleur pour chaque tâche, ou sommes-nous en train de forcer le robot à faire des choses pour lesquelles il n'a pas été naturellement conçu ?

Cet article, intitulé « Can Transformers Really Do It All? » (Les Transformers peuvent-ils vraiment tout faire ?), cherche à répondre à cette question. Les chercheurs ne se sont pas contentés de deviner ; ils ont construit une expérience ingénieuse pour voir s'ils pouvaient concevoir un « outil sur mesure » pour des tâches spécifiques. Ils ont pris le Transformer standard et ont remplacé ses parties centrales de « réflexion » (les fonctions non linéaires qui décident comment traiter l'information) par des ardoises vierges. Ensuite, ils ont laissé l'ordinateur apprendre la forme parfaite de ces parties spécifiquement pour une tâche donnée, comme un jeu vidéo ou un problème de mathématiques, en utilisant une méthode d'entraînement spéciale qui empêche le robot de simplement mémoriser les réponses. Une fois qu'ils ont trouvé la forme personnalisée parfaite, ils l'ont figée et ont testé l'efficacité de ce nouveau design sur d'autres tâches.

Les résultats ont été un mélange de « wow » et de « whoa ». Lorsque les chercheurs ont testé ces conceptions personnalisées sur des tâches algorithmiques — comme apprendre à un robot à faire des maths, à mémoriser une liste de nombres ou à vérifier si des parenthèses sont équilibrées — les résultats ont été spectaculaires. Les robots personnalisés ont appris ces tâches 2 à 3 fois plus vite, étaient beaucoup plus stables (ils n'échouaient pas de manière aléatoire) et pouvaient se généraliser à des séquences plus longues qu'ils n'avaient pas vues auparavant. Cependant, il y avait un énorme compromis : ces conceptions personnalisées étaient incroyablement sélectives. Un robot optimisé pour faire des mathématiques était incapable de mémoriser des listes, et vice versa. Il s'est avéré que pour ces tâches logiques et basées sur des règles, le Transformer standard est en fait assez maladroit, et l'outil « parfait » pour un problème de mathématiques est inutile pour un autre.

L'histoire était différente lorsqu'ils ont examiné le langage et le code. Lorsqu'ils ont essayé d'optimiser les robots pour écrire des histoires, des pièces de Shakespeare ou du code informatique, les conceptions personnalisées ont certes légèrement mieux performé que les modèles standards, mais l'amélioration était faible et constante. Plus important encore, ces conceptions personnalisées pour le langage étaient beaucoup plus flexibles ; un robot optimisé pour l'anglais pouvait toujours gérer le code informatique de manière raisonnable. Cela suggère que pour le langage, le Transformer standard est déjà très proche d'un « optimum local » — un point assez bon qui est difficile à surpasser sans apporter des changements majeurs.

En fin de compte, l'article suggère que si le Transformer est un outil polyvalent fantastique, il n'est pas la solution parfaite pour tout. Pour les tâches logiques strictes comme les mathématiques et les algorithmes, la conception standard est loin d'être optimale, et nous pourrions avoir besoin de construire des robots très différents et spécialisés pour ces tâches. Pour le langage, la conception standard est déjà très bonne, et bien que nous puissions l'ajuster pour l'améliorer légèrement, nous ne passons pas à côté d'un potentiel caché massif. La conclusion est qu'il n'existe pas de « balle magique » architecturale unique qui soit parfaite pour chaque compétence humaine ; parfois, pour obtenir les meilleurs résultats, nous devons cesser d'essayer de forcer un seul outil à tout faire et commencer à concevoir l'outil approprié pour chaque tâche spécifique.

Résumé Technique : Les Transformers Peuvent-ils Réellement Tout Faire ? Sur la Compatibilité des Biais Inductifs entre les Tâches

Problématique

Bien que les Transformers soient devenus l'architecture dominante à travers diverses modalités (vision, langage, parole), leur universalité est remise en question par leur performance inconsistante. Ils excellent dans la modélisation du langage mais peinent face à des tâches algorithmiques élémentaires comme l'arithmétique ou la généralisation systématique. Cela soulève deux questions critiques :

Les Transformers sont-ils dotés de biais inductifs génériques adaptés à toutes les données, ou sont-ils sous-optimaux pour des tâches spécifiques ?
Les biais inductifs requis pour différents domaines (ex. : langage naturel vs raisonnement algorithmique) sont-ils compatibles, ou nécessitent-ils des conceptions architecturales distinctes ?

La dépendance actuelle envers le passage à l'échelle des modèles et des données suggère qu'il est nécessaire de comprendre si des améliorations architecturales, plutôt que seulement la taille, sont requises pour pousser l'IA au-delà de ses limites actuelles.

Méthodologie

Les auteurs proposent une méthode pour optimiser les architectures de Transformers pour des jeux de données spécifiques afin d'identifier les biais inductifs optimaux propres à chaque tâche. L'innovation centrale consiste à remplacer les non-linéarités standards par des fonctions paramétrées et apprenables, optimisées sur des données non utilisées pour l'entraînement (held-out data).

Mécanisme Central

Composants Remplaçables : La méthode cible les principales non-linéarités des Transformers :
- Couches MLP : Remplace l'activation GeLU par une spline linéaire 1D ( $\phi_{\theta_{MLP}}$ ) paramétrée par des points clés apprenables.
- Couches d'Attention : Remplace le softmax standard par une non-linéarité apprenable ( $\phi'_{\theta_A}$ ) appliquée à la similitude requête-clé, apprenant ainsi une fonction noyau personnalisée.
Optimisation en Deux Étapes :
1. Étape I (Optimisation de l'Architecture) : Le modèle est entraîné sur un jeu de données $D$ en utilisant un mécanisme à deux pertes : une fraction des données (ex. : 20 %) est mise de côté spécifiquement pour optimiser les paramètres de la spline ( $\theta_A, \theta_{MLP}$ ), tandis que le reste des données optimise les poids du modèle. Pour éviter la co-adaptation (où les splines sur-apprennent des poids spécifiques ou des graines aléatoires), les auteurs utilisent un entraînement multi-modèles : $M$ modèles avec des graines aléatoires différentes partagent les mêmes non-linéarités optimisées.
2. Étape II (Évaluation) : Les non-linéarités optimisées sont gelées. De nouveaux modèles sont entraînés à partir de zéro sur le jeu de données cible (soit $D$ , soit un autre jeu de données $D'$ ) en utilisant des procédures d'entraînement standards. Cela isole le biais inductif de l'architecture des poids spécifiques appris lors de l'Étape I.

Justification des Splines

Les splines linéaires sont choisies car elles offrent une paramétrisation non biaisée et traçable pour les fonctions $\mathbb{R} \to \mathbb{R}$ . Contrairement aux petits MLP ou aux priors lisses utilisés dans les travaux précédents, les splines peuvent représenter des transitions brusques, des fonctions en escalier ou des formes d'ondes complexes sans imposer de contraintes de lissage ou de monotonie.

Contributions Clés

Cadre d'Optimisation : Une méthode pour optimiser les non-linéarités des Transformers pour n'importe quel jeu de données, traitant l'architecture résultante comme un ensemble d'hyperparamètres pré-ajustés.
Analyse des Tâches Algorithmiques : Application de la méthode à des tâches de raisonnement algorithmique (ex. : addition modulaire, langages de Dyck, aiguille dans une botte de foin).
Analyse de la Modélisation du Langage : Application à des jeux de données de langage naturel et de code (ex. : TinyStories, Shakespeare, CodeSearchNet) à différents niveaux de tokenisation.
Étude de Compatibilité entre les Tâches : Une évaluation systématique de savoir si des architectures optimisées pour une tâche se transfèrent efficacement vers d'autres, mesurant ainsi la compatibilité des biais inductifs.

Résultats Clés

1. Tâches de Raisonnement Algorithmique

Améliorations Drastiques : Les architectures optimisées surpassent significativement les Transformers standards sur les tâches algorithmiques. Les améliorations incluent :
- Convergence plus Rapide : La vitesse d'entraînement augmente de 2 à 3 $\times$ sur des tâches comme ADD et MANO.
- Réduction de la Variance : La forte variance de la vitesse d'entraînement et de la précision observée entre les graines aléatoires dans les modèles de référence est éliminée.
- Meilleure Généralisation : Les modèles atteignent une précision de test parfaite là où les modèles de référence échouent, même lorsqu'ils ajustent parfaitement les données d'entraînement.
- Généralisation de Longueur : Sur la tâche COPY, l'optimisation d'une architecture basée sur Alibi avec des non-linéarités apprises étend la généralisation à des séquences plus longues dépassant la distribution d'entraînement.
Spécificité de la Tâche : Les architectures optimisées sont très spécifiques à la tâche. Une architecture optimisée pour "Add" ne bénéficie pas nécessairement à "Parentheses" et peut même être moins performante qu'un Transformer standard sur des tâches non liées. Cela suggère que les tâches algorithmiques nécessitent des biais inductifs fondamentalement différents des Transformers standards.

2. Tâches de Modélisation du Langage

Améliorations Modestes : Sur les jeux de données de langage naturel et de code, les architectures optimisées produisent des gains constants mais plus faibles que les modèles de référence.
Spécificité des Composants : L'optimisation des non-linéarités des MLP (GeLUs) apporte des gains, tandis que l'optimisation des non-linéarités d'attention (Softmax) produit des résultats négligeables ou négatifs, suggérant que le Softmax est déjà proche d'un optimum local pour le langage.
Transfert entre Jeux de Données : Contrairement aux tâches algorithmiques, les architectures optimisées pour la modélisation du langage se transfèrent bien d'un jeu de données à l'autre (ex. : de TinyStories à Shakespeare) et selon les schémas de tokenisation (caractère vs sous-mot).
Code vs Langage : Les gains sont légèrement plus importants pour les jeux de données de code que pour le langage naturel, suggérant que la modélisation du code partage plus de similitudes structurelles avec les tâches algorithmiques.

3. Implications pour les Biais Inductifs

Sous-optimalité des Transformers Standards : Les Transformers standards sont rarement un optimum local dans l'espace architectural pour des tâches spécifiques. Des alternatives simples (ex. : splines apprises) peuvent nettement les surpasser.
Compromis : Bien que les conceptions spécifiques aux tâches offrent des performances supérieures sur des tâches étroites, elles sacrifient l'universalité. Les Transformers standards semblent être un compromis "suffisant" qui supporte un large éventail de capacités (fluidité, raisonnement) sans être optimal pour aucune d'entre elles.
Pas de Free Lunch : Les résultats s'alignent sur le théorème du "No Free Lunch", indiquant que différents domaines bénéficient de différents biais inductifs.

Signification et Revendications

L'article soutient que la dominance actuelle des Transformers est probablement due à leur capacité à traiter un large spectre de tâches de manière raisonnable, plutôt qu'au fait qu'ils soient la solution optimale pour une tâche spécifique. Les auteurs affirment que :

Limites Architecturales : Les déficiences des Transformers en matière de généralisation systématique et de raisonnement algorithmique sont en partie dues à des biais inductifs mal alignés, et non seulement à un manque d'échelle.
Utilité Méthodologique : La méthode proposée sert d'outil de diagnostic pour sonder les limites des architectures actuelles et identifier où des biais inductifs spécifiques font défaut.
Directions Futures : Les conclusions suggèrent que les futurs systèmes d'IA visant à la fois la fluidité et un raisonnement robuste pourraient nécessiter des architectures capables de supporter simultanément plusieurs biais inductifs potentiellement conflictuels, ou que des modèles spécifiques au domaine pourraient être nécessaires pour les tâches exigeant une haute précision (comme le raisonnement algorithmique).

Les auteurs restent modestes, notant que leurs expériences sont à petite échelle par rapport aux LLM de pointe et que les non-linéarités optimisées peuvent être coûteuses en calcul (bien que des approximations polynomiales puissent atténuer cela). Ils ne prétendent pas que leurs conceptions de splines sont la solution finale, mais qu'elles constituent une preuve que l'espace de recherche pour de meilleures architectures est vaste et sous-exploré.