🤖 machine learning

Borrowed Geometry: Computational Reuse of Frozen Text-Pretrained Transformer Weights Across Modalities

Cet article démontre que les poids préentraînés de Gemma 4 31B, figés et exclusivement textuels, peuvent être efficacement transférés d'un modalité à l'autre pour atteindre des performances de pointe dans des tâches de manipulation robotique, de prise de décision et de rappel associatif en utilisant uniquement une fine interface entraînable, prouvant ainsi que la capacité de charge du préentraînement du modèle est intrinsèque à ses poids plutôt qu'à sa modalité spécifique ou à ses données d'entraînement.

Auteurs originaux : Abay Bektursun

Publié 2026-05-04

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Abay Bektursun

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un chef étoilé qui a passé toute sa vie à perfectionner l'art de cuisiner du texte. Il peut hacher des mots, mélanger des phrases et enfourner des paragraphes mieux que quiconque. Ce chef est un immense cerveau informatique gelé (un modèle d'IA « gelé » appelé Gemma 4) qui n'a jamais vu de robot, de jeu vidéo ou d'objet physique. Il n'a jamais traité que du langage.

Maintenant, imaginez que vous voulez apprendre à un robot à marcher ou à un ordinateur à jouer à un jeu, mais que vous ne voulez pas entraîner un nouveau chef à partir de zéro. Au lieu de cela, vous demandez : « Peut-on emprunter le cerveau de ce chef de texte pour résoudre des problèmes non textuels ? »

Ce papier dit oui, mais avec une nuance très spécifique.

L'idée centrale : Emprunter la géométrie

Les auteurs traitent le cerveau gelé du chef de texte non pas comme un outil d'écriture, mais comme une cuisine préfabriquée et haute technologie. Ils ne modifient pas le cerveau du chef (les poids sont « gelés »). À la place, ils construisent un minuscule et peu coûteux « adaptateur » (une interface simple) pour traduire les mouvements du robot ou les états de jeu dans le langage que le chef comprend, puis pour traduire la sortie du chef en actions.

Pensez-y ainsi : le chef sait organiser parfaitement les ingrédients. Vous n'avez pas besoin de lui apprendre à construire une voiture ; vous devez simplement lui remettre les pièces de la voiture dans un format qu'il reconnaît, et il saura instinctivement comment les assembler, car son cerveau est déjà câblé pour l'organisation complexe.

Les grandes victoires (Ce qu'ils ont réellement fait)

1. Le robot qui a appris à danser (OGBench)

Le test : Ils ont essayé de faire en sorte qu'un bras robotique simulé saisisse et déplace des objets (une tâche qu'il n'avait jamais vue auparavant).
Le résultat : En utilisant le cerveau de texte gelé, le robot a performé mieux que les meilleurs logiciels robotiques spécialisés actuels.
La nuance : Il n'était pas parfait pour chaque tâche. Sur une tâche spécifique d'empilement de « cubes », le robot à cerveau de texte était en fait moins performant que le logiciel spécialisé. Cependant, lorsqu'ils ont comparé le robot à cerveau de texte à un cerveau initialisé au hasard (un cerveau de même forme mais sans entraînement), le cerveau de texte était 59 points meilleur.
La leçon : L'entraînement « gelé » sur du texte a fourni un départ massif. Le cerveau n'était pas juste une forme aléatoire ; il avait appris une « mémoire musculaire » utile pour organiser des séquences, même s'il ne l'avait apprise qu'en lisant des livres.

2. Le robot marcheur (D4RL Walker2d)

Le test : Le cerveau de texte peut-il aider un robot à apprendre à marcher ?
Le résultat : Oui. Le robot à cerveau de texte marchait aussi bien que le « Decision Transformer » actuel (un modèle construit spécifiquement pour la marche), qui représente l'état de l'art.
Le bonus : La solution à cerveau de texte utilisait moins de la moitié des paramètres entraînables du modèle de marcheur spécialisé. C'était un moyen plus efficace d'obtenir le même résultat.

3. Le test de mémoire « magique » (Rappel associatif)

Le test : Un jeu de mémoire simple où l'ordinateur doit se souvenir d'un motif et le répéter plus tard.
Le résultat : Le cerveau de texte gelé, avec un minuscule adaptateur, a résolu cela parfaitement. Un tout nouveau modèle de taille exactement identique, entraîné à partir de zéro sur ce jeu spécifique, a échoué complètement.
La leçon : Le cerveau de texte n'a pas seulement appris des « mots » ; il a appris une manière fondamentale de gérer les motifs et la mémoire qui s'applique même à des tâches non linguistiques.

Le « Pourquoi » : Trouver les « atomes » spécifiques de la pensée

La partie la plus fascinante du papier est la manière dont ils ont regardé à l'intérieur du cerveau pour voir ce qui se passait. Ils ne se sont pas contentés de dire « ça marche » ; ils ont trouvé les engrenages spécifiques qui tournent.

L'expérience : Ils ont examiné 192 minuscules « têtes d'attention » (pensez-y comme à des neurones individuels ou des travailleurs spécialisés à l'intérieur du cerveau).
La découverte : Ils ont trouvé quatre travailleurs spécifiques (têtes) qui faisaient double emploi.
- Dans le monde du texte, ces travailleurs étaient des experts pour copier des mots ou faire correspondre des motifs (par exemple, remarquer que « chat » apparaît deux fois dans une phrase).
- Dans le monde non textuel (comme les tâches robotiques ou le jeu de mémoire), ces mêmes quatre travailleurs exacts étaient les plus critiques pour résoudre le problème.
L'analogie : Imaginez un travailleur embauché pour trier des billes rouges et bleues. Vous lui demandez ensuite de trier des voitures rouges et bleues. Il échoue avec les voitures, mais vous découvrez que le travailleur spécifique qui était le meilleur pour trier les billes est aussi celui qui sait instinctivement comment trier les voitures. Le cerveau n'avait pas besoin d'être réentraîné ; il avait juste besoin du bon « traducteur » pour lui montrer les voitures.

Les limites (Où cela échoue)

Le papier est très honnête sur les endroits où cet « emprunt » échoue. Le cerveau de texte est excellent pour les séquences (A mène à B mène à C) et la correspondance de motifs, mais il lutte avec des choses qui nécessitent :

Une pensée spatiale 2D : Comme jouer à « Game of Life » (une simulation basée sur une grille) ou naviguer dans un labyrinthe. Le cerveau est câblé pour une ligne de texte, pas pour une carte 2D.
Une précision continue : Comme contrôler un bras robotique avec une extrême fluidité ou faire des mathématiques complexes avec des décimales. Il est bon pour des étapes discrètes, pas pour un mouvement fluide.
Une logique d'empilement : Comme équilibrer des parenthèses dans une structure de code complexe (Dyck-2). Le cerveau de texte est en fait devenu moins performant sur cela qu'un modèle simple et non entraîné, suggérant que l'apprentissage de la lecture en anglais a accidentellement « bloqué » le cerveau pour apprendre ce type spécifique de logique.

Résumé

Ce papier prouve qu'un cerveau entraîné exclusivement sur du texte contient un « système d'exploitation » caché et réutilisable pour organiser l'information. Vous pouvez prendre ce cerveau gelé, le brancher sur un robot ou un jeu, et il surpassera souvent les modèles construits à partir de zéro, simplement parce qu'il a déjà appris les règles structurelles profondes de la façon dont les choses s'assemblent.

Ce n'est pas de la magie ; c'est une exaptation computationnelle. Tout comme les plumes ont évolué pour la chaleur mais ont ensuite été « empruntées » pour le vol, la capacité du cerveau à copier et faire correspondre des motifs de texte a été « empruntée » pour résoudre des problèmes de robotique et de mémoire qu'il n'avait jamais été conçu pour voir.

1. Énoncé du problème

Le papier aborde une question fondamentale en apprentissage profond : Les poids d'un transformer préentraîné sur du texte à l'échelle de pointe constituent-ils un substrat computationnel généralisable qui peut être « emprunté » pour des tâches dans des modalités qu'il n'a jamais rencontrées ?

La pratique industrielle actuelle traite les grands modèles de langage (LLM) préentraînés comme des artefacts statiques pour la génération de texte ou le fine-tuning pour des tâches adjacentes au texte. Cette recherche émet l'hypothèse que la « géométrie » (matrices de poids et motifs d'attention) apprise lors du préentraînement encode des primitives computationnelles d'ordre inférieur, symétriques et hiérarchiques (par exemple, la copie de tokens, l'induction) qui sont universelles aux fonctions du monde naturel. L'objectif est de tester si ces poids figés, lorsqu'ils sont associés à une interface minimale entraînable, peuvent résoudre des tâches non textuelles (robotique, contrôle continu, raisonnement algorithmique) sans modifier les poids centraux.

2. Méthodologie

Configuration de base

Substrat : L'étude utilise Gemma 4 31B (une sortie hypothétique de 2026), en figeant spécifiquement les couches L24–L29 (une tranche de 6 couches contenant environ 2,93 milliards de paramètres). Cette tranche a été préentraînée exclusivement sur des tokens de texte (web, code, mathématiques).
Interface : Une interface « fine » entraînable mappe les entrées non textuelles (vecteurs état-action, grilles de bits, cinématiques) dans l'espace caché figé du modèle de 5376 dimensions. L'interface comprend des encodeurs linéaires, des adapteurs de statistiques d'entrée et des décodeurs.
Figeage : Les poids de Gemma sont complètement figés (gradients nuls) ; seuls les paramètres de l'interface sont entraînés.

Protocole expérimental

Le papier emploie un ensemble rigoureux de contrôles pour isoler la contribution du préentraînement de celle de l'architecture et de la capacité :

Transfert inter-modalité : Tests sur OGBench (manipulation robotique), D4RL (RL hors ligne) et des tâches algorithmiques supervisées (copie, rappel associatif, automates cellulaires).
Contrôles basés uniquement sur l'architecture :
- FrozenRandom-GPT2 : Un transformer figé de 6 couches avec le bon échelonnement $1/\sqrt{d_k}$ mais une initialisation aléatoire.
- Tranche Gemma aléatoire : La même architecture Gemma avec des poids aléatoires.
- Transformer entraîné de capacité équivalente : Un transformer entraîné à partir de zéro avec le même nombre de paramètres que la tranche figée.
Mécanisme de double mesure : Un protocole pour identifier des têtes d'attention spécifiques en corrélant :
- Sondage d'activation textuelle : Mesure de l'attention portée à la copie de tokens/induction dans des phrases anglaises.
- Ablation de tâche : Mise à zéro de têtes spécifiques et mesure de la baisse de performance sur des tâches non linguistiques.

3. Contributions clés

Validation empirique de la « géométrie empruntée » : Démontre que des poids textuels figés peuvent résoudre des tâches non textuelles complexes (robotique, RL) là où des architectures initialisées aléatoirement de même taille échouent complètement.
Identification mécaniste des têtes exaptées : Identifie des têtes d'attention spécifiques (par exemple, L26.28, L27.28) qui sont critiques à la fois pour la copie de tokens textuels et pour des tâches algorithmiques non linguistiques (copie binaire, rappel associatif), fournissant des preuves d'« exaptation computationnelle ».
Isolation du substrat : Prouve que le gain de performance provient des poids préentraînés, et non simplement de l'architecture ou de l'interface entraînable, en montrant que les versions initialisées aléatoirement de la même architecture échouent à apprendre ces tâches.
Compression et efficacité : Montre que le substrat figé peut être compressé (par exemple, en une tranche de 5 couches) tout en maintenant ou en améliorant les performances par rapport à des bases plus larges, atteignant la parité avec le Decision Transformer avec significativement moins de paramètres entraînables.

4. Résultats clés

A. Succès du transfert inter-modalité

OGBench (Manipulation robotique) :
- Scene-Play-Task1 : Gemma figé + têtes IQL a atteint 97,33 % de succès, battant l'état de l'art publié (GCIQL) de +4,33 points.
- Cube-Double-Play-Task1 : Le modèle figé a atteint 60,22 % de succès, tandis que la tranche Gemma initialisée aléatoirement a échoué totalement (0,89 %). Cela représente un gain d'isolation de +59 points, prouvant que le préentraînement est porteur de charge.
D4RL (RL hors ligne - Walker2d) :
- La tranche Gemma figée (L24–L29) a obtenu un score normalisé de 76,2 ± 0,8, égalant la base Decision Transformer (DT) (74,0) tout en utilisant seulement 0,43× les paramètres entraînables.
- Compression : Le retrait de la couche L24 (n'utilisant que L25–L29) a amélioré les performances à 77,84, démontrant que le « bord » de la tranche n'est pas strictement nécessaire pour cette tâche.

B. Tâches algorithmiques supervisées

Rappel associatif (AR) : La tranche figée avec une interface linéaire de 113K paramètres a atteint une erreur par bit de 0,0505. Un transformer entraîné de capacité équivalente (6,36M) à partir de zéro a échoué complètement (erreur 0,4395), soit un avantage de 8,7× pour le modèle figé.
Automates cellulaires (Règle 90) : Le modèle figé a appris la tâche, tandis qu'un transformer aléatoire figé avec le bon échelonnement est resté au niveau du hasard pour 50k étapes.

C. Résultats mécanistes (Les « têtes nommées »)

En utilisant le protocole de double mesure, le papier a identifié des têtes spécifiques qui effectuent le même calcul dans les domaines textuel et non textuel :

Tête L26.28 : Score 3,7× la moyenne de la tranche pour la copie de tokens anglais et est la tête n°2 la plus critique pour l'ablation de la copie binaire ( $\Delta = +0,221$ ).
Tête L27.28 : Score 2,6× pour la copie de texte et est la tête critique n°1 pour la copie binaire et l'addition binaire.
Têtes L27.2 et L27.3 : Critiques pour le rappel associatif et les automates cellulaires, respectivement, et montrent également des scores élevés de correspondance textuelle.
Conclusion : Ces têtes sont « exaptées » — façonnées par le préentraînement textuel mais recrutées pour des computations non linguistiques analogues.

D. Limites et frontières

La géométrie empruntée n'est pas universelle. Elle échoue sur :

Dyck-2 (Parenthèses équilibrées) : Les modèles figés plafonnent à des taux d'erreur élevés (~0,03), tandis que les transformers entraînés de zéro le résolvent facilement. Cela suggère que le préentraînement crée un « anti-prior » contre les structures de pile explicites.
Tâches spatiales 2D (Jeu de la vie) : Les primitives séquentielles 1D ne se composent pas en calculs de voisinage spatial 2D.
Précision du contrôle continu : Échec sur HalfCheetah et Hopper (nécessitant un contrôle continu fin) et sur des tâches de régression lisse (NARMA).

5. Signification

Redéfinition de la valeur du préentraînement : Le papier soutient que la valeur du préentraînement massif n'est pas seulement la « connaissance » mais la découverte de primitives computationnelles universelles (comme la copie de tokens) qui sont réutilisables à travers les modalités.
Efficacité : Il suggère que pour des tâches spécifiques, il n'est pas nécessaire d'entraîner un modèle massif de zéro ; une tranche figée et compressée d'un modèle textuel peut servir de moteur de calcul puissant et polyvalent.
Interprétabilité mécaniste : Il comble le fossé entre l'interprétabilité mécaniste (comprendre comment les modèles fonctionnent) et l'apprentissage par transfert. En nommant des têtes spécifiques qui transfèrent, il va au-delà des affirmations agrégées « les modèles figés aident » pour aboutir à une réutilisation de circuits spécifique et vérifiable.
Analogie évolutive : Le concept d'Exaptation (plumes évoluant pour la chaleur, puis utilisées pour le vol) est appliqué aux réseaux de neurones, suggérant que des caractéristiques sélectionnées pour un domaine (langage) peuvent être détournées pour un autre (robotique) sans redéfinition.

6. Conclusion

Le papier fournit de solides preuves empiriques que les poids préentraînés sur du texte et figés agissent comme un substrat computationnel général. Bien qu'ils ne soient pas une panacée pour toutes les tâches (échec sur le raisonnement de pile explicite ou spatial 2D), la « géométrie empruntée » transfère avec succès des primitives de correspondance de tokens et de complétion de motifs vers la robotique et les tâches algorithmiques, surpassant à la fois les architectures aléatoires et les modèles entraînés de zéro de capacité équivalente. L'identification de têtes d'attention spécifiques et inter-modales offre une nouvelle perspective pour comprendre l'universalité des représentations en apprentissage profond.