Résumé technique : Key-Gram

Énoncé du problème

La manipulation incarnée exige que les modèles préservent simultanément des connaissances mondiales réutilisables (objets, compétences, relations, contraintes) et s'adaptent continuellement à des états visuels dynamiques sous l'effet de l'action. Les modèles actuels Vision-Langage-Action (VLA) et les modèles Monde-Action (WAM) couplent généralement les connaissances linguistiques au calcul visuel au sein d'une colonne vertébrale partagée ou d'une voie de conditionnement. Cette conception entraîne deux problèmes principaux :

1. Compétition des modalités : Dans les approches de fusion dense, un petit nombre de tokens d'instruction entrent en concurrence avec un grand ensemble de tokens visuels en constante évolution au sein du même flux d'attention, risquant ainsi de diluer les informations spécifiques à l'instruction.
2. Extension fragile des connaissances : Dans les modèles génératifs conditionnels, le langage n'agit souvent que comme un signal de pilotage de type invite, tandis que les connaissances mondiales compositionnelles restent implicitement intégrées dans la colonne vertébrale générative. Par conséquent, l'adaptation à de nouveaux régimes physiques ou l'acquisition de nouvelles connaissances nécessitent souvent des mises à jour de gradient qui peuvent écraser les connaissances mondiales précédemment acquises, rendant l'adaptation continue et l'extension modulaire intrinsèquement fragiles.

Méthodologie : Key-Gram

Les auteurs proposent Key-Gram, un cadre de mémoire conditionnelle qui découple fonctionnellement les connaissances mondiales dérivées du langage du raisonnement sur l'état visuel. La philosophie centrale est que le calcul visuel doit se concentrer sur la dynamique de la scène (évolution de l'état et action), tandis que le langage sert d'index compact et réutilisable sur des priors de tâches abstraits.

1. Récupération éparses de Key-Gram

Au lieu de traiter des tokens bruts, le système décompose une instruction linguistique $I$ en un petit ensemble de key-grams spécifiques à la tâche (par exemple, « mettre la tasse au micro-ondes », « fermer la porte »).

• Extraction : Un analyseur léger extrait des unités porteuses de connaissances de longueur fixe à partir de l'instruction.
• Recherche par hachage : Chaque key-gram est converti en une clé entière de longueur fixe et mappé à des embeddings de mémoire statiques via une recherche par hachage déterministe. Cela implique un hachage multiplicatif-XOR pour calculer les indices de mémoire à travers plusieurs têtes de hachage ($H$) et couches ($\ell$).
• Extensibilité : La mémoire est organisée comme une table logique composée de plusieurs sous-tables physiques. Cela permet au système de s'adapter à la longueur de l'instruction (en ajoutant des emplacements de key-grams) et à la complexité de la tâche (en ajoutant des sous-tables parallèles) sans modifier la colonne vertébrale.

2. Fusion adaptative au contexte

Les embeddings récupérés sont injectés dans des couches sélectionnées du Transformer de la colonne vertébrale visuelle via un module résiduel :

• Porte (Gating) : Une porte au niveau du token est calculée en utilisant un produit scalaire mis à l'échelle entre les états cachés visuels ($H^{(\ell)}$) et les clés de mémoire projetées ($K_m^{(\ell)}$). Cette porte ($A^{(\ell)}$) détermine la pertinence de la mémoire linguistique récupérée pour chaque token visuel, garantissant que les priors sont injectés uniquement là où ils sont utiles.
• Raffinement convolutif : Les caractéristiques de mémoire filtrées par la porte sont transmises à travers une convolution légère à longue portée pour mélanger les composants hétérogènes de connaissances au niveau de l'instruction avant l'injection.
• Injection résiduelle : Les caractéristiques affinées sont ajoutées aux états cachés originaux ($\tilde{H}^{(\ell)} = H^{(\ell)} + \Delta H^{(\ell)}$) avant le calcul standard de l'attention.

3. Têtes de prédiction

La colonne vertébrale guidée par la mémoire prend en charge deux voies en aval :

• Raisonnement visuel : Les états cachés de la dernière couche sont adaptés via une attention croisée pour prédire des latents visuels futurs compacts (prévision visuelle).
• Inférence d'action : Un expert d'action léger utilise le cache KV de la colonne vertébrale comme contexte conditionnel pour décoder les trajectoires d'action via un débruitage par correspondance de flux (flow-matching).

4. Efficacité du système

La table de mémoire est conçue pour une recherche en O(1) par rapport à la taille totale de la mémoire. Pendant l'inférence, les indices sont déterminés uniquement par l'instruction et des fonctions de hachage fixes, permettant à de grandes tables de connaissances de résider dans la mémoire de l'hôte (CPU), tandis que la colonne vertébrale reste focalisée sur le raisonnement visuel.

Contributions clés

1. Cadre fonctionnellement découplé : Key-Gram sépare la récupération des connaissances mondiales côté instruction du raisonnement physique côté vision, réduisant la compétition des modalités dans le contrôle incarné.
2. Mémoire externe extensible : Elle stocke des priors linguistiques réutilisables dans une mémoire structurée accessible via une recherche par hachage déterministe. Cela permet une expansion modulaire des connaissances (ajout de nouveaux objets, compétences ou relations) sans réécrire les poids de la colonne vertébrale.
3. Gains de performance constants : L'approche démontre une amélioration de l'ancrage compositionnel, du transfert et de l'adaptation à travers diverses formulations linguistiques et environnements.

Résultats expérimentaux

Les auteurs ont évalué Key-Gram sur RoboTwin2.0, LIBERO, LIBERO-Plus et des tâches de manipulation réelle à deux bras en utilisant les colonnes vertébrales $\pi0$ et $\pi0.5$.

• RoboTwin2.0 : Key-Gram a amélioré les taux de réussite moyens de 29,5 % pour $\pi0$ et de 9,9 % pour $\pi0.5$. Les gains ont été particulièrement prononcés dans les paramètres « Difficiles » et avec des horizons plus longs.
• Transfert LIBERO-Plus : Dans un transfert sans tir (zero-shot) des modèles entraînés sur LIBERO vers LIBERO-Plus (sans affinage sur le domaine cible), Key-Gram a réalisé un gain relatif de 35,8 % pour $\pi0$ et de 4,5 % pour $\pi0.5$.
• Tâches à long horizon dans le monde réel : Sur une plateforme à deux bras Piper, Key-Gram a amélioré les performances moyennes de 15,4 % ($\pi0$) et de 8,1 % ($\pi0.5$). Les gains les plus importants ont été observés dans les tâches d'assemblage, suggérant que la mémoire aide à maintenir les relations entre les objets et les structures de sous-objectifs.
• Tâches d'expansion : Dans des combinaisons compositionnelles inédites (par exemple, recombiner des objets et des cibles), Key-Gram a considérablement amélioré les performances (par exemple, +34,6 % et +41,7 % pour $\pi0$ sur des tâches de transfert spécifiques), alors que les modèles de base échouaient souvent sur ces scénarios de recombinaison.
• Études d'ablation : L'analyse du placement des couches a révélé que l'injection de mémoire dans les premières couches (par exemple, la couche 1) est la plus critique, avec des rendements décroissants pour les injections plus profondes. Cela soutient l'hypothèse que les priors externes réduisent la charge liée à l'instruction sur la colonne vertébrale au début du pipeline de traitement.

Importance et revendications

L'article revendique que la séparation de la récupération des connaissances mondiales côté langage du raisonnement physique côté vision fournit un biais inductif plus efficace pour l'intelligence incarnée que la fusion dense de tokens ou le conditionnement génératif grossier.

Key-Gram adresse la tension entre les connaissances mondiales statiques et le raisonnement physique en ligne en traitant le langage comme un index extensible plutôt que comme un flux de tokens concurrent. En externalisant les connaissances dans une table de mémoire modulaire, le cadre permet :

• Croissance modulaire des connaissances : De nouvelles connaissances peuvent être ajoutées sous forme de nouvelles entrées sans écraser les poids existants.
• Protection contre les interférences de gradient : La mémoire existante est protégée lors de l'adaptation de la colonne vertébrale, rendant l'architecture naturellement compatible avec le déploiement dans un monde ouvert et l'accumulation continue.
• Mise à l'échelle efficace : Le motif de recherche en O(1) et la séparation de la mémoire du calcul permettent une gestion efficace de grandes bases de connaissances sans augmenter le coût computationnel de la colonne vertébrale visuelle.

Les auteurs concluent que cette direction légère et extensible offre un mécanisme pratique pour améliorer l'ancrage compositionnel et le transfert dans la manipulation incarnée.