Résumé Technique : DISC – Découplage de l'Instruction et du Contrôle Conditionné par l'État via la Génération de Politiques

1. Énoncé du Problème

L'article aborde une limitation fondamentale des politiques actuelles de manipulation robotique conditionnées par le langage : l'intrication tâche-état. Les architectures existantes (par exemple, Transformers, Politiques de Diffusion) traitent les instructions en langage naturel et les observations visuelles via des paramètres de réseau partagés. Les auteurs soutiennent que cette conception engendre deux défaillances critiques :

1. Tension d'Optimisation : Les paramètres partagés doivent simultanément apprendre la compréhension sémantique du langage (nécessitant une abstraction) et un contrôle visuomoteur précis (nécessitant une sensibilité spatiale), conduisant à des objectifs d'optimisation conflictuels.
2. Fuite d'Observation : Dans les ensembles de données robotiques limités, le contexte visuel est souvent fortement corrélé à l'identité de la tâche. Les architectures intriquées exploitent cela en apprenant des raccourcis « scène-vers-action », contournant entièrement l'instruction linguistique. Par conséquent, les politiques réussissent sur des scènes familières mais échouent lorsque les instructions changent ou que l'ambiguïté visuelle survient, car elles reposent sur des priors visuels plutôt que sur l'ancrage de la spécification de tâche linguistique.

2. Méthodologie : Architecture DISC

La solution proposée, DISC, découple structurellement la spécification de la tâche (langage) du contrôle conditionné par l'état. Au lieu de conditionner une politique universelle sur le langage, DISC utilise un hyper-réseau pour générer l'ensemble complet des paramètres d'une politique visuomotrice spécifique à la tâche, basés uniquement sur l'instruction.

Composants Principaux

• Hyper-réseau ($H_\phi$) : Prend une embedding d'instruction en langage ($e_l$) et produit les poids ($\theta_\pi$) pour une politique cible. La politique cible ($\pi_{\theta_\pi}$) reçoit uniquement des observations visuelles ($o_t$) et produit des actions ($a_t$). Parce que la politique cible n'a pas d'accès direct au langage, la sémantique de la tâche doit être encodée entièrement dans les poids générés, éliminant structurellement la fuite d'observation.
• Génération en Deux Étapes : Générer des poids cohérents de haute dimension est difficile. DISC emploie un processus en deux étapes pour assurer la qualité des paramètres :
  1. Réseau d'Initialisation des Poids (WIN) : Mappe l'embedding linguistique vers un point grossier, informé sémantiquement, dans l'espace des paramètres (par exemple, distinguer la préhension de la poussée).
  2. Module de Raffinement Itératif : Affine l'initialisation à travers $T$ étapes apprises. Ce module imite la structure de l'optimisation basée sur le gradient (passage avant, estimation de pseudo-gradient, mise à jour des paramètres) mais opère comme un réseau de neurones entièrement feed-forward. Il intègre un biais inductif pour l'optimisation sans engendrer le coût computationnel d'une descente de gradient réelle au moment de l'inférence.
• Politique Cible : Un contrôleur compact et spécifique à la tâche (implémenté comme un MLP léger) configuré par les poids générés.

Entraînement et Adaptation

• Entraînement : Le système est entraîné de bout en bout par clonage de comportement. La perte est rétropropagée à travers la politique cible et l'hyper-réseau pour mettre à jour les paramètres de l'hyper-réseau ($\phi$).
• Adaptation Few-Shot : Pour des tâches nouvelles, l'hyper-réseau génère une initialisation basée sur la nouvelle instruction. Cette initialisation, déjà alignée sémantiquement avec la variété de la tâche, est ensuite affinée sur un petit nombre de démonstrations. Cela transforme l'adaptation d'une recherche globale en un raffinement local, améliorant considérablement l'efficacité de l'échantillonnage.

3. Contributions Clés

• Découplage Architectural : L'article introduit une garantie structurelle contre la fuite d'observation en assurant que la sémantique de la tâche influence le comportement uniquement via les paramètres de politique générés, et non par des couches de traitement partagées.
• Hyper-réseau Inspiré de l'Optimisation : Une conception novatrice d'hyper-réseau qui utilise un processus de raffinement feed-forward appris pour générer des poids de politique cohérents et de haute dimension, comblant le fossé entre l'expressivité et la précision du contrôle.
• Variété Sémantique des Paramètres : La méthode apprend un espace de paramètres où des tâches sémantiquement similaires se regroupent géométriquement, permettant une adaptation robuste few-shot et une généralisation aux instructions reformulées.

4. Résultats Expérimentaux

Les auteurs évaluent DISC sur des benchmarks de simulation (LIBERO-90, Meta-World) et un benchmark combinatoire du monde réel.

• Performance Multi-Tâche :
  • Sur LIBERO-90, DISC atteint 94,3 % de réussite globale, surpassant la base intriquée la plus performante entraînée de zéro (OTTER, 86,6 %) de 7,7 %.
  • L'écart de performance s'élargit avec la complexité de la tâche : DISC surpasse les bases de +8,4 % sur les tâches à long horizon.
  • DISC dépasse le modèle préentraîné à grande échelle $\pi_0$ (91,6 %) malgré un entraînement de zéro, et reste compétitif avec $\pi_{0.5}$ (95,7 %).
  • Sur Meta-World, DISC atteint 92,2 % de réussite globale, surpassant toutes les bases.
• Atténuation de la Fuite d'Observation (Monde Réel) :
  • Dans un benchmark du monde réel où 9 tâches partagent des contextes visuels identiques (ne différant que par le langage), DISC atteint 86,4 % de réussite.
  • Les bases intriquées (par exemple, Octo) chutent à 78,5 %, échouant souvent à distinguer entre des tâches avec des configurations visuelles identiques mais des instructions différentes, confirmant que le découplage de DISC empêche les raccourcis visuels.
• Adaptation Few-Shot :
  • DISC démontre une efficacité d'échantillonnage supérieure. Avec seulement 1 à 3 démonstrations, il atteint des taux de réussite non triviaux là où les méthodes basées sur la diffusion peinent près de 0 %.
  • Il converge rapidement (en moins de 200 étapes) par rapport aux bases qui nécessitent de longues phases de « réchauffement ».
• Ancrage Linguistique :
  • Sous variation linguistique (instructions reformulées), DISC maintient une performance élevée (85,4 % sur LIBERO-90), alors que les modèles intriqués montrent une dégradation significative, indiquant que DISC ancre le sens de la tâche plutôt que de mémoriser des formulations spécifiques.

5. Signification et Revendications

L'article revendique que l'endroit où le langage entre dans une architecture de politique importe plus que la manière dont il est encodé. Les auteurs soutiennent que l'intrication tâche-état est un défaut structurel qui ne peut être entièrement résolu par la simple mise à l'échelle des données ou de la taille du modèle.

• Garantie Structurelle : En générant des paramètres spécifiques à la tâche, DISC fournit une garantie structurelle que la sémantique de la tâche est intégrée dans tout le contrôleur, empêchant le réseau d'apprendre des raccourcis qui contournent le langage.
• Efficacité vs Préentraînement : Les résultats suggèrent que les biais inductifs architecturaux (découplage) peuvent récupérer une grande partie du bénéfice attribué au préentraînement à grande échelle, permettant à des modèles entraînés de zéro de rivaliser ou de surpasser de grands modèles Vision-Language-Action (VLA) préentraînés.
• Robustesse : L'architecture découplée est particulièrement précieuse dans des scénarios complexes, à long horizon ou visuellement ambigus où les politiques intriquées échouent en raison d'erreurs d'ancrage accumulées.

Les auteurs concluent que si les grands VLA préentraînés sont complémentaires pour des environnements riches en données, DISC offre une approche supérieure pour les scénarios nécessitant un ancrage fiable, un contrôle efficace et une adaptation à partir de données robotiques limitées.