Résumé Technique : Un cadre d'inférence-diagnostic-raffinement sensible à la causalité pour l'adaptation des modalités au moment du test dans les modèles VLA

1. Énoncé du Problème

Les modèles Vision-Langage-Action (VLA) prédisent des actions robotiques séquentielles basées sur des instructions linguistiques, des observations visuelles et des états proprioceptifs. Bien qu'efficaces, un défi critique subsiste dans la manière dont ces modèles fusionnent les modalités lors de l'exécution. La manipulation robotique implique des phases dynamiques (par exemple, mouvement à longue distance vs interaction à courte portée) où l'importance des observations visuelles fluctue au fil du temps.

Les modèles VLA existants, fondés sur l'apprentissage de données, reposent généralement sur une fusion multimodale statique, qui ne peut pas s'adapter à ces changements dynamiques. Des études récentes indiquent que l'importance visuelle varie selon les environnements, les architectures de modèles et les phases spécifiques de transition de mouvement. Estimer et exploiter cette importance visuelle dynamique pour des modèles VLA gelés au moment du test — sans réentraînement — demeure un problème ouvert. Les méthodes actuelles d'adaptation au moment du test ciblent souvent des modes de défaillance spécifiques (ex: l'effondrement du conditionnement linguistique) plutôt que de fournir un mécanisme général pour ajuster dynamiquement la dépendance aux modalités basée sur les effets causaux.

2. Méthodologie : Le Cadre IDR

Les auteurs proposent l'IDR (Infer-Diagnose-Refine), un cadre agnostique au modèle et sans entraînement, conçu pour affiner les prédictions d'action au moment du test en estimant les effets causaux des observations visuelles. Le cadre opère en trois étapes :

A. Inférer (Inférence Contrefactuelle)

Le cadre construit des scénarios contrefactuels pour découpler les entrées multimodales. Étant donné un modèle VLA gelé $\pi_{\theta^*}$ et des entrées $(v_t, s_t, l)$ à l'instant $t$ :

1. Action Factuelle : Calcul de l'action de base $a_{base,t} = \pi_{\theta^*}(v_t, s_t, l)$.
2. Actions Contrefactuelles : Application d'interventions par remplissage par zéro (zero-padding) pour isoler les modalités :
   • $a_{no\_img,t} = \pi_{\theta^*}(0_v, s_t, l)$ (Observation visuelle masquée).
   • $a_{no\_prop,t} = \pi_{\theta^*}(v_t, 0_s, l)$ (État proprioceptif masqué).
     Cela permet au modèle d'inférer comment l'action changerait si une modalité spécifique était absente.

B. Diagnostiquer (Quantification de l'Effet Causal)

Le cadre diagnostique l'importance dynamique des observations visuelles en mesurant le décalage de distribution entre les sorties factuelles et contrefactuelles :

1. Calcul de Déviation : Calcul des déviations d'action $\Delta_{img,t} = a_{base,t} - a_{no\_img,t}$ et $\Delta_{prop,t} = a_{base,t} - a_{no\_prop,t}$.
2. Estimation de Magnitude : Quantification de la magnitude de l'effet causal via la norme $L_2$ :
   • $E_{img,t} = \|\Delta_{img,t}\|_2$
   • $E_{prop,t} = \|\Delta_{prop,t}\|_2$
     Une valeur élevée de $E_{img,t}$ indique une forte dépendance à la vision (ex: lors d'une interaction à courte portée), tandis qu'une valeur faible suggère une importance visuelle supprimée (ex: lors d'un mouvement à longue distance).

C. Raffiner (Fusion Résiduelle à Porte)

Les effets causaux diagnostiqués guident un mécanisme de Fusion Résiduelle à Porte (Gated Residual Fusion) pour raffiner l'action de base :

1. Porte Dynamique : Une porte $g_t$ est activée uniquement lorsque l'importance visuelle est faible ($E_{img,t} < \tau$, où $\tau$ est un seuil). Cela empêche une sur-correction lorsque le modèle s'appuie déjà fortement sur la vision.
   • $g_t = \mathbb{I}[E_{img,t} < \tau]$
2. Régularisation Bornée : Pour éviter le tremblement (jitter) du contrôle à haute fréquence, un régulariseur proprioceptif borné module la correction proprioceptive par rapport à l'importance visuelle.
3. Action Finale : L'action raffinée est formulée comme suit :
   $$a_{final,t} = a_{base,t} + g_t \cdot (\alpha \Delta_{img,t} + w_{prop,t} \cdot u_{prop,t})$$
   Où $\alpha$ contrôle la force de l'affinement visuel, et $w_{prop,t}$ module dynamiquement le terme proprioceptif.

3. Contributions Clés

1. Cadre IDR : Un cadre sans entraînement et agnostique au modèle qui estime l'importance visuelle via l'inférence causale et raffine dynamiquement les actions au moment du test.
2. Affineur d'Action Sensible à la Causalité : Une implémentation spécifique utilisant des interventions par remplissage par zéro pour l'inférence contrefactuelle, une quantification par norme pour le diagnostic causal, et une fusion résiduelle à porte pour l'affinement sélectif de l'action.
3. Validation Complète : Expérimentations approfondies sur quatre backbones VLA ($\pi_{0.5}$, OpenVLA-OFT, X-VLA, VLA-Adapter), plusieurs benchmarks de simulation (LIBERO, SIMPLER, CALVIN) et des tâches de manipulation à deux bras en monde réel.

4. Résultats Expérimentaux

Benchmarks de Simulation

• LIBERO : IDR a amélioré les performances sur les quatre backbones testés. Des gains notables ont été observés sur VLA-Adapter (+1,40 % en moyenne) et $\pi_{0.5}$ (+1,25 %). X-VLA, qui est déjà dominant en proprioception, montre des gains plus faibles (+0,45 %), confirmant que l'IDR cible les indices visuels sous-utilisés.
• SIMPLER & CALVIN : L'IDR a démontré sa robustesse face aux changements de distribution (différents arrière-plans, éclairages et environnements inédits). Dans le réglage "Variant Aggregation" de SIMPLER, l'IDR a amélioré les performances de +6,33 %. Sur CALVIN, il a augmenté la longueur moyenne des sous-tâches complétées de 4,22 à 4,44.

Expériences en Monde Réel

Évalué sur une plateforme à deux bras ARX5 avec des tâches incluant "Grab Cola", "Fold Clothes", "Sweep Trash" et "Organize Table".

• Performance : Le taux de réussite moyen est passé de 56,5 % à 75,3 % (+18,8 %).
• Efficacité : Malgré la nécessité de trois passages directs (forward passes) par étape, le temps de complétion moyen pour les essais réussis a diminué de 53,6s à 41,5s grâce à des actions plus dirigées vers la tâche et une réduction des mouvements inutiles.
• Tâches à Long Horizon : Sur la tâche "Organize Table", l'IDR a atteint un taux de complétion totale de 33,3 % contre 0 % pour la ligne de base.

Études d'Ablation

• Stratégie d'Intervention : Le remplissage par zéro a surpassé le bruit gaussien et le remplissage par la valeur moyenne, fournissant le signal contrefactuel le plus clair.
• Hyperparamètres : La performance a culminé avec une échelle de correction $\alpha=0,08$ et un seuil $\tau$ approchant la moyenne de l'effet causal. L'intervention uniforme (sans porte) a dégradé les performances.
• Direction de la Modalité : Appliquer l'affinement guidé par la proprioception (pour un modèle dominant en proprioception) a entraîné de sévères chutes de performance, confirmant que les indices visuels sont le principal moteur de correction des tâches, même pour les modèles lourds en proprioception.

5. Signification et Revendications

L'article affirme que l'importance visuelle dans les modèles VLA est structurée mais non fixe ; elle varie considérablement selon les architectures, les environnements et les phases d'exécution. La signification de l'IDR réside dans sa capacité à :

• Diagnostiquer ces changements dynamiques sans réentraîner le modèle.
• Raffiner les actions en compensant explicitement les moments où le modèle sous-utilise l'information visuelle (ex: lors de mouvements à longue distance où le modèle pourrait trop compter sur la proprioception).
• Généraliser à travers divers backbones VLA et contextes de déploiement, offrant une stratégie pratique pour améliorer les modèles VLA gelés dans des scénarios réels.

Les auteurs reconnaissent une limitation principale : l'exigence de trois passages directs par étape de contrôle augmente la latence d'inférence. Ils suggèrent que les travaux futurs pourraient consister à distiller ces diagnostics causaux en ligne dans le modèle lors de l'entraînement pour permettre une adaptation implicite sans surcharge au moment du test.