Résumé Technique : SCALE pour les Modèles Vision-Langage-Action

Énoncé du Problème

Les modèles Vision-Langage-Action (VLA) sont devenus un paradigme de premier plan pour le contrôle robotique généraliste, exploitant des modèles Vision-Langage pré-entraînés (VLM) pour mapper des observations multimodales et des instructions linguistiques en actions. Cependant, ces modèles peinent souvent à faire preuve de robustesse dans des scénarios réels caractérisés par une ambiguïté perceptuelle (par exemple, des distracteurs visuellement similaires) et une multimodalité d'action (plusieurs actions plausibles).

Les stratégies existantes pour améliorer la robustesse au moment du test, connues sous le nom de Test-Time Scaling (TTS), souffrent généralement de trois limitations critiques :

1. Impraticabilité du déploiement : De nombreuses méthodes TTS nécessitent l'entraînement de vérificateurs externes ou de mécanismes d'auto-vérification, se dégradent lors de changements de domaine et entraînent des passes de calcul multiples, ce qui entre en conflit avec les contraintes de temps réel.
2. Perception Fixe : Les approches TTS actuelles n'interviennent qu'au stade du décodage de l'action tout en maintenant les représentations visuelles fixes. Cela est insuffisant lorsque l'ambiguïté perceptuelle nécessite que l'agent reconsidère comment percevoir la scène, et pas seulement quelle action entreprendre.
3. Métriques d'Incertitude Inadéquates : Les mesures d'incertitude existantes capturent souvent uniquement l'incertitude distributionnelle globale (par exemple, l'entropie) mais ne parviennent pas à rendre compte de la décision du modèle concernant son choix de premier rang (top-1), ce qui est crucial pour le décodage glouton utilisé dans la plupart des VLA.

Méthodologie : SCALE

Les auteurs proposent SCALE (Self-uncertainty Conditioned Adaptive Looking and Execution), une stratégie d'inférence simple, sans entraînement, qui module conjointement la perception visuelle et l'action en fonction de l'« auto-incertitude » intrinsèque du modèle. Inspirée par l'exploration pilotée par l'incertitude de la théorie de l'Inférence Active, SCALE opère en une seule passe directe sans vérificateurs externes.

1. Estimation de l'Auto-Incertitude

L'innovation centrale est une nouvelle métrique d'auto-incertitude ($u_t^k$) qui capture à la fois l'étalement de la distribution et la décision du top-1. Au lieu de s'appuyer sur une référence unique, SCALE définit deux distributions de référence :

• Référence de faible incertitude ($q_{low}$) : Une distribution "one-hot" centrée sur le jeton prédit top-1 du modèle, représentant une certitude totale.
• Référence de haute incertitude ($q_{high}$) : Une distribution uniforme sur le vocabulaire, représentant une ambiguïté totale.

Le score d'auto-incertitude est calculé comme la différence de divergence de Kullback-Leibler (KL) entre la distribution prédite ($p_t^k$) et ces deux références :
$$u_t^k = D_{KL}(p_t^k \parallel q_{low}) - D_{KL}(p_t^k \parallel q_{high})$$
Cette formulation positionne efficacement la prédiction sur un spectre de certitude. Un score positif indique que la distribution est plus proche de l'ambiguïté, tandis qu'un score négatif indique une grande confiance.

2. Mécanismes d'Inférence Adaptatifs

SCALE utilise ce signal d'incertitude pour moduler deux aspects complémentaires du pipeline VLA :

• Décodage d'Action Adaptatif (au niveau du jeton) : La température d'échantillonnage ($\tau_t^k$) pour les jetons d'action est ajustée dynamiquement en fonction de l'incertitude du jeton $u_t^k$.
  $$\tau_t^k = T_0 \cdot \sigma(u_t^k)$$
  où $\sigma$ est une fonction sigmoïde. En cas de haute incertitude, la température augmente pour encourager un échantillonnage diversifié et exploratoire. En cas de faible incertitude, la température diminue, permettant une exécution quasi-gloutonne.

• Attention Visuelle Adaptative (au niveau de l'étape) : Pour répondre à l'ambiguïté perceptuelle, SCALE module la température d'attention ($\gamma_t$) de l'encodeur de vision. Contra à le décodage d'action, qui utilise l'incertitude instantanée, la modulation visuelle répond aux changements de complexité de la scène.

  • Le système calcule une incertitude au niveau de l'étape ($u_t$) en faisant la moyenne des incertitudes des jetons.
  • Il suit une moyenne mobile exponentielle (EMA) de l'incertitude récente ($\bar{u}_{t-1}$).
  • L'écart ($\Delta u_{t-1} = u_{t-1} - \bar{u}_{t-2}$) détermine la température d'attention :
    $$\gamma_t = \kappa \tanh(\Delta u_{t-1})$$
  • Lorsque l'incertitude augmente au-dessus de la moyenne récente ($\Delta u > 0$), $\gamma_t > 1$, élargissant l'attention pour explorer la scène. Lorsque l'incertitude chute ($\Delta u < 0$), $\gamma_t < 1$, affinant l'attention pour se concentrer sur les indices pertinents à la tâche.

Cela crée une boucle de rétroaction où l'incertitude à un instant donné module l'échantillonnage de l'action tout en ajustant simultanément l'attention visuelle pour l'étape suivante, permettant une exécution adaptative en contrôle en boucle fermée.

Contributions Clés

1. Modulation Conjointe de la Perception et de l'Action : Contrairement aux méthodes TTS précédentes qui n'ajustent que le décodage d'action, SCALE adapte conjointement l'attention visuelle et l'échantillonnage d'action en fonction de l'auto-incertitude, traitant la cause profonde de l'échec dans les scénarios ambigus.
2. Efficacité en Passage Unique et Sans Entraînement : La méthode ne nécessite ni entraînement supplémentaire, ni vérificateurs externes, ni multiples passes de calcul, ce qui la rend pratique pour le déploiement robotique en temps réel.
3. Nouvelle Métrique d'Incertitude : La mesure d'incertitude à double référence proposée capture à la fois l'incertitude distributionnelle et la décision du top-1, surpassant les proxys existants comme l'entropie ou les scores de confiance.
4. Validation Empirique : L'approche est validée sur diverses architectures VLA autorégressives (OpenVLA, $\pi_0$-FAST, SpatialVLA) dans des environnements simulés et réels.

Résultats Expérimentaux

Les expériences ont été menées sur des benchmarks simulés (LIBERO, SIMPLER-WidowX, LIBERO-PRO-Long) et des tâches de ramassage et de placement réelles utilisant un bras UR10e.

• Gains de Performance : SCALE surpasse systématiquement les VLA de pointe (SoTA) et les méthodes TTS existantes. Sur le benchmark LIBERO avec OpenVLA, SCALE a atteint un taux de réussite moyen de 81,5 %, dépassant la base gloutonne (75,7 %) et les méthodes TTS nécessitant un entraînement comme MG-Select (70,8 %), RoboMonkey et TACO.
• Robustesse : Dans les expériences réelles, SCALE a amélioré les taux de réussite de +19,5 % (OpenVLA) et +13,9 % ($\pi_0$-FAST) dans des conditions de distribution identique (in-distribution), et respectivement de +16,7 % et +12,5 % dans des conditions de distribution différente (out-of-distribution) impliquant des objets non vus.
• Études d'Ablation :
  • La combinaison du décodage adaptatif et de l'attention visuelle adaptative a produit des gains synergiques (+10,6 % par rapport à la base), dépassant la somme des améliorations individuelles.
  • La métrique d'auto-incertitude proposée a surpassé les alternatives (entropie, impureté de Gini, auto-certitude) par une marge significative (63,3 % contre 57,8 % pour la deuxième meilleure).
  • La modulation de l'attention unimodale de l'encodeur de vision s'est avérée plus efficace que la modulation de l'attention cross-modale du backbone VLA.
• Efficacité : SCALE maintient l'efficacité du passage unique, alors que les méthodes nécessitant plusieurs échantillons (par exemple, Best-of-N) présentent des augmentations de latence allant jusqu'à 15,9x pour OpenVLA.

Signification et Revendications

L'article affirme que SCALE offre une solution pratique et efficace pour améliorer la robustesse des VLA sans la surcharge de calcul des méthodes TTS existantes. En s'appuyant sur les principes de l'Inférence Active, les auteurs démontrent que les agents peuvent réduire l'incertitude en modulant de manière adaptative à la fois leur façon de percevoir (attention visuelle) et ce qu'ils font (échantillonnage d'action).

Les auteurs soulignent que leur contribution est principalement méthodologique, se concentrant sur l'amélioration des architectures VLA existantes par une inférence adaptative plutôt que sur l'introduction de nouvelles capacités de modèle. Ils affirment que SCALE permet une opération plus fiable et sûre dans des environnements réels diversifiés en permettant aux robots de basculer dynamiquement entre l'exploration et l'exploitation en fonction de leur propre confiance prédictive. Le code est disponible publiquement pour faciliter la recherche et le déploiement ultérieurs.