Résumé Technique : PearlVLA

Problématique

Les modèles actuels de Vision-Langage-Action (VLA) sont confrontés à un compromis fondamental entre l'efficacité de la génération d'actions et la délibération explicite.

• Décodage Direct : Les approches standards décodent les actions directement à partir des représentations du backbone vision-langage. Bien que cela permette un contrôle à faible latence, cela offre peu d'opportunités pour la « délibération latente », empêchant la politique de prévisualiser les états futurs ou de s'autocorriger avant l'exécution.
• Raisonnement Explicite : Les méthodes alternatives introduisent des signaux de planification intermédiaires via des traces de raisonnement textuel, des sous-buts au niveau des pixels ou une recherche dans l'espace d'action. Bien que ces méthodes améliorent la planification, elles induisent une latence substantielle, une surcharge de calcul et des décalages de représentation (par exemple, le raisonnement textuel est éloigné du contrôle continu ; les futurs au niveau des pixels sont difficiles à mapper vers des actions).
• Le Fossé : Il existe un manque de mécanisme en boucle fermée efficace où le feedback futur est produit dans l'espace latent, s'adapte au plan latent actuel et affine ce plan avant le décodage de l'action, sans la surcharge de la génération de texte ou de la reconstruction de pixels.

Méthodologie : PearlVLA

PearlVLA est un framework qui déplace la délibération du plan d'action dans l'espace latent d'un Modèle de Vision-Langage (VLM). Au lieu de chaînes de raisonnement externes, il effectue un raffinement progressif d'un plan d'action latent via une boucle fermée impliquant un Modèle de Monde (WM) latent gelé.

Architecture Centrale

1. Initialisation du Plan Latent :

   • Le VLM (backbone OpenVLA-7B) produit des représentations de méta-requête ($z_{meta}$).
   • Celles-ci sont divisées en une branche de grounding visuel fixe ($z_{vis}$) et une branche de plan latent itératif ($\tilde{z}_0$).
   • Les tokens du plan initial ($z_0$) sont initialisés à partir de $\tilde{z}_0$ avec un faible bruit gaussien pour lisser la mise en correspondance avec l'espace de conditionnement du WM.

2. Requête de Monde Conditionnée par le Plan :

   • Le framework sépare la génération de la requête en une ancre fixe et un composant de plan dynamique :
     • $q_{anchor} = P_{vis}(z_{vis})$ (Grounding visuel fixe).
     • $q_k = q_{anchor} + \beta_k P_{plan}(z_k)$ (Terme dynamique dépendant du plan).
   • Ici, $\beta_k$ est un scalaire apprenable contrôlant l'écart de la requête par rapport à l'ancre, garantissant que la requête reste dans la distribution de conditionnement du WM latent pré-entraîné.

3. Raffinement en Boucle Fermée (K Rounds) :

   • Prédiction du Futur : À chaque tour $k$, le plan actuel $z_k$ génère une requête $q_k$. Un Modèle de Monde latent gelé (UWM) prédit une latence d'observation future sans action ($o_k$) conditionnée sur $q_k$. Crucialement, il s'agit d'un déploiement d'observation, et non d'un déploiement conditionné par l'action.
   • Mise à jour Résiduelle : Un RefineNet guidé par le futur prend le plan actuel $z_k$ et le résumé du feedback futur $s_k$ (encodé à partir de $o_k$) pour calculer une correction résiduelle $\delta_k$.
   • Réécriture (Write-Back) : Le plan est mis à jour : $z_{k+1} = z_k + w_k \delta_k$.
   • Ordonnancement (Scheduling) : Un ordonnancement de réécriture décroissant ($w_k$) permet des corrections globales grossières dans les premiers tours et des corrections locales fines dans les tours ultérieurs.

4. Décodage d'Action :

   • Après $K$ tours, le plan latent raffiné $z_K$ est décodé en parallèle par une tête d'action légère en un bloc d'actions continues de $H$ étapes. Cela préserve le chemin d'exécution à faible latence des politiques VLA directes.

Objectifs d'Entraînement

1. Apprentissage Supervisé (SFT) :

   • Minimise l'MSE entre le bloc d'actions prédit et les actions expertes.
   • Inclut une Perte d'Alignement de l'Enseignant (Teacher Alignment Loss) : Assure que les requêtes de monde projetées ($q_k$) restent proches de la variété de conditionnement du WM latent gelé, stabilisant la boucle.
   • Inclut une perte de Transformée en Cosinus Discrète (DCT) pour la modélisation d'actions dans le domaine fréquentiel.

2. Apprentissage par Renforcement par Groupe de Raffinement Causal (CRG-PRL) :

   • Une étape d'apprentissage par renforcement qui optimise la trajectoire de raffinement.
   • Mécanisme : Il traite la boucle de raffinement comme un MDP interne. Pour un état donné, il échantillonne plusieurs « branches résiduelles » (éditions différentes) et évalue le futur imaginé induit par chaque édition en utilisant un modèle de récompense gelé (Robometer-4B).
   • Avantage Relatif au Groupe (Group-Relative Advantage) : Pour isoler l'effet causal de l'édition de la difficulté de l'état de départ, les récompenses sont standardisées au sein d'un groupe de branches partageant le même état de base. Cela évite le besoin d'une fonction de valeur (critique) apprise.
   • Garde-fous : Inclut la divergence KL par rapport à la politique supervisée, des pénalités sur l'amplitude de l'édition et des ancres de clonage de comportement pour éviter la dérive.

Contributions Clés

1. Framework de Délibération Latente : Introduction de PearlVLA, qui effectue un raffinement progressif du plan d'action entièrement dans l'espace latent du VLM, évitant le raisonnement explicite textuel ou au niveau des pixels.
2. Feedback Futur en Boucle Fermée : Conception d'un mécanisme où une requête de monde conditionnée par le plan sonde un WM latent gelé pour obtenir un futur imaginé mis à jour, qui est ensuite réinjecté pour affiner le plan sans reconstruction de pixels ou déploiement dans l'espace d'action.
3. Schéma de Raffinement Stable : Proposition d'un schéma de mise à jour résiduelle ancrée. Une requête d'ancre maintient la requête de monde dans l'espace de conditionnement pré-entraîné, tandis qu'une réécriture résiduelle ordonnancée contrôle la dérive du plan latent, permettant un raffinement du grossier au fin.
4. Optimisation Guidée par la Récompense : Développement de CRG-PRL, une méthode d'apprentissage par renforcement qui optimise la trajectoire de raffinement en utilisant des récompenses relatives au groupe issues de futurs imaginés, isolant l'effet causal des éditions latentes sans fonction de valeur.
5. Performance de l'État de l'Art : Démonstration que la combinaison du raffinement guidé par le futur et de l'optimisation guidée par la récompense atteint une performance supérieure sur le benchmark LIBERO.

Résultats Expérimentaux

Évalué sur le benchmark LIBERO (suites Spatial, Object, Goal, et Long-horizon) :

• Résultats Principaux : PearlVLA (Supervisé) a atteint un taux de succès moyen de 98,5 %, surpassant le solide baseline OpenVLA-OFT (97,1 %) et d'autres VLAs basés sur le flow-matching ou la diffusion.
• Avec CRG-PRL : Le modèle final a atteint un taux de succès moyen de 98,7 %, établissant un nouvel état de l'art.
• Robustesse : Sur LIBERO-Plus (perturbations contrôlées de la disposition, de la caméra, de l'éclairage, etc.), PearlVLA a atteint 76,3 % de succès, dépassant significativement OpenVLA-OFT (69,6 %).
• Ablations :
  • L'augmentation des tours de raffinement ($K$) de 0 à 4 a amélioré la performance de 96,8 % à 98,5 %.
  • Robustesse Long-Horizon : Avec des blocs d'actions étendus ($H=20$), l'écart de performance entre le décodage raffiné ($K=4$) et le décodage direct ($K=0$) s'est creusé. Le raffinement latent a réduit la chute du taux de succès de 3,2 points (direct) à 1,7 point (raffiné), démontant une meilleure cohérence d'action et une réduction de la dérive en boucle ouverte.

Signification et Revendications

L'article affirme que PearlVLA répond à un fossé concret dans les politiques VLA en internalisant la planification anticipatrice au sein de l'espace latent de la politique.

• Efficacité vs Raisonnement : Il démontre qu'une délibération de type « Système 2 » peut être réalisée sans la latence des chaînes de raisonnement explicites ou le coût computationnel de la recherche dans l'espace d'action.
• Délibération Optimisable : Le processus de raffinement n'est pas seulement un a priori architectural fixe mais un mécanisme optimisable. Le succès de CRG-PRL confirme que la trajectoire des éditions latentes peut être améliorée via des signaux de récompense dérivés de futurs imaginés.
• Généralisation : Le framework étend le concept de raisonnement latent (précédemment exploré dans les modèles de langage) à la planification d'action incarnée, où le calcul intermédiaire rend compte conjointement de la scène actuelle et du futur impliqué par l'évolution du plan.

Limites notées par les auteurs : L'implémentation actuelle utilise une profondeur de raffinement fixe ($K$) pour toutes les requêtes, quel que soit la complexité de la tâche. Les travaux futurs suggèrent de rendre cette profondeur adaptative en fonction de l'incertitude ou des signaux de cohérence future.