Résumé Technique : Émergence de l'Action à partir d'une Intent Streaming

Énoncé du Problème

Les systèmes actuels de conduite autonome de bout en bout peinent avec les scénarios « longue traîne » (par exemple, intersections ambiguës, virages non protégés, intégrations denses). Les auteurs soutiennent que la capacité manquante fondamentale est l'émergence de l'action : la capacité de générer des actions physiquement réalisables, sémantiquement appropriées et conformes à la sécurité dans des scènes arbitraires grâce à un raisonnement en temps réel, plutôt que par la récupération ou l'interpolation de mappings scène-action pré-appris.

Les paradigmes existants échouent à atteindre cet objectif en raison d'un manque de contrôlabilité fidèle à l'intention :

1. Les modèles autoregressifs (AR) ont tendance à effondrer l'avenir intrinsèquement multimodal en une seule trajectoire moyenne, produisant des compromis physiquement irréalisables (par exemple, une trajectoire qui n'est ni un virage ni un chemin droit).
2. Les modèles de Diffusion et d'Appariement de Flux (FM) peuvent représenter des distributions multimodales mais manquent d'un signal de conditionnement explicite pour orienter l'échantillonnage vers une intention raisonnée spécifique. Par conséquent, leur sortie est dominée par l'a priori des données et reste faiblement orientable.

Sans un mécanisme pour lier une intention de conduite discrète et raisonnée (par exemple, céder le passage, intégrer, tourner) à la trajectoire exécutée, les agents ne peuvent pas s'engager dans un plan lorsque plusieurs futurs sont plausibles.

Méthodologie : SI (Streaming Intent)

L'article propose SI (Streaming Intent), un modèle Vision-Language-Action (VLA) conçu pour réaliser l'émergence de l'action. SI est construit sur une seule colonne vertébrale de transformateur Qwen3-VL partagée, qui prend en charge conjointement une branche de langage autoregressive (AR) et une branche d'action par appariement de flux (FM).

Composants Principaux

1. Mécanisme d'Intent Streaming :

   • Streaming Sémantique : L'intention n'est pas prédite comme une étiquette isolée. Elle émerge plutôt d'un processus en quatre étapes de Chaîne de Pensée (CoT) (PERCEVOIR → PRÉDIRE → JUGER → PLANIFIER) décodée de manière autoregressive. La sortie finale est un token d'intention discret. Cela garantit que l'intention est causalement ancrée dans la compréhension de la scène.
   • Streaming Temporel : Pour maintenir la cohérence dans le temps, le token d'intention ($k_t$) du clip actuel est compressé en un token de mémoire et préfixé à l'entrée du clip suivant. Cela permet au modèle de conditionner les prédictions d'intention futures sur l'historique accumulé de l'épisode sans recalculer l'ensemble de la colonne vertébrale.

2. Guidage Sans Classificateur Piloté par l'Intention (CFG) :

   • La branche AR décode la CoT et émet un token d'intention, qui est analysé en l'une des 20 classes d'intention.
   • Cette classe d'intention pilote le Guidage Sans Classificateur (CFG) sur la tête d'action FM. Lors de l'inférence, le modèle effectue deux passages avant par étape de débruitage : l'un conditionné par l'intention spécifique ($k$) et l'autre non conditionné ($K$).
   • Le champ de vitesse final est une combinaison pondérée : $v_t = v_\theta(x_t, t; e(K)) + w [v_\theta(x_t, t; e(k)) - v_\theta(x_t, t; e(K))]$.
   • Cela permet à l'intention d'agir comme une dimension de direction continue, guidant la trajectoire vers la manœuvre engagée plutôt que vers l'a priori statistique.

3. Pipeline de Construction des Données :

   • Puisqu'aucun corpus existant ne fournit le triplet nécessaire (méta-action cinématique, CoT de raisonnement, intention), les auteurs ont construit un pipeline d'annotation en quatre étapes utilisant un VLM SOTA (Qwen3.5) pour générer une supervision dense sans coût d'annotation humaine.
   • Le pipeline extrait des clips en flux, applique un étiquetage cinématique basé sur des règles, génère des CoT structurés et des segments d'intention, et les agrège dans un ensemble d'entraînement unifié.

4. Optimisation de l'Inférence (Distillation CFG) :

   • Le CFG standard nécessite deux passages de colonne vertébrale par étape. Pour réduire de moitié le coût d'inférence, les auteurs distillent l'opérateur CFG à deux passages en un encodeur étudiant à passage unique.
   • Un DistilledIntentEmbedder léger ($\sim$21M de paramètres) est entraîné pour approximer le champ de vitesse corrigé par CFG. Cela réduit le coût d'inférence de la tête d'action de 50 % avec une dégradation de performance négligeable.

Contributions Clés

1. Formalisation de l'Émergence de l'Action : L'article définit l'émergence de l'action comme une capacité cible pour la conduite de bout en bout, identifiant l'intention de conduite comme l'ingrédient structurel manquant dans les modèles VA et VLA actuels.
2. Architecture Streaming Intent : La proposition d'un mécanisme qui ancre l'intention par le biais d'une CoT sémantique et la maintient via des tokens de mémoire temporelle, faisant le pont entre le raisonnement linguistique et la génération de trajectoire.
3. Contrôlabilité Fidèle à l'Intention : La démonstration qu'un seul VLA entraîné de bout en bout peut produire des familles de trajectoires qualitativement distinctes et de haute qualité pour la même scène simplement en variant la classe d'intention lors de l'inférence, sans dépendre de banques de trajectoires préconstruites ou de sélecteurs codés à la main.
4. Performance Empirique : Atteinte d'une performance agrégée compétitive sur le benchmark Waymo End-to-End tout en démontrant la contrôlabilité susmentionnée.

Résultats

Le modèle a été évalué sur le benchmark Waymo Open Dataset End-to-End (WOD-E2E).

• Métriques Agrégées :
  • Jeu de Validation : Atteint un RFS (Rater Feedback Score) de 7,96, surpassant la meilleure baseline précédente (RAP, 7,91) et toutes les autres méthodes rapportées.
  • Jeu de Test : Atteint un RFS de 7,74 avec un ADE de 1,24 m (3 s) et 2,81 m (5 s), cohérent avec les classements de validation.
• Émergence de l'Action et Contrôlabilité :
  • L'analyse qualitative montre que SI produit des familles de trajectoires fidèles à l'intention dans les scénarios longue traîne où les modèles de base (comme RAP) s'effondrent vers un mode dominant unique.
  • La variation de la classe d'intention lors de l'inférence génère des plans géométriquement distincts qui s'alignent sur les alternatives RFS notées par des humains, confirmant que la diversité n'est pas une variance aléatoire mais une couverture du répertoire d'actions plausible.
• Efficacité : La stratégie de distillation CFG a réussi à réduire de moitié le coût d'inférence (de 2 passages à 1) avec une baisse négligeable du RFS ($\sim$0,02) et de légères améliorations de l'ADE/FDE.

Signification et Revendications

Les auteurs affirment que SI représente le premier VLA entièrement de bout en bout à démontrer une contrôlabilité fidèle à l'intention découlant purement de l'apprentissage piloté par les données. Contrairement aux approches antérieures qui assemblent des banques de trajectoires ou utilisent des sélecteurs a posteriori, SI y parvient grâce à des représentations langage-action structurellement alignées.

L'article postule que le Streaming Intent offre une voie pratique vers l'émergence de l'action. En faisant de l'intention un engagement dynamiquement évolutif, causalement ancré et temporellement cohérent, le modèle peut raisonner à travers des scènes complexes et ambiguës pour s'engager dans des plans spécifiques. Les auteurs reconnaissent des limitations, notant que la performance sur les intentions minoritaires (par exemple, marche arrière, stationnement) est actuellement contrainte par la couverture des données dans les corpus de conduite vers l'avant, suggérant que le passage à l'échelle du pipeline d'annotation vers des ensembles de données plus vastes et plus diversifiés constitue la prochaine étape nécessaire.