💻 computer science

PRIME: Perception Feedback with Situational Memory Embeddings in VLA Models

PRIME introduit un mécanisme de rétroaction appris qui conditionne les requêtes perceptuelles Vision-Langage-Action (VLA) sur une nouvelle Mémoire Situationnelle afin de permettre une perception pilotée par l'intention, atteignant des performances de pointe sur le benchmark Bench2Drive avec un surcoût computationnel minimal.

Auteurs originaux : Erik Deinzer, Naya Baslan, Luca Paparusso, Narunas Vaskevicius, Peter Knott, Luigi Palmieri

Publié 2026-09-21

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Erik Deinzer, Naya Baslan, Luca Paparusso, Narunas Vaskevicius, Peter Knott, Luigi Palmieri

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Les véhicules autonomes dépendent depuis longtemps d'un flux d'informations rigide et unidirectionnel pour naviguer dans le monde. Dans ces systèmes, les caméras et les capteurs capturent l'environnement, transmettant des données brutes à un module de perception qui identifie des objets comme des voitures et des piétons. Cette information est ensuite transmise à un moteur de raisonnement qui décide de l'action à entreprendre, puis à un planificateur qui exécute les actions physiques de direction et d'accélération. Pendant des années, ce processus a été strictement descendant (feedforward) : la perception initiale de la scène se produit de manière isolée, aveugle aux objectifs ultimes du véhicule ou aux conclusions qu'il finira par en tirer. Une fois que le véhicule décide qu'il doit s'insérer sur une autoroute, cette décision ne peut pas revenir en arrière pour modifier la façon dont les caméras ont initialement perçu la route. Cela crée une lacune où le véhicule doit réinterpréter l'intégralité de la scène à partir de zéro à chaque instant, incapable d'utiliser ses propres intentions pour guider ce qu'il doit observer ensuite.

Une équipe de chercheurs a maintenant introduit une méthode pour combler cet écart, permettant aux plans futurs du véhicule d'influencer sa vision actuelle. Ils appellent leur système PRIME, une technique qui donne à la voiture une forme de mémoire situationnelle. Au lieu de traiter chaque nouvelle image de caméra comme un nouveau départ complet, PRIME permet au véhicule de se rappeler ce qu'il a récemment pensé, décidé et eu l'intention de faire. En réinjectant ces états internes dans l'étape de perception, le système peut orienter son attention pour se concentrer sur les détails spécifiques qui comptent pour son objectif actuel, plutôt que de traiter chaque entrée visuelle avec un poids égal. Cette approche suggère que pour qu'une machine puisse conduire en toute sécurité, elle ne doit pas seulement voir la route, mais aussi se souvenir de pourquoi elle la regarde.

Les chercheurs ont construit ce système en modifiant un modèle de conduite autonome existant appelé ORION. Dans la version standard de ce modèle, le véhicule traite les données visuelles, raisonne sur la scène et planifie un trajet selon une séquence linéaire. La nouvelle architecture PRIME ajoute une boucle de rétroaction qui relie la fin de ce processus au début. Le système maintient un tampon de mémoire tournant qui stocke six types différents d'informations provenant des moments de conduite précédents. Ceux-ci incluent les données visuelles brutes que la voiture vient de voir, les prédictions de mouvement qu'elle a faites pour les autres véhicules, les jetons de raisonnement de haut niveau qui expliquent la situation, les commandes de navigation spécifiques qu'elle a reçues et la trajectoire future qu'elle a l'intention de suivre.

Pour faire fonctionner cela, les chercheurs ont conçu un mécanisme qui récupère les parties les plus pertinentes de cette mémoire et les utilise pour ajuster la perception actuelle du véhicule. Avant que la voiture n'analyse une nouvelle image de ses caméras, elle consulte sa mémoire de ce qu'elle vient d'inférer et de planifié. Cette consultation agit comme un filtre, ordonnant au système de perception de porter une attention accrue aux caractéristiques qui s'alignent avec ses objectifs actuels. Par exemple, si le module de raisonnement du véhicule a décidé qu'il devait changer de voie, la boucle de rétroaction garantit que le système de perception donne la priorité aux marquages au sol et aux voitures à proximité pertinents pour cette manœuvre, plutôt que d'être distrait par des détails non pertinents ailleurs dans la scène. Le système fait cela sans avoir besoin de scanner à nouveau l'environnement ou d'effectuer un second calcul coûteux ; il ajuste simplement la manière dont il interprète les données qu'il possède déjà.

L'équipe a testé cette approche dans un environnement de conduite simulé en utilisant un benchmark appelé Bench2Drive, qui évalue la capacité d'un véhicule à terminer des itinéraires sans enfreindre les règles de circulation ou causer d'accidents. Ils ont comparé le nouveau système PRIME au modèle ORION original et à d'autres systèmes de conduite autonome de pointe. Les résultats ont montré une amélioration claire des performances. Le système PRIME a obtenu un score de conduite de 82,47, ce qui est nettement supérieur au score de 77,74 du modèle original. Il a également augmenté le taux de réussite de complétion des trajets de 54,62 % à 60,00 %. Ces gains sont particulièrement notables car les chercheurs ont réussi à ajouter cette capacité complexe de mémoire et de rétroaction en n'augmentant le nombre total de paramètres entraînables du modèle que d'une fraction infime, environ 0,41 %.

Crucialement, les chercheurs ont découvert que tous les types de mémoire n'étaient pas également utiles. Ils ont mené une série d'expériences pour voir quels éléments d'information spécifiques le véhicule avait besoin de mémoriser. Ils ont constaté que le simple fait de mémoriser plus de détails visuels sur la route ou de prédire où les autres voitures pourraient aller n'améliorait pas la capacité du véhicule à conduire en toute sécurité. En fait, s'appuyer uniquement sur ces mémoires perceptuelles rendait parfois la performance de conduite pire. Le système ne s'est amélioré que lorsqu'il était autorisé à mémoriser son propre raisonnement et ses propres intentions. La rétroaction la plus efficace provenait des « pensées » internes du véhicule sur la situation — son interprétation de la scène et ses objectifs de navigation planifiés. Cela suggère que la clé d'une meilleure conduite n'est pas seulement de mieux voir, mais de comprendre ce que l'on voit dans le contexte de ce que l'on prévoit de faire.

L'étude indique que les agents autonomes les plus performants sont ceux qui peuvent aligner leur perception sur leur intention. En permettant aux plans futurs du véhicule de façonner sa vision actuelle, le système PRIME crée une expérience de conduite plus cohérente où la perception et l'action sont étroitement liées. Les chercheurs notent que bien que leurs résultats soient prometteurs, ils sont basés sur des simulations et un expert d'entraînement spécifique. Ils suggèrent que les travaux futurs devraient explorer comment ce mécanisme de rétroaction se comporte avec différents styles de conduite et dans des conditions réelles. Cependant, la conclusion fondamentale reste robuste : donner à une machine la capacité de se souvenir de son propre raisonnement et de l'utiliser pour guider sa vision conduit à une conduite plus sûre et plus efficace.

Résumé Technique : PRIME – Perception Feedback with Situational Memory Embeddings in VLA Models

1. Énoncé du Problème

Les modèles actuels de Vision-Langage-Action (VLA) pour la conduite autonome, tels qu'ORION, fonctionnent principalement via un pipeline d'inférence de type feedforward à travers des modules de perception, de raisonnement et de planification. Bien que ces architectures maintiennent souvent une récurrence temporelle au sein du module perceptuel (par exemple, via des requêtes d'objets récurrentes dans un QT-Former), l'étape de perception précoce reste « aveugle » aux objectifs de raisonnement et de navigation en aval. Par conséquent, le modèle traite les entrées visuelles de manière agnostique, échouant à prioriser les indices informés par les décisions antérieures, les interprétations de la scène ou les comportements futurs anticipés.

Ce fossé interne contraste avec les principes de l'ingénierie de contrôle où les observateurs d'état (par exemple, les filtres de Kalman) propagent l'information des cycles précédents de détection et de décision pour informer les observations futures. Dans les modèles VLA, les états internes de haut niveau (interprétation, intention, comportement planifié) ne peuvent pas influencer directement la manière dont les observations suivantes sont encodées. Cette limitation force l'agent à redériver le contexte pertinent pour la décision à partir de l'observation actuelle seule, ce qui peut conduire à des échecs dans des scénarios nécessitant un contexte accumulé, comme la résolution d'occlusions ou l'exécution de manœuvres complexes comme un changement de voie.

2. Méthodologie : Architecture PRIME

Le document présente PRIME (Perception Feedback with Situational Memory Embeddings), une extension de l'architecture ORION conçue pour combler ce fossé via un mécanisme de rétroaction appris.

Mécanisme Central : Mémoire Situationnelle

PRIME introduit un module de Mémoire Situationnelle qui conserve les représentations latentes de l'évolution de la situation de conduite sur une fenêtre temporelle de $L$ étapes. Contrairement à la récurrence standard confinée au module perceptuel, cette mémoire agrège des sources de rétroaction provenant des trois niveaux de conscience situationnelle :

SA1 (Perception de la Scène) : Latents du QT-Former ( $Q$ ) et Prédictions de Mouvement Latentes ( $M$ ).
SA2 (Interprétation de la Situation et Intention) : Tokens de Raisonnement Latents ( $R$ ) de l'LLM et Commandes de Planification ( $P$ ).
SA3 (Prédiction Future) : Requêtes d'État de l'Ego prédites ( $S$ ) et Trajectoires de l'Ego prédites ( $T$ ).

Injection et Intégration de la Rétroaction

La mémoire est récupérée et intégrée dans l'avant-plan perceptuel (QT-Former) avant que le décodeur n'accède aux caractéristiques de la caméra actuelle. Cela conditionne les requêtes perceptuelles sur les interprétations et les attentes récentes de l'agent. Pour gérer les structures et cardinalités variables de ces six sources de rétroaction, PRIME utilise deux modules d'intégration spécialisés :

FiLMXAttn (pour les Sources Compactes) : Utilisé pour les sources à faible nombre de tokens comme les Tokens de Raisonnement ( $R$ ), les Commandes de Planification ( $P$ ) et les Trajectoires ( $T$ ). Il utilise un mécanisme de cross-attention spécifique à la source suivi d'une Modulation Linéaire par Caractéristique (FiLM) pour générer des paramètres de modulation affine ( $\gamma, \beta$ ) qui mettent à l'échelle et décalent les requêtes projetées.
Pooling d'Attention (pour les Sources à Haute Cardinalité) : Utilisé pour les ensembles structurés comme les Latents du QT-Former ( $Q$ ), les Prédictions de Mouvement ( $M$ ) et les Requêtes d'État de l'Ego ( $S$ ). Un ensemble appris de Requêtes d'Extraction porte attention à l'ensemble du tampon de mémoire, compressant les dimensions temporelles et structurelles en une représentation latente compacte avant l'intégration.

Stratégie d'Entraînement

Les auteurs proposent une méthodologie basée sur des adaptateurs légers pour étudier la rétroaction inter-étapes sans un réentraînement complet et coûteux de l'architecture de base. Le pipeline d'entraînement comprend :

Entraînement de l'Adaptateur : Gel du backbone et entraînement uniquement des modules de rétroaction.
Entraînement de l'Alignement : Optimisation conjointe du mécanisme de rétroaction et de l'encodeur perceptuel (QT-Former) tout en gardant l'LLM et le planificateur gelés.
Entraînement de Bout en Bout (E2E) : Dégel de toute la pile (y compris les paramètres LoRA pour l'LLM) pour permettre aux modules de raisonnement et de planification de s'adapter à la perception conditionnée par la rétroaction.

Les auteurs ont constaté qu'une stratégie séquentielle Alignement $\rightarrow$ E2E est cruciale ; un entraînement direct E2E ou un entraînement uniquement par Alignement a donné des résultats inférieurs à la référence, suggérant que l'encodeur perceptuel doit d'abord apprendre à interpréter le contexte situationnel récupéré avant que la pile complète puisse optimiser.

3. Principales Contributions

Module de Mémoire Situationnelle : Un composant à état conservant six sources de rétroaction latentes à travers les étapes de perception, de raisonnement et de planification, permettant une attention perceptuelle pilotée par l'intention.
Méthodologie d'Adaptateur Légère : Un cadre efficace en paramètres (ajoutant seulement ~29,7 millions de paramètres, soit 0,41 % du modèle de base de 7,3 milliards) qui isole et évalue les voies de rétroaction individuelles sans réentraînement complet.
Étude Empirique Systématique : Une étude déterminant que l'efficacité de la rétroaction dépend fortement du contenu sémantique des représentations stockées plutôt que du simple volume de l'historique perceptuel.
Amélioration des Performances : Démonstration qu'une rétroaction de bout en bout améliore significativement les performances de conduite autonome sur le benchmark Bench2Drive.

4. Résultats Expérimentaux

Évalué sur le benchmark en boucle fermée Bench2Drive utilisant les démonstrations Think2Drive :

Gains de Performance : PRIME a atteint un Score de Conduite (DS) de pointe de 82,47, soit une amélioration de +4,73 par rapport à la référence ORION (77,74). Le Taux de Succès (SR) a augmenté de +5,38 points de pourcentage pour atteindre 60,00 %.
Ablation des Sources :
- Rétroaction de Raisonnement ( $R$ ) : La rétroaction provenant de l'état de raisonnement de l'LLM était la seule configuration à source unique améliorant la performance de conduite en boucle fermée (DS +1,57 par rapport à la référence).
- Rétroaction Perceptive/Prédictive ( $Q, S$ ) : Bien que ces sources améliorent les métriques de perception en boucle ouverte (Score de Détection NuScenes), elles dégradent les performances de conduite en boucle fermée lorsqu'elles sont utilisées isolément.
- Diversité Inter-Étapes : Une mémoire purement perceptive (SA1 uniquement) a amélioré les métriques en boucle ouverte mais a considérablement dégradé les performances de conduite en boucle fermée (DS 64,18 contre 82,47 pour PRIME-Full). La Mémoire Situationnelle complète (couvrant SA1, SA2, SA3) a produit les meilleurs résultats.
Comparaison : PRIME-Full a atteint le score de conduite le plus élevé rapporté parmi les VLA publiés entraînés sur les démonstrations Think2Drive, surpassant ORION et GeRo.

5. Signification et Revendications

L'article affirme que la perception conditionnée par la rétroaction est une voie complémentaire et critique pour améliorer les modèles VLA, distincte des avancées dans la planification ou le raisonnement seuls.

Perception Pilotée par l'Intention : La conclusion principale est qu'une rétroaction efficace ne doit pas simplement préserver un historique perceptuel supplémentaire, mais doit propager des informations temporellement persistantes concernant l'interprétation de la scène, l'intention de navigation et le comportement futur. L'« État de Raisonnement » agit comme un a priori lié à la tâche, guidant l'encodeur perceptuel pour qu'il porte attention aux caractéristiques comportementalement pertinentes plutôt qu'aux simples données visuelles brutes.
Découplage des Métriques : Les résultats soulignent un décalage entre les métriques de perception en boucle ouverte (ex: précision de détection) et les performances de conduite en boucle fermée. Simplement augmenter la quantité d'informations disponibles pour la perception (via une mémoire perceptive) peut biaiser le modèle vers des représentations localement précises mais globalement sous-optimales.
Flexibilité Architecturale : La Mémoire Situationnelle est présentée comme un module généralisable qui peut être appliqué à toute architecture possédant une hiérarchie perception–raisonnement–planification, opérant à un coût computationnel minimal.

Les auteurs concluent que bien que leur travail soit une preuve de concept limitée à l'architecture ORION et à la politique experte Think2Drive, il établit que conditionner la perception sur des états internes de haut niveau est une stratégie viable pour améliorer la robustesse et la performance de la conduite autonome.