💻 computer science

PRIME: Perception Feedback with Situational Memory Embeddings in VLA Models

PRIME introduce un mecanismo de retroalimentación aprendido que condiciona las consultas perceptivas de Visión-Lenguaje-Acción (VLA) en una Memoria Situacional novedosa para permitir una percepción impulsada por la intención, logrando un rendimiento de vanguardia en el benchmark Bench2Drive con una sobrecarga computacional mínima.

Autores originales: Erik Deinzer, Naya Baslan, Luca Paparusso, Narunas Vaskevicius, Peter Knott, Luigi Palmieri

Publicado 2026-09-21

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Erik Deinzer, Naya Baslan, Luca Paparusso, Narunas Vaskevicius, Peter Knott, Luigi Palmieri

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Los vehículos autónomos han dependido durante mucho tiempo de un flujo de información rígido y unidireccional para navegar por el mundo. En estos sistemas, las cámaras y los sensores capturan el entorno, alimentando un módulo de percepción que identifica objetos como coches y peatones. Esta información pasa luego a un motor de razonamiento que decide qué hacer y, finalmente, a un planificador que ejecuta las acciones físicas de dirección y aceleración. Durante años, este proceso ha sido estrictamente de alimentación hacia adelante (feedforward): la percepción inicial de la escena ocurre de forma aislada, ciega a los objetivos finales del vehículo o a las conclusiones que este llegará a extraer eventualmente. Una vez que el vehículo decide que necesita incorporarse a una autopista, esa decisión no puede retroceder para cambiar la forma en que las cámaras vieron originalmente la carretera. Esto crea una brecha donde el vehículo debe reinterpretar toda la escena desde cero en cada momento, incapaz de usar sus propias intenciones para guiar hacia dónde mirar después.

Un equipo de investigadores ha introducido ahora un método para cerrar esta brecha, permitiendo que los planes futuros del vehículo influyan en su visión actual. Llaman a su sistema PRIME, una técnica que otorga al coche una forma de memoria situacional. En lugar de procesar cada nuevo fotograma de la cámara como un comienzo completamente nuevo, PRIME permite al vehículo recordar qué pensó, decidió e intentó hacer recientemente. Al alimentar estos estados internos de vuelta a la etapa de percepción, el sistema puede preparar su atención para enfocarse en los detalles específicos que importan para su objetivo actual, en lugar de tratar cada entrada visual con el mismo peso. Este enfoque sugiere que, para que una máquina conduzca de forma segura, no solo debe ver la carretera, sino también recordar por qué la está mirando.

Los investigadores construyeron este sistema modificando un modelo de conducción autónoma ya existente conocido como ORION. En la versión estándar de este modelo, el vehículo procesa datos visuales, razona sobre la escena y planifica una ruta en una secuencia lineal. La nueva arquitectura PRIME añade un bucle de retroalimentación que conecta el final de este proceso con el principio. El sistema mantiene un búfer de memoria rotativo que almacena seis tipos diferentes de información de los momentos previos de la conducción. Estos incluyen los datos visuales brutos que el coche acaba de ver, las predicciones de movimiento que realizó para otros vehículos, los tokens de razonamiento de alto nivel que explican la situación, los comandos de navegación específicos que recibió y la trayectoria futura que pretende seguir.

Para que esto funcione, los investigadores diseñaron un mecanismo que recupera las partes más relevantes de esta memoria y las utiliza para ajustar la percepción actual del vehículo. Antes de que el coche analice una nueva imagen de sus cámaras, consulta su memoria de lo que acaba de inferir y planificar. Esta consulta actúa como un filtro, indicando al sistema de percepción que preste más atención a las características que se alinean con sus objetivos actuales. Por ejemplo, si el módulo de razonamiento del vehículo ha decidido que necesita cambiar de carril, el bucle de retroalimentación asegura que el sistema de percepción priorice las marcas del carril y los coches cercanos relevantes para esa maniobra, en lugar de distraerse con detalles irrelevantes en otras partes de la escena. El sistema hace esto sin necesidad de volver a escanear el entorno o realizar un segundo cálculo costoso; simplemente ajusta cómo interpreta los datos que ya posee.

El equipo probó este enfoque en un entorno de conducción simulado utilizando un punto de referencia llamado Bench2Drive, que evalúa qué tan bien puede un vehículo completar rutas sin romper las reglas de tráfico o causar accidentes. Compararon el nuevo sistema PRIME contra el modelo ORION original y otros sistemas de conducción autónoma líderes. Los resultados mostraron una clara mejora en el rendimiento. El sistema PRIME logró una puntuación de conducción de 82.47, que es significativamente superior a la puntuación de 77.74 del modelo original. También aumentó la tasa de éxito en la finalización de viajes del 54.62 por ciento al 60.00 por ciento. Estas ganancias fueron particularmente notables porque los investigadores lograron añadir esta compleja capacidad de memoria y retroalimentación aumentando el número total de parámetros entrenables del modelo solo en una fracción mínima, aproximadamente el 0.41 por ciento.

Crucialmente, los investigadores descubrieron que no todos los tipos de memoria eran igualmente útiles. Realizaron una serie de experimentos para ver qué piezas específicas de información necesitaba recordar el vehículo. Encontraron que el simple hecho de recordar más detalles visuales sobre la carretera o predecir hacia dónde irían otros coches no mejoraba la capacidad del vehículo para conducir de forma segura. De hecho, depender únicamente de estas memorias perceptivas a veces empeoraba el rendimiento de la conducción. El sistema solo mejoró cuando se le permitió recordar su propio razonamiento e intenciones. La retroalimentación más efectiva provino de los "pensamientos" internos del vehículo sobre la situación: su interpretación de la escena y sus objetivos de navegación planificados. Esto sugiere que la clave para una mejor conducción no es solo ver más, sino entender qué se está viendo en el contexto de lo que se planea hacer.

El estudio indica que los agentes autónomos más exitosos son aquellos que pueden alinear su percepción con su intención. Al permitir que los planes futuros del vehículo den forma a su visión actual, el sistema PRIME crea una experiencia de conducción más cohesiva donde la percepción y la acción están estrechamente vinculadas. Los investigadores señalan que, aunque sus resultados son prometedores, se basan en simulaciones y en un experto de entrenamiento específico. Sugieren que el trabajo futuro debería explorar cómo este mecanismo de retroalimentación funciona con diferentes estilos de conducción y en condiciones del mundo real. Sin embargo, el hallazgo central sigue siendo sólido: dar a una máquina la capacidad de recordar su propio razonamiento y usarlo para guiar su visión conduce a una conducción más segura y efectiva.

Resumen Técnico: PRIME – Percepción con Retroalimentación mediante Incrustaciones de Memoria Situacional en Modelos VLA

1. Planteamiento del Problema

Los modelos actuales de Visión-Lenguaje-Acción (VLA) para la conducción autónoma, como ORION, operan principalmente a través de un flujo de inferencia de alimentación hacia adelante (feedforward) a través de módulos de percepción, razonamiento y planificación. Si bien estas arquitecturas suelen mantener la recurrencia temporal dentro del módulo perceptivo (por ejemplo, mediante consultas de objetos recurrentes en un QT-Former), la etapa temprana de percepción permanece "ciega" a los objetivos de razonamiento y navegación descendentes. En consecuencia, el modelo procesa las entradas visuales de forma agnóstica, fallando al no priorizar señales informadas por decisiones previas, interpretaciones de la escena o comportamientos futuros anticipados.

Esta brecha interna contrasta con los principios de la ingeniería de control, donde los observadores de estado (por ejemplo, filtros de Kalman) propagan información de los ciclos previos de detección y decisión para informar observaciones futuras. En los modelos VLA, los estados internos de alto nivel (interpretación, intención, comportamiento planificado) no pueden influir directamente en cómo se codifican las observaciones subsiguientes. Esta limitación obliga al agente a re-derivar el contexto relevante para la decisión basándose únicamente en la observación actual, lo que puede conducir a fallos en escenarios que requieren un contexto acumulado, como resolver oclusiones o ejecutar maniobras complejas como un cambio de carril.

2. Metodología: Arquitectura PRIME

El artículo presenta PRIME (Percepción con Retroalimentación mediante Incrustaciones de Memoria Situacional), una extensión de la arquitectura ORION diseñada para cerrar esta brecha mediante un mecanismo de retroalimentación aprendido.

Mecanismo Central: Memoria Situacional

PRIME introduce un módulo de Memoria Situacional que retiene representaciones latentes de la evolución de la situación de conducción durante una ventana temporal de $L$ pasos. A diferencia de la recurrencia estándar confinada al módulo perceptivo, esta memoria agrega fuentes de retroalimentación de los tres niveles de conciencia situacional:

SA1 (Percepción de la Escena): Latentes de QT-Former ( $Q$ ) y Predicciones de Movimiento Latente ( $M$ ).
SA2 (Interpretación de la Situación e Intención): Tokens de Razonamiento Latente ( $R$ ) del LLM y Comandos de Planificación ( $P$ ).
SA3 (Predicción Futura): Consultas de Estado del Ego Predichas ( $S$ ) y Trayectorias del Ego Predichas ( $T$ ).

Inyección e Integración de Retroalimentación

La memoria se recupera e integra en el front-end perceptivo (QT-Former) antes de que el decodificador atienda a las características de la cámara actual. Esto condiciona las consultas perceptivas a las interpretaciones y expectativas recientes del agente. Para manejar las diversas estructuras y cardinalidades de estas seis fuentes de retroalimentación, PRIME emplea dos módulos de integración especializados:

FiLMXAttn (para Fuentes Compactas): Utilizado para fuentes de pocos tokens como los Tokens de Razonamiento ( $R$ ), Comandos de Planificación ( $P$ ) y Trayectorias ( $T$ ). Utiliza un mecanismo de atención cruzada específico de la fuente seguido de una Modulación Lineal Dependiente de Características (FiLM) para generar parámetros de modulación afín ( $\gamma, \beta$ ) que escalan y desplazan las consultas proyectadas.
Agrupación por Atención (para Fuentes de Alta Cardinalidad): Utilizado para conjuntos estructurados como los Latentes de QT-Former ( $Q$ ), Predicciones de Movimiento ( $M$ ) y Consultas de Estado del Ego ( $S$ ). Un conjunto aprendido de Consultas de Extracción atiende a todo el búfer de memoria, comprimiendo las dimensiones temporales y estructurales en una representación latente compacta antes de la integración.

Estrategia de Entrenamiento

Los autores proponen una metodología ligera basada en adaptadores para estudiar la retroalimentación cruzada entre etapas sin necesidad de un costoso reentrenamiento de extremo a extremo de todo el backbone. El flujo de entrenamiento involucra:

Entrenamiento de Adaptadores: Congelar el backbone y entrenar solo los módulos de retroalimentación.
Entrenamiento de Alineación: Optimizar conjuntamente el mecanismo de retroalimentación y el codificador perceptivo (QT-Former) manteniendo el LLM y el planificador congelados.
Entrenamiento de Extremo a Extremo (E2E): Descongelar toda la pila (incluyendo los parámetros LoRA para el LLM) para permitir que los módulos de razonamiento y planificación se adapen a la percepción condicionada por la retroalimentación.

Los autores descubrieron que una estrategia secuencial de Alineación $\rightarrow$ E2E es crucial; el entrenamiento directo E2E o el entrenamiento solo de Alineación obtuvieron resultados por debajo de la línea base, lo que sugiere que el codificador perceptivo debe primero aprender a interpretar el contexto situacional recuperado antes de que la pila completa pueda optimizarse.

3. Contribuciones Clave

Módulo de Memoria Situacional: Un componente con estado que agrega seis fuentes de retroalimentación latente a través de las etapas de percepción, razonamiento y planificación, permitiendo una atención perceptiva impulsada por la intención.
Metodología de Adaptador Ligero: Un marco de parámetros eficientes (que añade solo ~29.7M de parámetros, o el 0.41% del modelo base de 7.3B) que aísla y evalúa las vías de retroalimentación individuales sin un reentrenamiento completo.
Investigación Empírica Sistemática: Un estudio que determina que la efectividad de la retroalimentación depende fuertmente del contenido semántico de las representaciones almacenadas más que del volumen de la historia perceptual.
Mejora del Rendimiento: Demostración de que la retroalimentación de extremo a extremo mejora significativamente el rendimiento de la conducción autónoma en el benchmark Bench2Drive.

4. Resultados Experimentales

Evaluado en el benchmark de lazo cerrado Bench2Drive utilizando demostraciones de Think2Drive:

Ganancias de Rendimiento: PRIME logró un Puntaje de Conducción (DS) de vanguardia de 82.47, una mejora de +4.73 sobre la línea base de ORION (77.74). La Tasa de Éxito (SR) aumentó en +5.38 puntos porcentuales hasta alcanzar el 60.00%.
Ablación de Fuentes:
- Retroalimentación de Razonamiento ( $R$ ): La retroalimentación desde el estado de razonamiento del LLM fue la única configuración de fuente única que mejoró el rendimiento de conducción en lazo cerrado (DS +1.57 sobre la línea base).
- Retroalimentación Perceptiva/Predictiva ( $Q, S$ ): Aunque estas fuentes mejoraron las métricas de percepción de lazo abierto (Puntuación de Detección de NuScenes), degradaron el rendimiento de conducción en lazo cerrado cuando se usaron de forma aislada.
- Diversidad de Etapas Cruzadas: Una memoria solo de percepción (solo SA1) mejoró las métricas de lazo abierto pero degradó sustancialmente el rendimiento de la conducción en lazo cerrado (DS 64.18 frente a 82.47 para PRIME-Full). La Memoria Situacional completa (que abarca SA1, SA2, SA3) produjo los mejores resultados.
Comparación: PRIME-Full alcanzó el Puntaje de Conducción más alto reportado entre los VLA publicados entrenados con demostraciones de Think2Drive, superando a ORION y GeRo.

5. Significado y Reivindicaciones

El artículo afirma que la percepción condicionada por retroalimentación es una vía complementaria y crítica para mejorar los modelos VLA, distinta de los avances en planificación o razonamiento por sí solos.

Percepción Impulsada por la Intención: El hallazgo principal es que la retroalimentación efectiva no debe limitarse a preservar la historia perceptual adicional, sino que debe propagar información temporalmente persistente sobre la interpretación de la escena, la intención de navegación y el comportamiento futuro. El "Estado de Razonamiento" actúa como un prior consciente de la tarea, guiando al codificador perceptivo para atender a características conductualmente relevantes en lugar de solo datos visuales brutos.
Desacoplamiento de Métricas: Los resultados resaltan una desconexión entre las métricas de percepción de lazo abierto (ej. precisión de detección) y el rendimiento de conducción en lazo cerrado. Simplemente aumentar la cantidad de información disponible para la percepción (mediante memoria perceptual) puede sesgar al modelo hacia representaciones que son localmente precisas pero globalmente subóptimas.
Flexibilidad Arquitectónica: La Memoria Situacional se presenta como un módulo generalizable que puede aplicarse a cualquier arquitectura con una jerarquía de percepción–razonamiento–planificación, operando con un costo computacional mínimo.

Los autores concluyen que, si bien su trabajo es una prueba de concepto limitada a la arquitectura ORION y a la política experta de Think2Drive, establece que condicionar la percepción a estados internos de alto nivel es una estrategia viable para mejorar la robustez y el rendimiento de la conducción autónoma.