🤖 AI

RetroMotion: Retrocausal Motion Forecasting Models are Instructable

RetroMotion es un modelo de predicción de movimiento basado en transformadores que descompone las predicciones complejas de múltiples agentes en distribuciones marginales y conjuntas utilizando un flujo de información retrocausal, logrando un rendimiento de vanguardia en conjuntos de datos principales mientras soporta de manera única el seguimiento de instrucciones adaptativo al escenario.

Autores originales: Royden Wagner, Omer Sahin Tas, Felix Hauser, Marlon Steiner, Dominik Strutz, Abhishek Vivekanandan, Jaime Villa, Yinzhe Shen, Carlos Fernandez, Christoph Stiller

Publicado 2026-04-30

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Royden Wagner, Omer Sahin Tas, Felix Hauser, Marlon Steiner, Dominik Strutz, Abhishek Vivekanandan, Jaime Villa, Yinzhe Shen, Carlos Fernandez, Christoph Stiller

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás de pie en una intersección concurrida, observando cómo se mueven los coches, los peatones y los ciclistas. Predecir hacia dónde irá cada uno en los próximos segundos es increíblemente difícil. Si intentas adivinar la trayectoria exacta de cada persona a la vez, el número de posibilidades explota, como intentar resolver un rompecabezas donde cada pieza puede tener un millón de formas diferentes.

El artículo "RetroMotion" presenta una nueva forma de que las computadoras resuelvan este rompecabezas. Aquí tienes el desglose de su enfoque utilizando analogías sencillas:

1. El Baile de Dos Pasos: Solo vs. Grupo

En lugar de intentar predecir a toda la multitud caótica de una sola vez, los autores dividen el problema en dos partes:

El Acto en Solitario (Pronósticos Marginales): Primero, la computadora observa a cada persona individualmente. Se pregunta: "Si este coche estuviera solo en la carretera, ¿hacia dónde iría?". Crea un "plan en solitario" para todos.
El Baile de Grupo (Pronósticos Conjuntos): A continuación, la computadora observa a las personas que están interactuando (como un coche esperando a que un peatón cruce). Toma esos "planes en solitario" y los mezcla para ver cómo encajan entre sí.

El Truco Mágico (Retrocausalidad):
Por lo general, predices el futuro basándote en el pasado. Pero este modelo utiliza un truco inteligente llamado "retrocausalidad". Piénsalo como escribir una historia. Por lo general, escribes el principio, luego el medio y finalmente el final. Pero este modelo escribe el final primero (basado en los planes en solitario) y luego utiliza ese final para reescribir el principio de la historia del grupo.

¿Por qué hacer esto? Es como darte cuenta: "Oh, si ese coche termina girando a la izquierda, debe haber empezado a frenar antes". Al conocer el destino, el modelo puede comprender mejor el inicio de la interacción. Esto hace que los pronósticos iniciales en solitario sean menos estresantes de perfeccionar, porque el paso del "baile de grupo" puede corregir cualquier pequeño error.

2. El Mapa "Borroso" (Incertidumbre)

Al predecir dónde estará un coche, no puedes dibujar simplemente una línea fina. Necesitas mostrar una "nube" de posibilidades porque el conductor podría desviarse o frenar.

La Vieja Forma: La mayoría de los modelos asumen que esta nube es un círculo perfecto (distribución normal) o una forma de diamante específica (distribución de Laplace).
La Forma de RetroMotion: Los autores dicen: "No forzamos a la nube a adoptar una forma específica". En su lugar, utilizan una forma flexible llamada Distribución de Potencia Exponencial.
La Analogía: Imagina intentar meter una nube de humo en un frasco de vidrio. Algunas nubes son redondas, otras planas, otras puntiagudas. En lugar de forzar el humo a entrar en un frasco redondo, este modelo moldea el frasco para que se ajuste perfectamente al humo. Descubrieron que estas "nubes de humo" suelen parecer un poco a diamantes (Laplace) pero con un toque de redondez mezclado, lo que las hace mucho más precisas.

3. El Truco de Compresión (DCT)

Predecir una trayectoria durante 8 segundos implica cientos de puntos de datos. Almacenar todos esos puntos es pesado y lento.

La Analogía: Imagina que tienes una cuerda larga y ondulada. En lugar de almacenar la posición exacta de cada centímetro de la cuerda, la describes utilizando unas pocas ondas simples (como un acorde musical).
El modelo utiliza una herramienta matemática llamada Transformada Discreta del Coseno (DCT) para comprimir la trayectoria en unas pocas "ondas". Esto hace que la computadora funcione más rápido e ignora pequeños temblores ruidosos que no importan, centrándose solo en el movimiento suave y real.

4. La Función "Instruible" (La Sorpresa)

La parte más sorprendente del artículo es que el modelo puede recibir instrucciones, aunque los investigadores no le enseñaron explícitamente a hacerlo.

El Experimento: Los investigadores tomaron la predicción del modelo para un coche y modificaron manualmente el final de la trayectoria para decir: "Ve a este punto específico" (una instrucción basada en un objetivo).
El Resultado: El modelo no simplemente siguió ciegamente la nueva trayectoria. Observó la nueva instrucción y dijo: "Vale, si el coche necesita ir allí, debe haber empezado a girar antes", y ajustó toda la trayectoria para que tuviera sentido con las normas de tráfico y los otros coches.
La Prueba de "Girar a la Izquierda": Incluso intentaron forzar a un coche a "Girar a la Izquierda" hacia el tráfico en sentido contrario (lo cual es ilegal). El modelo observó la instrucción, se dio cuenta de que era peligroso y dijo: "No, no puedo hacer eso", y ajustó la trayectoria del coche para que se mantuviera en su propio carril en su lugar.
La Conclusión: Al simplemente entrenar al modelo para que fuera bueno prediciendo el tráfico, aprendió accidentalmente a escuchar comandos y adaptarlos al mundo real.

Resumen

RetroMotion es un sistema de predicción de tráfico que:

Divide los problemas grandes en pequeños planes en solitario y luego los mezcla en un plan de grupo.
Utiliza un truco de "mirada hacia atrás" (usar el final para corregir el principio) para hacer que el plan de grupo sea más inteligente.
Utiliza "nubes" flexibles para predecir la incertidumbre, en lugar de formas rígidas.
Comprime los datos para funcionar rápidamente.
Sorprendentemente, aprendió a escuchar instrucciones humanas y a adaptarlas a la escena, todo sin haber sido enseñado explícitamente a seguir órdenes.

Los autores probaron esto con datos de conducción del mundo real (Waymo, Argoverse, V2X) y descubrieron que predice el tráfico mejor que los métodos anteriores y maneja muy bien las interacciones complejas.

Aquí se presenta un resumen técnico detallado del artículo "RetroMotion: Retrocausal Motion Forecasting Models are Instructable".

1. Enunciado del Problema

La predicción de movimiento para la conducción autónoma implica predecir las trayectorias futuras de múltiples usuarios de la vía (agentes). Esta tarea enfrenta dos desafíos principales:

Complejidad Exponencial: La distribución conjunta de trayectorias crece exponencialmente con el número de agentes. Modelar la distribución conjunta completa para todos los agentes en una escena es computacionalmente prohibitivo.
Modelado de Interacciones: Si bien las distribuciones marginales (predecir cada agente independientemente) son eficientes, no logran capturar interacciones complejas entre agentes. Por el contrario, los métodos existentes de modelado conjunto a menudo sufren de alta latencia de inferencia o se limitan a un pequeño número de agentes.
Falta de Control: Los modelos estándar de predicción de movimiento suelen ser "cajas negras" que no pueden ser guiados fácilmente por instrucciones de alto nivel (por ejemplo, "girar a la izquierda" o "ceder el paso a los peatones") sin reentrenamiento.

2. Metodología

Los autores proponen RetroMotion, un marco basado en transformadores que descompone la predicción de movimiento multiagente en componentes marginales y conjuntos, vinculados por un flujo de información retrocausal único.

A. Estrategia de Descomposición

El modelo separa la tarea en dos etapas:

Predicción Marginal: Un decodificador predice distribuciones de trayectorias independientes para todos los agentes en la escena.
Predicción Conjunta: Un segundo decodificador genera distribuciones conjuntas específicamente para agentes que interactúan.
- Flujo Retrocausal: En lugar de predecir trayectorias conjuntas directamente a partir de entradas crudas, el modelo re-codifica las distribuciones marginales para generar distribuciones conjuntas. Esto crea un flujo de información desde el "futuro" (predicciones marginales) hacia atrás a la etapa "anterior" de modelado conjunto.
- Modelado por Pares: El decodificador conjunto transforma las trayectorias a un marco de referencia local y utiliza mecanismos de atención para modelar interacciones. Aproxima la distribución conjunta completa ( $K^2$ combinaciones) enfocándose en pares de consultas diagonales, comprimiendo la información en $K$ pares mientras permite que los pares no diagonales actualicen a los diagonales mediante atención.

B. Modelado Probabilístico

Distribuciones de Potencia Exponencial Comprimidas: El modelo no asume distribuciones Gaussianas o Laplace estándar. En su lugar, modela la incertidumbre posicional utilizando una mezcla de distribuciones Normales y Laplace bivariadas (aproximando una distribución de Potencia Exponencial).
Compresión DCT: Para reducir la complejidad computacional y eliminar ruido de alta frecuencia, los parámetros de ubicación (medias $\mu$ ) de las distribuciones se comprimen utilizando Transformadas Discretas de Coseno (DCT). El modelo predice un pequeño conjunto de coeficientes DCT, los cuales luego se reconstruyen mediante la Transformada Discreta de Coseno Inversa (IDCT) para formar la trayectoria completa.

C. Arquitectura

Codificador de Escena: Procesa entradas multimodales (trayectorias pasadas, datos de carriles, semáforos) utilizando polilíneas y codificadores de transformadores para generar embebidos de contexto global de la escena.
Dos Decodificadores:
- Decodificador Marginal: Predice densidades de trayectorias por agente.
- Decodificador Conjunto: Toma las características marginales re-codificadas y el contexto de la escena para predecir distribuciones de interacción conjunta.
Función de Pérdida: Entrenado mediante Estimación de Máxima Verosimilitud (MLE) utilizando una pérdida multitarea que combina log-verosimilitudes negativas tanto para predicciones marginales como conjuntas, optimizada únicamente sobre las trayectorias más cercanas a la verdad fundamental.

3. Contribuciones Clave

Flujo de Información Retrocausal: El método conecta predicciones marginales y conjuntas re-codificando las predicciones marginales. Esto reduce la carga sobre las predicciones marginales iniciales y, crucialmente, crea una interfaz para emitir instrucciones. Al modificar las trayectorias marginales antes de la etapa de decodificación conjunta, el modelo puede adaptar sus predicciones conjuntas para seguir objetivos específicos.
Distribuciones de Potencia Exponencial Comprimidas: Los autores demuestran que modelar la incertidumbre con distribuciones de potencia exponencial aprendidas (aproximadas como mezclas Normal-Laplace) supera a las asunciones estándar de Normal o Laplace.
Seguimiento de Instrucciones Emergente: El artículo muestra que el entrenamiento estándar de predicción de movimiento habilita implícitamente al modelo para seguir instrucciones basadas en objetivos y direccionales sin un ajuste explícito de instrucciones. El modelo adapta comandos básicos (por ejemplo, "girar a la izquierda") al contexto de la escena (por ejemplo, evitando el tráfico entrante).
Eficiencia y Escalabilidad: El método soporta la predicción para hasta 8 agentes con baja latencia de inferencia (~60 ms en GPUs A6000), significativamente más rápido que los métodos de modelado conjunto basados en difusión.

4. Resultados Experimentales

El modelo fue evaluado en los conjuntos de datos Waymo Open Motion, Argoverse 2 y V2X-Seq.

Desafío de Predicción de Interacción Waymo:
- RetroMotion logró un mAP de 0.2519 (configuración híbrida SMoE), superando a bases fuertes como MTR++ (0.2326) y QCNeXt (0.2352).
- Demostró que el modelado conjunto mejora significativamente el tratamiento de las predicciones marginales como predicciones conjuntas (el mAP cayó de 0.2441 a 0.1797 cuando se eliminó la decodificación conjunta).
Generalización entre Conjuntos de Datos:
- Entrenado exclusivamente con datos de Waymo, RetroMotion se generalizó efectivamente a Argoverse 2 y V2X-Seq, superando a modelos especializados como Wayformer y RedMotion en términos de minFDE y Tasa de Fallo (Miss Rate).
Seguimiento de Instrucciones:
- Basado en Objetivos: Modificar las trayectorias marginales para coincidir con los objetivos deseados redujo el error de desplazamiento final (minFDE) en un 11.8%.
- Direccional: Cuando se dio una instrucción de "girar a la izquierda" que violaba las reglas de tráfico (por ejemplo, girar hacia carriles de tráfico entrante), el modelo adaptó con éxito la trayectoria conjunta para mantenerse en la carretera, reduciendo las tasas de superposición con otros agentes en un 22% y aumentando la probabilidad de estar en la carretera en un 33%.
Estudios de Ablación:
- El uso de distribuciones de Potencia Exponencial con compresión DCT arrojó los mejores resultados (mAP 0.195), superando a las distribuciones Normal (0.172) y Laplace (0.176) sin compresión.
- El análisis de los pesos de la mezcla reveló que las distribuciones aprendidas son predominantemente similares a Laplace, pero se benefician de un pequeño componente Normal.

5. Significado

RetroMotion representa un paso significativo hacia sistemas de conducción autónoma interpretables e interactivos.

Eficiencia: Resuelve el problema de escalabilidad de la predicción conjunta descomponiendo el problema y utilizando re-codificación retrocausal.
Alineación Humano-IA: El descubrimiento de que el entrenamiento estándar produce capacidades de seguimiento de instrucciones sugiere que los modelos de predicción de movimiento pueden aprender naturalmente a alinearse con la intención humana. Esto abre la puerta para que los operadores guíen el comportamiento del vehículo en casos extremos o escenarios complejos sin reentrenar el modelo.
Robustez: El uso de representaciones probabilísticas comprimidas hace que el modelo sea robusto al ruido específico del conjunto de datos y computacionalmente eficiente para su implementación en tiempo real.