Open-World Motion Forecasting

Este trabajo introduce el primer marco de pronóstico de movimiento de clase incremental en un entorno abierto que, mediante estrategias de autoetiquetado y muestreo de replay, mitiga el olvido catastrófico para predecir trayectorias de agentes dinámicos directamente desde imágenes de cámara, permitiendo la adaptación continua de sistemas de conducción autónoma a nuevas clases de objetos.

Lo esencial

Imagina que estás aprendiendo a conducir un coche autónomo. Hasta ahora, los "profesores" (los algoritmos de IA) solo te enseñaban a conducir en un mundo muy estricto: solo conocían a los coches, los peatones y las bicicletas. Si aparecía un patinete eléctrico nuevo o un camión de reparto raro, el sistema se confundía o, peor aún, si le enseñabas sobre los patinetes, olvidaba cómo conducir con los coches que ya sabía manejar. A esto los expertos le llaman "olvido catastrófico".

Este paper presenta una solución genial llamada OMEN (Open-World Motion PrEdictioN), que es como un sistema de aprendizaje continuo para coches autónomos. Aquí te lo explico con analogías sencillas:

1. El Problema: El "Cerebro" que Olvida

Imagina que tienes un cerebro que aprende a reconocer animales. Primero aprende "perros". Luego le enseñas "gatos". Pero, al aprender a identificar gatos, tu cerebro borra todo lo que sabía sobre perros. Ahora, si ves un perro, piensa que es un gato o no sabe qué es.
En la conducción autónoma, esto es peligroso. Si el coche olvida cómo predecir el movimiento de un coche porque aprendió sobre un camión nuevo, podría chocar.

2. La Solución: OMEN (El Estudiante Políglota)

Los autores proponen un nuevo escenario llamado "Predicción de Movimiento en Mundo Abierto". En lugar de darle al coche una lista fija de cosas que debe conocer, le permiten aprender cosas nuevas mientras conduce, sin borrar lo anterior.

OMEN funciona con dos trucos principales:

A. El "Detective con Gafas Mágicas" (Etiquetado Pseudo + VLM)

Cuando el coche ve una nueva clase de objeto (digamos, un patinete eléctrico) por primera vez, no tiene un manual de instrucciones (etiquetas correctas) para aprender.

• El truco: El sistema usa su propia "intuición" (un modelo antiguo) para adivinar dónde están los objetos viejos (coches, peatones) en el video y crea "etiquetas falsas" (pseudo-etiquetas) para ellos.
• El filtro: Aquí entra la magia. Usan un Modelo de Lenguaje Visual (VLM), que es como un detective muy listo que tiene una cámara y un diccionario gigante. El detective mira la imagen y dice: "Oye, esa etiqueta falsa dice que es un coche, pero visualmente parece una roca. ¡Bórralo!".
• Resultado: El sistema aprende de los nuevos objetos (patinetes) sin ensuciarse con errores sobre los viejos.

B. La "Caja de Recuerdos Selectiva" (Replay por Varianza)

Para no olvidar lo viejo, los sistemas suelen guardar ejemplos antiguos en una memoria. Pero guardar todo es imposible (el coche no tiene espacio infinito).

• El problema: Si guardas 100 fotos de coches estacionados, tu cerebro se aburre y olvida cómo predecir el movimiento de un coche que gira rápido.
• La solución de OMEN: En lugar de guardar fotos al azar, OMEN guarda los momentos más interesantes. Imagina que tienes una caja de recuerdos y solo guardas las fotos donde la gente estaba bailando o corriendo (movimiento complejo), y tiras las fotos donde todos estaban quietos.
• Cómo lo hace: Mira la "confusión" interna del sistema. Si el sistema estaba muy seguro de qué iba a hacer un objeto, no lo guarda. Si el sistema dudó o vio un movimiento extraño, ese es el recuerdo que guarda. Así, cuando el coche repasa su memoria, practica con los casos difíciles y no pierde su habilidad para predecir movimientos complejos.

3. ¿Qué logran con esto?

• Aprendizaje Continuo: El coche puede aprender a reconocer y predecir el movimiento de un nuevo tipo de vehículo (como un dron o un patinete) sin tener que volver a aprender desde cero cómo funcionan los coches.
• Cero Olvido: Mantienen su habilidad para predecir a los peatones y coches mientras aprenden lo nuevo.
• Prueba en la Vida Real: Lo probaron con un coche real en la calle y funcionó incluso con cosas que nunca había visto antes en los datos de entrenamiento (transferencia "zero-shot").

En Resumen

OMEN es como un conductor que nunca deja de aprender. Si ves un animal nuevo en la carretera, el conductor lo aprende a identificar y predecir su movimiento, pero no olvida cómo frenar ante un semáforo o esquivar a un niño. Utiliza un "detective" para verificar lo que ve y una "memoria selectiva" para recordar solo las situaciones más emocionantes y difíciles, asegurándose de que el coche sea seguro hoy, mañana y cuando aparezcan nuevos tipos de vehículos en el futuro.

Es un paso gigante para que los coches autónomos dejen de ser robots rígidos y se conviertan en conductores adaptables y seguros en un mundo real que cambia constantemente.

Resumen técnico

Resumen Técnico: OMEN - Predicción de Movimiento en Mundo Abierto

1. El Problema: Limitaciones del Paradigma de Mundo Cerrado

La predicción de movimiento es crucial para la navegación segura de vehículos autónomos, ya que permite anticipar el comportamiento futuro de los agentes dinámicos. Sin embargo, los enfoques existentes operan bajo un paradigma de mundo cerrado, lo que implica dos suposiciones restrictivas que fallan en escenarios reales:

• Taxonomía fija: Se asume que el conjunto de clases de objetos (ej. coches, peatones) es conocido y exhaustivo desde el inicio.
• Percepción perfecta: Se asume acceso a trayectorias pasadas precisas derivadas de sistemas de percepción casi perfectos.

En la realidad, los sistemas de percepción cometen errores y surgen constantemente nuevas clases de objetos (ej. patinetes eléctricos, vehículos autónomos no vistos antes). Adaptar un modelo a estas nuevas clases requiere re-entrenamiento completo con datos re-etiquetados, lo cual es costoso e impráctico. Además, el ajuste fino (fine-tuning) simple sobre nuevos datos provoca olvido catastrófico, degradando el rendimiento en las clases previamente aprendidas.

2. Metodología: OMEN (Open-World Motion PrEdictioN)

Los autores proponen OMEN, el primer marco de trabajo end-to-end (de extremo a extremo) diseñado para la predicción de movimiento incremental por clases. El objetivo es aprender nuevas clases secuencialmente a partir de imágenes de cámaras, manteniendo el rendimiento en las clases antiguas sin acceso a sus datos originales.

La arquitectura se basa en dos mecanismos complementarios:

A. Generación de Pseudo-etiquetas Guiada por VLM (Visión-Lenguaje)
Dado que no se tienen etiquetas reales para las clases antiguas en los nuevos datos, el sistema debe generarlas:

1. Pseudo-etiquetas de detección y movimiento: Se utiliza el modelo entrenado en el paso anterior ($\Phi_{i-1}$) para generar cajas 3D y trayectorias futuras para las clases conocidas en los nuevos datos.
2. Filtrado de falsos positivos: Para evitar que el modelo aprenda patrones erróneos o acumule falsos positivos (común cuando la confianza del modelo aumenta con el tiempo), se emplea un Modelo de Visión-Lenguaje (VLM), específicamente Grounded SAM 2.
   • El VLM genera máscaras 2D para las clases conocidas.
   • Se proyectan puntos clave de las detecciones 3D del modelo sobre las imágenes.
   • Si la mayoría de los puntos de una detección caen dentro de una máscara del VLM de la misma clase, la pseudo-etiqueta se valida como verdadera. De lo contrario, se descarta.

B. Replay de Experiencia Basado en Varianza de Consultas (Sequence-Based Experience Replay)
Para mitigar el olvido catastrófico sin almacenar grandes volúmenes de datos:

• Se utiliza un búfer de replay pequeño que almacena secuencias completas (no solo imágenes individuales) para preservar el contexto temporal.
• Estrategia de selección innovadora: En lugar de seleccionar muestras basadas en similitud de características de imagen (como DINOv3), OMEN selecciona secuencias basándose en la varianza de las características latentes de las consultas de movimiento (motion queries).
• Se calcula la media de las consultas de movimiento por clase y se seleccionan las secuencias con la mayor desviación cuadrática respecto a esta media. Esto asegura que el búfer contenga patrones de movimiento informativos y diversos (lineales y no lineales), maximizando la retención de conocimiento sobre agentes dinámicos.

Extensión a Planificación:
El marco se extiende naturalmente a la planificación incremental de bucle abierto, concatenando una consulta para el vehículo ego con las consultas de los objetos para predecir su propia trayectoria futura.

3. Contribuciones Clave

1. Formalización de una nueva tarea: Introducción del problema de "Predicción de Movimiento en Mundo Abierto" como un escenario de aprendizaje incremental de clases end-to-end.
2. OMEN: El primer enfoque diseñado específicamente para este escenario, capaz de integrar nuevas clases semánticas con pocos datos etiquetados.
3. Filtrado de errores con VLM: Una estrategia de pseudo-etiquetado que utiliza modelos de visión-lenguaje para filtrar inconsistencias visuales y mantener la calibración del modelo.
4. Mecanismo de Replay basado en Varianza: Un método de selección de búfer que prioriza la diversidad de patrones de movimiento en el espacio latente, superando a las estrategias basadas en imágenes.
5. Validación en Escenarios Reales: Demostración de transferencia zero-shot a un vehículo autónomo real y extensión a la planificación de trayectorias.

4. Resultados Experimentales

El método se evaluó en los conjuntos de datos nuScenes y Argoverse 2 bajo configuraciones de aprendizaje incremental (por clase y por grupo).

• Rendimiento General: OMEN supera a los baselines (incluyendo CL-DETR adaptado y estrategias de pseudo-labeling simples) en métricas de precisión media (mAP) para la predicción de movimiento.
• Mitigación del Olvido: El enfoque demuestra una capacidad superior para retener el conocimiento de clases antiguas (especialmente objetos en movimiento con trayectorias no lineales) mientras aprende nuevas clases.
• Comparativa:
  • En nuScenes, OMEN alcanza un mAP global de 15.60%, superando a CL-DETR (14.35%) y acercándose al límite superior de entrenamiento conjunto (19.87%).
  • En Argoverse 2, OMEN casi iguala el rendimiento del entrenamiento conjunto en la predicción de objetos lineales.
• Planificación: En tareas de planificación de bucle abierto, el modelo reduce progresivamente el error L2 y la tasa de colisiones a medida que aprende nuevas clases, demostrando que la mejora en la predicción se traduce en una planificación más segura.
• Transferencia Zero-Shot: Se demostró que el modelo entrenado en nuScenes puede predecir el movimiento de coches y peatones en un vehículo autónomo real (con una configuración de cámara y entorno diferentes) sin re-entrenamiento específico.

5. Significado e Impacto

Este trabajo representa un avance fundamental hacia la adaptabilidad continua de los sistemas de conducción autónoma.

• Viabilidad Operativa: Elimina la necesidad de re-etiquetado masivo de datos históricos y re-entrenamiento completo cada vez que aparece un nuevo tipo de vehículo o peatón.
• Eficiencia de Recursos: Al utilizar un búfer de replay pequeño y selectivo, es viable para su implementación en dispositivos edge (a bordo del vehículo) con restricciones de almacenamiento.
• Robustez: Al integrar la percepción directa de imágenes con la predicción de movimiento y el filtrado semántico, el sistema es más robusto ante errores de detección y cambios en el entorno.

En conclusión, OMEN cierra la brecha entre la investigación académica (mundo cerrado) y la realidad operativa (mundo abierto), proporcionando un marco escalable para que los vehículos autónomos evolucionen continuamente junto con su entorno.