Resumen Técnico: Detección de la Complejidad de Escenarios de Conducción mediante Arquitectura de Embebido Conjunto con Cero Etiquetas

Declaración del Problema

Los conjuntos de datos de vehículos autónomos (AV) del mundo real están fuertemente sesgados hacia escenarios de conducción rutinarios y sin incidentes, lo que hace que la identificación de eventos raros, complejos y críticos para la seguridad sea laboriosa y costosa. Las soluciones existentes dependen de la anotación humana, clasificadores supervisados o conjuntos de reglas predefinidas, todos los cuales requieren un conocimiento previo sustancial o una recopilación de datos costosa. Los autores proponen una solución para descubrir la complejidad de los escenarios de forma enteramente sin etiquetas, planteando si un modelo puede identificar autónomamente escenarios exigentes basándose únicamente en su capacidad para predecir la dinámica futura de los agentes.

Metodología

Datos y Representación

El estudio utiliza el conjunto de datos nuPlan mini, extrayendo 1,322 escenarios (5 segundos cada uno a 10 Hz). A diferencia de los enfoques que utilizan píxeles brutos, este método opera sobre datos estructurados de estado de agentes. Cada escenario se representa como un tensor de forma $[50, 21, 6]$, que codifica 50 pasos temporales para hasta 21 agentes (el ego + 20 circundantes). Los seis atributos por agente incluyen posición ($x, y$), velocidad ($v_x, v_y$), orientación ($\theta$) y tipo de agente. Los datos se normalizan para asegurar que los valores típicos se sitúen cerca de $[-1, 1]$.

Arquitectura: Arquitectura de Embebido Conjunto Predictivo (JEPA)

El núcleo del enfoque es una Arquitectura de Embebido Conjunto Predictivo (JEPA) mínima entrenada en estados de agentes estructurados. La arquitectura consta de cuatro componentes:

1. Codificador de Contexto: Un Transformer de 4 capas que procesa los primeros 25 pasos temporales (ventana de contexto) para producir una representación latente $z_{ctx}$.
2. Predictor: Un Transformer de 2 capas que mapea $z_{ctx}$ a un futuro latente predicho $\hat{z}_{tgt}$, condicionado por un embebido de horizonte aprendible.
3. Codificador de Objetivo: Una copia idéntica del codificador de contexto que procesa los 25 pasos temporales futuros (ventana de objetivo) para producir el latente de verdad de campo $z_{tgt}$. Crucialmente, este codificador nunca se actualiza mediante retropropagación; sus pesos se actualizan únicamente mediante un Promedio Móvil Exponencial (EMA) de los pesos del codificador de contexto.
4. Decodificador de Posición: Un MLP pequeño que decodifica el latente predicho en posiciones futuras, sirviendo como una señal de supervisión auxiliar.

Objetivo de Entrenamiento

El modelo se entrena con una función de pérdida autosupervisada que combina dos términos:
$$\mathcal{L} = \underbrace{\|\hat{z}_{tgt} - z_{tgt}\|_2^2}_{\text{Pérdida JEPA}} + \lambda \underbrace{\|\hat{p} - p_{tgt}\|_2^2}_{\text{Pérdida de Posición}}$$
donde $\lambda = 0.1$. Los gradientes fluyen a través del codificador de contexto y el predictor, pero se detienen en el codificador de objetivo. La actualización EMA ($\alpha = 0.996$) evita el colapso de la representación al asegurar que el codificador de objetivo sea un promedio suavizado histórico del codificador de contexto.

Métrica de Complejidad: Puntuación de Sorpresa

En la inferencia, no se utilizan etiquetas. La puntuación de sorpresa ($s$) para un escenario se define como la distancia L2 entre el futuro latente predicho y el futuro latente real:
$$s = \|\hat{z}_{tgt} - z_{tgt}\|_2$$
Una puntuación alta indica que la predicción del modelo sobre el estado futuro fue inexacta, lo que implica que el escenario contenía interacciones complejas e inesperadas.

Contribuciones Clave

1. Puntuación de Complejidad con Cero Etiquetas: Los autores demuestran que un modelo JEPA entrenado en datos de conducción estructurados sin ninguna etiqueta produce puntuaciones de sorpresa que se correlacionan fuertemente con las etiquetas de la verdad de campo (por ejemplo, "giro sin protección", "proximidad de peatón").
2. Análisis de Ablación: Cuatro experimentos aíslan la fuente de la señal:
   • Puntuaciones Mezcladas (Shuffled): Confirman que la correlación no es un artefacto del proceso de análisis.
   • Codificador Aleatorio: Prueba que los pesos entrenados son necesarios (una inicialización aleatoria no produce correlación).
   • Línea Base de Velocidad Constante: Muestra que la predicción cinemática simple falla al clasificar correctamente escenarios complejos, asignando a menudo una baja sorpresa a eventos de aproximación lenta que preceden a maniobras complejas.
   • Entrenamiento Sin EMA: Demuestra que sin EMA, el modelo colapsa (la dispersión de la puntuación cae 44 veces), probando que el EMA es el mecanismo específico que permite el aprendizaje de la estructura temporal.
3. Detección de Anomalías Aguas Abajo: La puntuación de sorpresa sirve como un detector de anomalías zero-shot efectivo, logrando una Precisión Media (AP) de 0.512 frente a una línea base de azar de 0.436.

Resultados

• Correlación de Etiquetas: El modelo asigna puntuaciones de sorpresa significativamente más altas a etiquetas complejas como "inicio de giro sin protección" (1.978) y "cerca de peatón en paso de cebra" (1.834), mientras que asigna puntuaciones más bajas a etiquetas rutinarias como "siguiendo carril con vehículo líder" (1.406).
• Hallazgos de Ablación: La línea base de velocidad constante mostró una correlación moderada ($\rho=0.314$) pero falló en distinguir escenarios complejos que comienzan con una deceleración controlada. El modelo sin EMA falló por completo, con todos los escenarios recibiendo puntuaciones casi idénticas.
• Detección de Anomalías: El modelo JEPA entrenado fue el único método que se mantuvo consistentemente por encima de la línea base de azar a lo largo de toda la curva de clasificación. La línea base de velocidad constante cayó por debajo del azar tras el top 5% de los escenarios clasificados.
• Validación Cualitativa: La inspección visual de los 9 escenarios más sorprendentes reveló agrupamientos densos de agentes, intersecciones y cruces de peatones, mientras que los 9 menos sorprendentes mostraron seguimiento de carril paralelo y disperso.

Significado y Reivindicaciones

El artículo afirma que el error de predicción temporal en un modelo de mundo latente autosupervisado es un proxy práctico para la complejidad de los escenarios de conducción.

• Mecanismo: El modelo aprende a predecir la "esencia comprimida" de las interacciones futuras de los agentes. Se activa ante escenarios con dinámicas multi-agente inusuales en lugar de ruido visual o propiedades estáticas.
• Ventaja sobre la Cinemática: A diferencia de las líneas base de velocidad constante, el modelo JEPA reconoce que una deceleración controlada hacia una intersección es un precursor de eventos complejos, asignando puntuaciones de sorpresa más altas incluso antes de que ocurra la maniobra crítica.
• Practicidad: Este enfoque no requiere coste de anotación. Un solo modelo entrenado de extremo a extremo con un objetivo autosupervisado estándar puede curar automáticamente los conjuntos de datos al presentar escenarios complejos, abordando el problema del desequilibrio de datos en el desarrollo de la conducción autónoma.

Los autores mantienen un alcance modesto, señalando limitaciones como el uso del subconjunto mini de nuPlan (1,322 escenarios) y el acoplamiento actual al flujo de datos de nuPlan, sugiriendo que la calibración podría mejorar con datos a mayor escala.