Resumen Técnico: Atender la brecha entre el Privilegiado y la Cámara

Declaración del Problema

Los modelos de conducción autónoma centrados en cámaras predicen trayectorias futuras del vehículo ego utilizando únicamente imágenes RGB, características del estado del ego y comandos de ruta. Si bien los sistemas de extremo a extremo que mapean estos ingresos directamente a controles son escalables, los autores argumentan que la supervisión estándar de puntos de referencia (waypoints) por sí sola suele dejar la representación de los usuarios de la vía cercanos (actores) débilmente supervisada. En escenas urbanas complejas, la trayectoria del ego depende frecuentemente de un conjunto pequeño de vehículos, peatones o ciclistas específicos. Un objetivo de punto de referencia puro restringe el camino final, pero puede fallar al no forzar a las características intermedias de la imagen a codificar explícitamente qué actores existen, cuáles son relevantes o cómo se mueven.

El problema central abordado es si la supervisión a nivel de actor, basada únicamente en el entrenamiento, puede mejorar la predicción de puntos de referencia en bucle abierto basada solo en RGB sin requerir información de estado de los actores privilegiada (por ejemplo, coordenadas exactas del simulador) en el momento de la inferencia. Los autores pretenden cuantificar la "brecha entre el privilegiado y la cámara": la diferencia de rendimiento entre los modelos que utilizan estados exactos de los actores y aquellos que dependen únicamente de entradas de cámara.

Metodología

Descripción General del Marco de Trabajo

El enfoque propuesto trata la predicción de puntos de referencia centrada en la cámara como un problema de aprendizaje de representaciones centrado en actores y supervisado. El sistema introduce la Supervisión de Acompañante de Usuario de la Carretera (RU-sidecar): etiquetas auxiliares derivadas de forma offline de los estados del simulador que guían el entrenamiento de un modelo basado en cámara. Estas etiquetas nunca se utilizan como entradas de inferencia.

El marco consta de tres componentes principales:

1. Trayectoria de Cámara Desplegable: Un modelo estudiante que toma RGB multivista, estado del ego y comandos de ruta como entrada. Predice representaciones intermedias centradas en actores (tokens de actores), clasifica su relevancia, predice futuros de corto horizonte para los actores seleccionados y utiliza estos para predecir futuros puntos de referencia del ego.
2. Generador de Etiquetas Offline: Un módulo que procesa el estado del simulador para generar etiquetas de acompañante ($S_t$) para el entrenamiento. Estas incluyen:
   • Geometría y Atributos del Actor ($B_t$): Clase, posición, orientación, velocidad y máscaras de validez.
   • Etiquetas Ancladas a la Imagen ($G_t$): Ubicaciones proyectadas de los actores en las vistas de cámara.
   • Relevancia Condicionada al Objetivo ($C_t$): Una puntuación de relevancia ($c_i$) que clasifica a los actores basándose en la distancia, velocidad relativa, tiempo de conflicto, relevancia de carril de la ruta, estado de usuario vulnerable de la vía (VRU) y la superposición de la trayectoria futura del ego mediante retrospectiva (hindsight).
   • Futuros de Actores Seleccionados ($F_t$): Objetos de movimiento de corto horizonte para los $K$ mejores actores relevantes.
3. Trayectoria del Simulador No Desplegable: Un modelo de referencia de diagnóstico que utiliza estados exactos de los actores del simulador ($A_t$) como entrada. Este sirve como un oráculo para estimar la brecha de rendimiento restante y, opcionalmente, como profesor para la destilación.

Arquitectura del Modelo

El modelo desplegable utiliza un codificador visual compartido (ConvNeXt-Tiny) para procesar el historial RGB. Emplea una interfaz de estudiante que comprende:

• Cabezal de Token de Actor: Predice un conjunto fijo de ranuras (slots) de actores derivadas de la cámara y sus atributos.
• Selector: Clasifica las ranuras de actores por relevancia respecto al vehículo ego.
• Cabezal de Dinámica: Predice futuros de corto horizonte para los $K$ mejores actores seleccionados.
• Planificador de Puntos de Referencia: Atiende a los tokens de futuro de los actores seleccionados para predecir la trayectoria del ego.

Durante el entrenamiento, las ranuras predichas se emparejan con los actores del acompañante mediante un emparejamiento determinista de cercanía de centro (greedy nearest-center matching). Las pérdidas incluyen:

• Primaria: Pérdida de imitación de puntos de referencia ($L_{wp}$).
• Pérdidas del Acompañante: Objetividad/geometría ($L_{obj}$), atributos ($L_{attr}$), clasificación de relevancia ($L_{sel}$) y dinámica de actores seleccionados ($L_{dyn}$).
• Opcional - Destilación: Alineación con el profesor ($L_{dist}$) utilizando el modelo de estado del simulador.

Protocolo Experimental

Los experimentos utilizan una instantánea fija del simulador LMDrive con divisiones disjuntas de ruta (ninguna ruta aparece en múltiples divisiones). La evaluación es estrictamente en bucle abierto, midiendo el Error de Desplazamiento Final (FDE) y el Error de Desplazamiento Promedio (ADE) en rutas no vistas. El estudio compara:

• Un baseline de RGB de solo puntos de referencia simple.
• Un control de "no-profesor" emparejado (misma arquitectura, sin pérdidas de acompañante).
• Modelos RU-sidecar (con y sin alineación de profesor).
• Diagnósticos no desplegables (selección de actor de acompañante Oracle y dinámica de estado del simulador).

Resultados Clave

Rendimiento Cuantitativo

En la división de prueba, el modelo RU-sidecar sin alineación de profesor logró un Error de Desplazamiento Final (FDE) de 1.223 ± 0.01 m.

• Esto representa una reducción del 32.6% en comparación con el baseline de RGB de solo puntos de referencia (1.815 m).
• Representa una reducción del 28.7% en comparación con el control de no-profesor emparejado (1.716 m).
• El modelo mejoró sobre el baseline en 1445/1494 rutas y sobre el control emparejado en 1417/1494 rutas.

Alineación del Profesor: Añadir un profesor de estado del simulador redujo el FDE aún más a 1.186 m, pero introdujo una mayor variabilidad de la semilla. Los autores tratan esto como secundario a la robustez del resultado sin profesor.

Diagnósticos:

• El diagnóstico de actor seleccionado por el acompañante Oracle (usando la selección exacta de actores pero características de cámara) logró un FDE de 1.146 m.
• El diagnóstico de dinámica de actor del estado del simulador (usando estados exactos de los actores) logró un FDE de 0.174 m.
• La gran brecha entre el modelo RU-sidecar (1.223 m) y el diagnóstico de estado del simulador (0.174 m) confirma que permanece una significativa "brecha entre el privilegiado y la cámara".

Análisis de Segmentos (Slice Analysis)

Las mejoras fueron consistentes en todos los segmentos condicionados por actores no vacíos:

• Escenas de Alta Densidad de Actores: Reducción del 29.1% en FDE para muestras con $\ge$ 4 actores válidos del acompañante.
• Usuarios Vulnerables de la Vía (VRU): Reducción del 30.0% en FDE cuando hay un peatón o ciclista presente.
• Por Horizonte: Se observó una reducción del error en todos los 6 horizontes de predicción.

Hallazgos de Ablación

• Eliminar la supervisión del futuro del actor ($L_{dyn}$) o la supervisión del selector ($L_{sel}$) causó que el rendimiento retrocediera cerca del baseline, indicando que ambos componentes son críticos para las ganancias.
• El reponderado simple de la pérdida de puntos de referencia o los controles de profesor permutados produjeron mejoras insignificantes, sugiriendo que las ganancias son específicas a la estructura de supervisión centrada en actores.

Significación y Reivindicaciones

El artículo afirma demostrar que la supervisión de acompañante derivada del simulador y solo para el entrenamiento mejora significativamente la predicción de puntos de referencia en bucle abierto para modelos centrados en la cámara. Al formular el problema como un aprendizaje de representaciones centrado en actores, el modelo aprende a codificar la estructura de los usuarios de la vía (existencia, relevancia y movimiento) a partir de entradas RGB únicamente, lo que a su vez ayuda al planeamiento de la trayectoria.

Las contribuciones clave incluyen:

1. Formulación: Tratar la predicción de puntos de referencia centrada en la cámara como un problema de representación de actores supervisado.
2. Método: Introducir etiquetas de acompañante (RU-sidecar) para el anclaje de actores, relevancia y movimiento sin comprometer la inferencia basada solo en RGB.
3. Evaluación: Una "escalera de control" controlada que aísla los efectos de la supervisión de actores de los cambios arquitectónicos o el reponderado de pérdidas, utilizando divisiones disjuntas de ruta.
4. Cuantificación de la Brecha: Proporcionar evidencia empírica de la brecha restante entre las representaciones de cámara y los estados privilegiados de los actores.

Limitaciones y Modestia:
Los autores declaran explícitamente que sus afirmaciones se limitan a diagnósticos de simulación en bucle abierto. El estudio no establece seguridad en bucle cerrado, evitación de colisiones, transferencia al mundo real o preparación para el despliegue. Además, el cabezal de futuro del actor se caracteriza como un "mecanismo de formación de representación y condicionamiento del planificador" en lugar de un módulo de pronóstico desplegable, ya que su predicción de estado futuro absoluto (Dyn-FDE) sigue siendo deficiente. La principal afirmación respaldada es la eficacia de la receta RU-sidecar sin profesor, ya que la alineación con el profesor ofreció solo ganancias marginales con mayor inestabilidad.