Resumen Técnico: Reconstrucción de Tokens Neurales para el Cuello de Botella de Tokens de Escena en la Conducción de Extremo a Extremo

1. Declaración del Problema

Los métodos recientes de conducción autónoma de extremo a extremo (E2E) libres de percepción omiten las salidas de percepción explícitas (por ejemplo, detección, segmentación) mediante la compresión de tokens densos de parches de imagen en un conjunto compacto de "tokens de escena". Estos tokens sirven como la única interfaz visual entre el backbone de visión y el planificador de trayectoria.

La limitación central identificada en este trabajo es que estos tokens de escena reciben supervisión únicamente de la función de planificación (generación de trayectoria y puntuación). Esto proporciona únicamente restricciones débiles sobre la información visual fina preservada durante la compresión. En consecuencia, los tokens de escena aprendidos tienden a desarrollar representaciones redundantes con patrones de atención espacial altamente superpuestos, fallando en preservar evidencia visual diversa e informativa necesaria para una planificación robusta. Este problema es análogo a los fallos conocidos en los Transformers de Visión donde los tokens de agregación derivan hacia una codificación perezosa sin supervisión explícita.

La pregunta fundamental abordada es: ¿Cómo pueden los tokens de escena compactos preservar la información visual relevante para la planificación sin supervisión de percepción explícita?

2. Metodología: Reconstrucción de Tokens Neurales (NTR)

Los autores proponen la Reconstrucción de Tokens Neurales (NTR), un marco de auto-destilación diseñado para supervisar directamente el cuello de botella de los tokens de escena durante el entrenamiento. El marco opera sin modificar la arquitectura del planificador ni introducir cabezales de percepción explícitos en el tiempo de inferencia.

Mecanismo Central

NTR introduce un objetivo de reconstrucción de latentes enmascarados que obliga a los tokens de escena compactos a actuar como la única memoria para reconstruir las características latentes de parches a nivel de parche enmascarado.

1. Configuración de Auto-destilación:
   • Codificador en Línea (Online Encoder): Procesa imágenes enmascaradas para generar tokens de escena y características de parches enmascaradas.
   • Profesor EMA: Una copia de promedio móvil exponencial (EMA) del codificador en línea procesa imágenes limpias para proporcionar objetivos latentes con gradiente detenido ($Z_{v,*}$).
2. Proceso de Reconstrucción:
   • Un decodificador ligero intenta reconstruir las características latentes del profesor en ubicaciones de parches específicas.
   • Crucialmente, el decodificador solo realiza atención cruzada con los tokens de escena compactos ($\tilde{S}_{v,m}$) y no tiene acceso a las salidas de parches densas en línea.
   • Esta restricción arquitectónica asegura que los gradientes de reconstrucción deban pasar exclusivamente a través del cuello de botella de los tokens de escena, obligando a los tokens a codificar evidencia visual más rica y menos redundante para satisfacer la pérdida de reconstrucción.

Asignación Guiada por Semántica

Para mejorar la eficiencia y relevancia de la reconstrucción, NTR utiliza prioris semánticos derivados de la segmentación de modelos fundacionales (por ejemplo, SAM3).

• En lugar de un enmascaramiento aleatorio uniforme, los objetivos de reconstrucción se asignan hacia regiones de conducción estructuradas y críticas para la seguridad (agentes, áreas transitables, elementos de control de tráfico).
• Estos prioris actúan como un sesgo débil durante el entrenamiento, pero se eliminan completamente en el tiempo de inferencia, lo que garantiza cero sobrecarga computacional adicional para el planificador desplegado.

Objetivo de Entrenamiento

La función de pérdida total combina la pérdida de planificación original ($L_{plan}$) con la pérdida de reconstrucción ($L_{rec}$):
$$L = L_{plan} + \lambda_{rec}L_{rec}$$
Donde $L_{rec}$ se calcula como la distancia $L_1$ entre las características latentes reconstruidas y los objetivos del profesor con gradiente detenido en las ubicaciones de parches seleccionadas.

3. Contribuciones Clave

1. Identificación del Cuello de Botella: El artículo identifica la interfaz de compresión de tokens de escena como un desafío crítico de aprendizaje de representaciones en la conducción E2E libre de percepción, donde los tokens a menudo colapsan en características redundantes debido a la falta de supervisión directa.
2. Marco NTR: Propone un marco de auto-destilación utilizando la reconstrucción de latentes enmascarados para supervisar directamente el cuello de botella de planificación compacto, fomentando la retención de evidencia visual informativa y complementaria.
3. Prioris Semánticos sin Sobrecarga: Introduce un método para sesgar los objetivos de reconstrucción hacia elementos de conducción estructurados utilizando anotaciones de modelos fundacionales, mejorando la calidad de la supervisión sin introducir cabezales de percepción explícitos ni costos en el tiempo de inferencia.
4. Validación Empírica: Demuestra que NTR mejora el rendimiento de la planificación al tiempo que reduce simultáneamente la redundancia de los tokens y aumenta el rango efectivo de la representación de los tokens de escena.

la 4. Resultados Experimentales

Los autores evaluaron NTR en tres benchmarks públicos y un conjunto de datos privado a gran escala.

• Wayismo Open Dataset (Pista E2E):
  • Logró un RFS (Rater Feedback Score) de vanguardia de 8.0461 con ensamble (7.9982 con un solo modelo).
  • Superó a los métodos existentes (por ejemplo, RAP, Poutine, IRL-VLA) tanto en puntuaciones de calificación humana como en precisión de trayectoria (ADE).
• NavSim V1 y V2:
  • Logró 94.1 PDMS y 90.9 EPDMS en el split de navegación, superando a métodos anteriores de vanguardia como DrivoR y RAP.
• Diagnóstico de Tokens:
  • El análisis de la similitud de coseno por pares y el rango efectivo mostró que NTR reduce significamente la redundancia de los tokens y aumenta la dimensionalidad efectiva de la memoria de los tokens de escena en comparación con las líneas base de solo planificación.
• Despliegue en el Mundo Real:
  • Validado en un conjunto de datos de conducción privado a gran escala e integrado en un stack de planificación de vehículo real, demostrando aplicabilidad práctica y escalabilidad.

5. Significado y Reivindicaciones

El artículo afirma que NTR aborda una brecha fundamental en el aprendizaje de representaciones en la planificación libre de percepción. Al supervisar directamente el cuello de botella mediante la reconstrucción de latentes enmascarados, el método obliga a los tokens de escena compactos a aprender representaciones visuales más ricas y menos redundantes.

Puntos clave enfatizados por los autores:

• Solo en Tiempo de Entrenamiento: Todos los componentes auxiliares (decodificador de reconstrucción, profesor EMA, prioris semánticos) se eliminan durante la inferencia, dejando el planificador desplegado sin cambios.
• Naturaleza Complementaria: NTR se enfoca en el cuello de botella de la compresión en lugar del backbone visual en sí mismo, lo que lo hace complementario a los métodos de preentrenamiento a nivel de backbone como MAE o JEPA.
• Rendimiento vs. Eficiencia: El enfoque logra un rendimiento de planificación de vanguardia sin aumentar la computación en el tiempo de inferencia ni la complejidad arquitectónica.

Los autores concluyen que la supervisión directa del cuello de botella mediante la reconstrucción de latentes enmascarados es una estrategia viable y efectiva para mejorar la calidad de las representaciones visuales compactas en la conducción autónoma de extremo a extremo.