Resumen Técnico: TerraTransfer

Declaración del Problema

La conducción autónoma de extremo a extremo ha alcanzado un rendimiento de vanguardia, pero depende de una receta de entrenamiento de múltiples etapas y costosa. El enfoque estándar implica un preentrenamiento de imitación a gran escala sobre datos de conducción humana registrados, seguido de varias etapas de ajuste fino (adaptación supervisada, RL de bucle abierto o RL de bucle cerrado). Este flujo de trabajo está limitado por:

1. Costos de Datos: La recolección y el etiquetado de millones de fotogramas de conducción y cientos de miles de horas de registros de cámaras múltiples.
2. Costos de Cómputo: El aprendizaje por refuerzo (RL) de bucle cerrado sobre imágenes requiere renderizado fotorrealista y pasadas hacia adelante a través de pesados backbones de visión en cada paso, lo que crea una carga computacional significativa.
3. Brechas Distribucionales: El aprendizaje por imitación está limitado por la calidad de las demostraciones de expertos y lucha contra estados raros y críticos para la seguridad (colisiones, eventos cercanos a colisiones) que están ausentes en los datos de tráfico registrados.

Mientras que el auto-juego (self-play) en simuladores vectorizados ofrece una alternativa más económica al generar comportamientos de conducción naturalistas y eventos raros sin datos humanos, estas políticas consumen estados de escena vectorizados (cajas delimitadoras, cinemática) en lugar de entradas de sensores brutos, lo que las hace no desplegables en sistemas de extremo a extremo del mundo real.

Metodología

Los autores proponen TerraTransfer, un paradigma de dos fases que desacopla "aprender a conducir" de "aprender a ver", eliminando la necesidad de demostraciones de expertos en cualquier etapa.

Fase 1: Preentrenamiento mediante Auto-juego (Aprendiendo a Conducir)

Una política de planificación ($\pi_\theta$) se entrena desde cero (tabula rasa) utilizando auto-juego multi-agente en TerraZero, un simulador de conducción vectorizado.

• Arquitectura: La política utiliza un único conjunto de parámetros para controlar todos los agentes en una escena. Procesa el estado del ego, elementos de la vía y agentes asociados utilizando codificadores DeepSets y un MLP compartido.
• Entrenamiento: La política se optimiza mediante Optimización de Política Próxima (PPO) con una función de recompensa que comprende términos ponderados de calidad de conducción (llegada al objetivo, evitación de colisiones, confort, etc.).
• Aleatorización de Dominio: Las preferencias del conductor se aleatorizan por episodio y se exponen como parte de la observación del ego, permitiendo que la política aprenda un continuo de estilos de conducción.
• Resultado: Esto produce una política "maestra" que conduce de forma robusta en el espacio de estado vectorial, pero que no puede procesar imágenes.

Fase 2: Alineación de Visión (Aprendiendo a Ver)

La política maestra congelada se utiliza para supervisar una política de visión "estudiante" sin referenciar nunca trayectorias humanas registradas.

• Arquitectura: El estudiante hereda el codificador del ego, el MLP compartido y la cabeza del actor congelados de la maestra. Los codificadores de conjuntos de la maestra (para la vía y los agentes asociados) se reemplazan con codificadores condicionados por imagen construidos sobre un backbone DINOv3 preentrenado con adaptadores lineales.
• Señal de Supervisión: El estudiante se entrena en un conjunto de datos emparejado de fotogramas (imagen, estado de la escena). El objetivo es la distribución de acciones de la maestra y las representaciones de características derivadas del estado vectorial correspondiente.
• Funciones de Pérdida:
  1. Alineación de Acción: Minimiza la divergencia KL entre la distribución de acciones del estudiante y la de la maestra.
  2. Alineación Estructural: Una novedosa pérdida estructural de bajo rango relacional por lote (batch-relational low-rank structural loss). El análisis empírico revela que las características de la maestra son de bajo rango y redundantes. En lugar de igualar las coordenadas absolutas de las características, el estudiante es entrenado para reproducir la geometría relacional (similitudes de escena por pares) de las características de la maestra dentro de un subespacio principal de bajo rango. Esto evita forzar al estudiante a ajustarse al ruido en direcciones de baja varianza.

Contribuciones Clave

1. Receta Libre de Demostraciones: Un marco para la conducción de extremo a extremo que no requiere trayectorias humanas registradas para la supervisión. Se basa únicamente en el auto-juego para la competencia de conducción y en datos emparejados (imagen, estado) para la alineación.
2. Aprendizaje Desacoplado: La separación del entrenamiento de la política de conducción (en el espacio vectorial) del entrenamiento de la percepción (en el espacio de imagen) permite la reutilización de un único maestro de auto-juego para varios frontends de visión y pilas de sensores.
3. Pérdida Estructural de Bajo Rango Relacional por Lote: Un método para alinear las características de visión con las características vectoriales mediante el emparejamiento de estructuras relacionales dentro de un subespacio de bajo rango, motivado por el hallazgo empírico de que las características de la maestra son altamente redundantes.
4. Rendimiento de Bucle Cerrado: La política resultante logra resultados competitivos en benchmarks de Gaussian Splatting 3D fotorrealistas, igualando o superando a métodos previos de extremo a extremo entrenados con masivos conjuntos de datos de expertos.

Resultados Experimentales

El método fue evaluado en HUGSim, un benchmark de bucle cerrado fotorrealista derivado de escenarios de nuScenes, utilizando el HD-Score agregado.

• Rendimiento vs. Baselines: La política TerraTransfer logró un HD-Score agregado de 0.490, superando al mejor baseline de entrenamiento por imitación (LTF, 0.360) y a la variante ECO publicada más fuerte (0.452). Se acercó al rendimiento de su propio maestro de auto-juego (0.520), que opera sobre el estado vectorial privilegiado.
• Eficiencia de Datos: La fase de alineación requirió solo 1.83 millones de fotogramas emparejados (aproximadamente 51 horas de datos) del conjunto de datos nuPlan. Esto es aproximadamente el 40% de los datos utilizados por el baseline ECO para el ajuste fino, y aun así, TerraTransfer superó el rendimiento de ECO.
• Generalización entre Datasets: La política fue alineada en datos de nuPlan pero evaluada en escenarios derivados de nuScenes, demostando una fuerte generalización sin etiquetas de trayectoria in-distribución.
• Limitaciones: El artículo señala que el enfoque actual pierde pistas visuales finas (por ejemplo, luces de freno) debido al entrenamiento con cajas delimitadoras, tiene una exposición limitada a peatones/ciclistas y carece de soporte completo para intersecciones semaforizadas.

Significado y Reivindicaciones

El artículo afirma que TerraTransfer ofrece un camino altamente efectivo y eficiente en datos para el futuro de la conducción autónoma de extremo a extremo. Al desplazar el costo de "aprender a conducir" a una fase de auto-juego escalable y de una sola vez en simulación, el enfoque elimina la dependencia de demostraciones de expertos costosas y curadas. La política resultante demuestra que la competencia de conducción robusta y naturalista puede transferirse de la conducción basada en vectores a la percepción de imagen bruta, logrando un rendimiento de extremo a extremo de vanguardia con requisitos de datos y computación significativamente menores en comparación con las tuberías convencionales de aprendizaje por imitación.