Resumen Técnico: Cerrando la brecha entre la observación local y la simulación global en el Modelado de Tráfico de Bucle Cerrado (CRAFT)

1. Formulación del Problema

El artículo aborda un desajuste fundamental de contexto de lo local a lo global en los simuladores de tráfico autorregresivos. La mayoría de los simuladores de vanguardia se entrenan con registros de conducción a gran escala y egocéntricos (por ejemplo, Waymo, nuPlan) bajo un paradigma de aprendizaje por imitación. En estos registros, el vehículo ego posee observaciones locales ricas, pero los agentes circundantes solo se observan parcialmente debido a los límites de los sensores, oclusiones y fronteras de percepción.

Consecuentemente, los simuladores aprenden mapeos de contexto-acción incompletos. Una maniobra válida en un registro (por ejemplo, un vehículo frenando) puede registrarse sin el contexto descendente que la justifica (por ejemplo, un obstáculo ocluido). Cuando tales modelos se despliegan en entornos de bucle cerrado globalmente observables, reproducen estas acciones incluso cuando el contexto causal real está ausente. Esto conduce a comportamientos poco realistas durante ejecuciones de largo horizonte, incluyendo paradas anormales, interacciones inseguras y violaciones de las reglas de tráfico, lo que degrada la racionalidad conductual de la simulación.

Las soluciones existentes suelen depender del reentrenamiento del simulador base mediante el ajuste fino supervisado o el aprendizaje por refuerzo, lo que puede sufrir de retroalimentación dispersa, dificultades de asignación de crédito y altos costos computacionales. Los autores proponen una estrategia de alineación en tiempo de prueba que corrige estos sesgos sin reentrenar el generador base.

2. Metodología: CRAFT

Los autores proponen CRAFT (Contextual pReference Alignment Framework for Traffic Simulation), un marco que desacopla la generación de comportamientos de su evaluación. Consta de tres etapas principales:

A. Simulación de "Qué pasaría si" de Contexto Completo Agrupado

En lugar de depender únicamente de registros estáticos, CRAFT utiliza el simulador base congelado ($\pi_\theta$) como un "sandbox globalmente observable".

• Proceso: Partiendo de estados iniciales registrados, el simulador base genera $N$ ejecuciones estocásticas diversas (escenarios de "qué pasaría si") utilizando diferentes semillas aleatorias.
• Resultado: Estas ejecuciones evolucionan hacia futuros diversos donde todos los agentes interactúan bajo el contexto completo del mapa. Este proceso expone fallos inducidos por el simulador que están ocultos en los registros originales pero que emergen durante la generación de bucle cerrado.
• Anotación: Un evaluador basado en reglas automatizado asigna etiquetas binarias (0 para anormal, 1 para razonable) a cada token de agente-tiempo basado en prioridades de conducción alineadas con humanos (seguridad, cumplimiento de reglas, factibilidad cinemática). Esto crea un conjunto de datos de preferencia agrupado ($D_{pref}$) que contiene futuros alternativos para la misma escena inicial.

B. Entrenamiento del Evaluador de Preferencia Contextual (CPE)

Un Evaluador de Preferencia Contextual ligero ($\pi_\phi$) se entrena sobre $D_{pref}$ para predecir la racionalidad de los tokens de movimiento bajo el contexto completo de la escena.

• Arquitectura: El CPE reutiliza el codificador de escena congelado del simulador base y emplea un decodificador de convolución temporal para producir una matriz de puntuación de preferencia densa ($R \in [0, 1]^{N_a \times T_f}$).
• Funciones de Pérdida: El objetivo de entrenamiento combina tres componentes:
  1. Supervisión de Token Absoluto por Nivel ($L_{bce}$): Entropía cruzada binaria ponderada contra la verdad de campo binaria auto-etiquetada.
  2. Preferencia Intra-Trayectoria ($L_{intra}$): Una pérdida de ranking de margen que incentiva al modelo a distinguir entre segmentos de comportamiento normal y segmentos de fallo subsecuentes dentro de una sola ejecución.
  3. Preferencia Inter-Ejecución ($L_{inter}$): Un objetivo de Bradley-Terry que compara futuros alternativos generados desde la misma escena inicial, enseñando al evaluador a preferir trayectorias globalmente coherentes sobre otras localmente plausibles pero inconsistentes.

C. Alineación de Preferencia en Tiempo de Prueba

Durante la inferencia, el CPE actúa como un módulo de guía plug-in que repondera la distribución de decodificación del simulador base congelado.

• Búsqueda de Previsión (Lookahead Search): En cada paso $t$, el simulador base propone $K$ tokens de acción candidatos.
• Aproximación Marginal Independiente: Para evitar la complejidad intratable de $K^{N_a}$ al evaluar todas las combinaciones de acciones conjuntas, CRAF muestra $K$ escenarios de acción conjunta paralelos. Evalúa la puntuación de preferencia de cada acción candidata contra un tráfico de fondo plausible muestreado (aproximando la expectativa conjunta).
• Reponderación: Las probabilidades de decodificación originales se calibran utilizando las puntuaciones de preferencia ($R$) mediante una softmax con una escala de guía $\beta$:
  $$P_{post} \propto P_{prior} \cdot \exp(\beta \cdot R)$$
  Esto dirige la decodificación autorregresiva hacia comportamientos consistentes con la escena de tráfico completa antes de la ejecución.

3. Contribuciones Clave

1. Identificación del Desajuste: El artículo identifica y analiza explícitamente la degradación del comportamiento de bucle cerrado causada por el entrenamiento en registros egocéntricos con contexto incompleto, mostrando que el aprendizaje por imitación conduce a asociaciones de contexto-acción espurias.
2. Evaluador Desacoplado (CPE): Un nuevo evaluador entrenado en ejecuciones de "qué pasaría si" autogeneradas y fundamentadas por prioridades alineadas con humanos. Aprende a distinguir comportamientos globalmente coherentes de aquellos localmente plausibles pero contextualmente inconsistentes sin modificar los pesos del simulador base.
3. Alineación de Preferencia en Tiempo de Prueba (Plug-in): Una estrategia para desplegar el CPE como un módulo ligero de tiempo de inferencia que guía la decodificación autorregresiva. Este enfoque mejora la racionalidad conductual en diferentes simuladores base (demostrado en CAT-K y SMART) sin la inestabilidad o el costo de un reentrenamiento.

4. Resultados Experimentales

El marco fue evaluado en el Waymo Open Motion Dataset (WOMD) utilizando el benchmark WOSAC y métricas adicionales de racionalidad conductual.

• Seguridad y Cumplimiento: CRAFT redujo significativamente los comportamientos anormales en comparación con las líneas base (incluyendo muestreo Top-K, auto-etiquetadores y modelos ajustados por RL).
  • Colisiones: Reducidas en un 31.2%.
  • Violaciones de Tráfico: Reducidas en un 33.2%.
  • Fuera de la vía (Offroad): Reducido en un 16.6% (a nivel de escena).
• Racionalidad Conductual: CRAFT logró la menor Distancia de Jensen-Shannon (JSD) para la distribución de velocidad, velocidad angular y distancia al agente más cercano, indicando un mejor alineamiento con las distribuciones de conducción del mundo real.
• Compromiso de Realismo: El artículo señala una ligera degradación en la métrica de "Realismo" de WOSAC (que mide la similitud uno a uno con los trayectos registrados). Los autores argumentan que este es un compromiso necesario: la alta puntuación de realismo del modelo base suele reflejar un ajuste cercano a los registros locales incompletos, mientras que CRAFT prioriza la racionalidad conductual global, corrigiendo comportamientos que son estadísticamente probables en los registros pero irracionales en un contexto completo.
• Eficiencia: CRAFT añade una sobrecarga de tiempo de ejecución moderada (76ms por paso) en comparación con el muestreo Top-K (2ms), pero es significativamente más rápido que los auto-etiquetadores basados en reglas (~491ms) proporcionando un rendimiento superior.

5. Significado y Reivindicaciones

El artículo afirma que CRAFT ofrece un camino ligero y complementario para mejorar la simulación de tráfico de bucle cerrado.

• Cambio de Pasivo a Activo: Cambia el paradigma de la imitación pasiva de registros hacia la alineación activa con el contexto de la escena global.
• Descubrimiento de Fallos: Al utilizar el propio simulador para generar casos de fallo (ejecuciones de "qué pasaría si"), el método crea una señal de auto-supervisión para corregir los mismos sesgos que el simulador introduce.
• Generalizabilidad: La naturaleza plug-in del CPE permite mejorar la racionalidad conductual de diferentes simuladores base sin necesidad de reentrenarlos, lo que lo hace aplicable a modelos de mundo y simuladores existentes donde el reentrenamiento es costoso o inestable.
• Limitaciones: Los autores reconocen modestamente que el método está limitado por la calidad del conjunto de candidatos propuestos por el simulador base. Si la acción óptima no está incluida en los candidatos Top-K (debido a que el prior del modelo base es demasiado débil), el CPE no puede recuperarla, solo puede reordenar las opciones subóptimas disponibles.

En resumen, CRAFT cierra la brecha entre la observación local y los requisitos de simulación global, demostrando que la alineación de preferencias en tiempo de prueba puede mejorar significamente la seguridad y la racionalidad de las simulaciones de conducción autónoma sin comprometer la estructura del modelo generativo subyacente.