Resumen Técnico: La autonomía de apariencia humana surge del auto-juego y una pizca de datos humanos

Declaración del Problema

El aprendizaje por refuerzo (RL) mediante auto-juego ha entrenado con éxito agentes sobrehumanos en juegos de suma cero (ej. Go, Ajedrez) al hacer que los agentes jueguen contra copias de sí mismos. Sin embargo, en dominios de motivación mixta como la conducción autónoma, el auto-juego puro a menudo conduce a equilibrios "ajenos". Los agentes pueden aprender estrategias efectivas que son incompatibles con las normas humanas (ej. conducir en reversa o por el lado equivocado de la carretera para alcanzar un objetivo de forma segura) porque la función de recompensa está subespecificada.

Los intentos previos para alinear estos agentes con el comportamiento humano han dependido de dos enfoques frágiles:

1. Ingeniería de Recompensas: Añadir iterativamente términos de recompensa manuales y aleatorización de dominio (ej. GIGAFLOW), lo cual es laborioso y específico de cada dominio.
2. Aprendizaje por Imitación (IL): Entrenar directamente sobre conjuntos de datos humanos a gran escala (ej. 52 días de datos de Waymo). Aunque es efectivo, el IL requiere cantidades masivas de datos humanos (ej. 52 días de datos de Waymo) para lograr robustez y suele sufrir de desplazamiento de covariable en el despliegue de bucle cerrado.

El desafío central es lograr una coordinación compatible con el humano sin el costo prohibitivo de la recolección masiva de datos humanos o la fragilidad de la ingeniería de recompensas manual.

Metodología: Auto-juego Especiado (Spiced Self-Play)

Los autores proponen el Auto-juego Especiado, un método que trata una pequeña cantidad de datos de demostración humana no como la señal de entrenamiento principal, sino como un ancla de comportamiento ligera (regularizador) para un agente de RL de auto-juego.

Componentes Principales

1. Función de Recompensa Dispersa: El agente de RL se entrena con una recompensa mínima y ajustada manualmente: +1 por alcanzar un objetivo, -1 por colisiones o salirse de la vía, y 0 en otros casos. No se utilizan formas densas ni una ingeniería de recompensas compleja.
2. Proceso de Entrenamiento de Dos Etapas:
   • Etapa 1: Ancla de Clonación de Comportamiento (BC): Se entrena una política ($\tau_\phi$) mediante clonación de comportamiento sobre un subconjunto pequeño de datos de conducción humana (pares observación-acción). Este ancla queda congelada.
   • Etapa 2: RL de Auto-juego Regularizado: Se entrena una nueva política ($\pi_\theta$) desde cero utilizando Optimización de Política Próxima (PPO) en un entorno de auto-juego multi-agente. El objetivo de entrenamiento incluye una penalización de divergencia de Kullback-Leibler (KL) que atrae la política de RL hacia el ancla de BC congelada en los estados realmente visitados durante la ejecución (rollout):
     $$L(\theta) = L_{PPO}(\theta) + \lambda \mathbb{E}_{o \sim \rho_{\pi_\theta}} [D_{KL}(\tau_\phi(\cdot|o) \parallel \pi_\theta(\cdot|o))]$$
     Aquí, $\lambda$ controla la fuerza de la regularización. Esto asegura que el agente explore el espacio de estrategias efectivas pero permanezca dentro de la distribución del comportamiento humano.

Configuración Experimental

• Entorno: PufferDrive 2.0, un simulador de alta velocidad que se ejecuta en GPUs de consumo.
• Fuente de Datos: Waymo Open Motion Dataset (WOMD).
• Configuraciones de Evaluación:
  • Auto-juego: Todos los agentes controlados por la misma política.
  • Replay Humano: El agente controlado interactúa con trayectorias humanas registradas (no reactivas).
  • IDM: El agente controlado interactúa con agentes del Modelo de Conductor Inteligente (reactivos basados en reglas).
• Líneas Base (Baselines): Auto-juego RL no regularizado e IL-SMART-tiny-CLSFT (un enfoque de IL de vanguardia entrenado con cantidades variables de datos, hasta el total de 500k escenarios).

Principales Contribuciones y Resultados

1. Eficiencia de Datos: "Una Pizca de Datos Humanos"

El artículo demuestra que 30 minutos a 3 horas de datos de conducción humana son suficientes para lograr una coordinación compatible con el humano cuando se combinan con auto-juego a gran escala.

• Comparación: Esto representa una reducción de 2,500× en datos humanos en comparación con las líneas base de IL (que requieren ~52 días de datos).
• Desempeño: La política "Especiada" entrenada con solo 30 minutos de datos logra una tasa de colisión con culpa del 0.7% en evaluaciones de replay humano. Esto es una mejora de 2.5× sobre el modelo SMART-tiny-CLSFT entrenado con el entero conjunto de datos de Waymo (52 días de datos, 1.6% de tasa de colisión) y una mejora de 11× sobre SMART entrenado con ese mismo subconjunto de 30 minutos.
• Eficiencia: El entrenamiento se completa en 15 horas en una sola GPU de consumo, utilizando 20 mil millones de transiciones sintéticas (aproximadamente 63 años de conducción simulada).

2. Alineación de Comportamiento y Seguridad

La regularización no solo reduce las colisiones; también altera fundamentalmente el estilo de conducción para que sea más humano:

• Severidad de Colisión: Las políticas regularizadas no solo colisionan menos, sino que también causan colisiones menos severas. La velocidad de impacto media ($\Delta v$) cae de 2.09 m/s (no regularizada) a 1.71 m/s. La fracción de colisiones que exceden el umbral de riesgo de lesiones graves de 15 mph cae del 14.3% al 7.5%.
• Estilo de Conducción: Los agentes no regularizados tienden a "optimizar" mediante la rapidez (completando tareas en 38 pasos), mientras que los agentes regularizados exhiben un comportamiento de "satisfacción", tomando más tiempo (64 pasos) y manteniendo distancias de seguimiento más seguras.
• Realismo Distribucional: Las políticas regularizadas logran puntuaciones más altas en los parámetros de realismo del Wayio Open Sim Agent Challenge (WOSAC), particularmente en métricas cinemáticas e interactivas, sin sacrificar la finalización de la tarea.

3. Diversidad de Escenarios vs. Datos Humanos

El estudio aísla el papel de los metadatos de los escenarios (diversidad de mapas) frente a los datos de trayectoria humana.

• Aumentar el número de escenarios de entrenamiento (mapas) de 10 a 50,000 mejora drásticamente la generalización tanto para agentes regularizados como no regularizados.
• Sin embargo, el enfoque regularizado supera consistentemente al auto-juego no regularizado en todos los conteos de mapas, confirmando que el ancla humana proporciona un sesgo de comportamiento necesario que la experiencia sintética por sí sola no puede generar.

Significancia y Reivindicaciones

El artículo argumenta que en dominios donde la generación de experiencia sintética es barata y abundante (vía simuladores modernos), los datos humanos deben ser reevaluados. En lugar de servir como el supervisor primario para el aprendizaje por imitación, los datos humanos son más efectivos como un ancla de regularización.

• Contribución Científica: Los autores proporcionan evidencia empírica de que una fracción minúscula de datos humanos beneficiosos puede mejorar desproporcionadamente el comportamiento de los agentes de auto-juego, reflejando el efecto de "envenenamiento de datos" pero en una dirección positiva.
• Impacto Práctico: Este enfoque elimina la necesidad de una ingeniería de recompensas extensa y frágil, así como los costos masivos de recolección de datos asociados con el aprendizaje por imitación puro. Ofrece un camino escalable para entrenar agentes de conducción autónoma que sean tanto robustos (vía auto-juego) como socialmente conformes (vía un mínimo anclaje humano).
• Limitaciones: Los autores reconocen que, si bien el desempeño mejora significamente, la robustez en escenarios de coordinación extremadamente ajustados (ej. incorporación agresiva) aún tiene margen de mejora. También señalan que la transferencia del desempeño de simulación al despliegue real en carretera sigue siendo una pregunta abierta.

En resumen, el artículo postula que el auto-juego proporciona la robustez y la escala, mientras que una "pizca" de datos humanos proporciona la alineación social, creando una vía altamente eficiente hacia la autonomía compatible con el humano.