Behavior-Constrained Reinforcement Learning with Receding-Horizon Credit Assignment for High-Performance Control

Título: Aprendizaje por Refuerzo Constrained por Comportamiento con Asignación de Crédito de Horizonte Deslizante para Control de Alto Rendimiento

1. El Problema

El desafío central abordado en este trabajo es desarrollar políticas de control de alto rendimiento en sistemas dinámicos complejos (específicamente, conducción de autos de carreras) que no solo maximicen la eficiencia de la tarea (ej. tiempos de vuelta rápidos), sino que también permanezcan consistentes con el comportamiento de expertos humanos.

• Limitaciones del Aprendizaje por Refuerzo (RL) puro: Aunque el RL puede descubrir estrategias de alto rendimiento, a menudo se desvía del comportamiento humano deseable, explotando estrategias no realistas o inestables que no son útiles para la evaluación de ingeniería (como pruebas de configuración de vehículos).
• Limitaciones del Aprendizaje por Imitación (IL): Métodos como la Clonación Conductual (BC) están limitados por la calidad y cobertura de los datos de demostración. No pueden superar el nivel del experto ni adaptarse bien a cambios en las condiciones o configuraciones del vehículo (desplazamiento de distribución).
• Complejidad Temporal: En sistemas dinámicos, las consecuencias de las decisiones (ej. una velocidad de entrada a la curva excesiva) a menudo se manifiestan con retraso. La asignación de crédito temporal es crucial, y el comportamiento experto es inherentemente de nivel de trayectoria, no solo de acciones instantáneas.
• Variabilidad Humana: El comportamiento humano no es determinista; varía según perturbaciones y configuraciones del vehículo. Un modelo que colapsa esta variabilidad en un solo objetivo determinista falla en capturar la realidad.

2. Metodología

Los autores proponen un marco de Aprendizaje por Refuerzo Constrained por Comportamiento (Behavior-Constrained RL) dentro de un Contexto de Proceso de Decisión de Markov (CMDP).

• Optimización Constrained:

  • El problema se formula como maximizar la recompensa de rendimiento ($r_p$) sujeta a una restricción de que la recompensa de imitación ($r_s$) debe mantenerse por encima de un umbral $\hat{R}$.
  • En lugar de un coeficiente de ponderación fijo (que requiere ajuste manual), se utiliza un multiplicador de Lagrange ($\alpha_s$) que se actualiza dinámicamente durante el entrenamiento para garantizar que la política cumpla con el objetivo de imitación.

• Asignación de Crédito de Horizonte Deslizante (Receding-Horizon):

  • Se introduce un predictor de trayectorias de corto plazo basado en curvas de Bézier probabilísticas.
  • Este predictor modela el futuro inmediato (horizonte $H$) como una distribución de trayectorias.
  • Recompensas de "Look-ahead": Se utilizan las trayectorias predichas para calcular recompensas de rendimiento y estilo anticipadas. Esto mejora la asignación de crédito temporal, permitiendo al agente entender las consecuencias a corto plazo de sus acciones antes de que ocurran.

• Modelado de Comportamiento Experto Condicionado a la Trayectoria:

  • La política se condiciona en trayectorias de referencia ($\tau$) en lugar de un solo objetivo fijo.
  • Se utiliza una Distribución de Trayectorias de Referencia (RTD) aprendida mediante Primitivas de Movimiento Probabilísticas (ProMP) para generar datos de entrenamiento aumentados. Esto permite que la política aprenda una distribución de comportamientos válidos en lugar de sobreajustarse a una sola línea de conducción.

• Pipeline de Entrenamiento:

  1. Pre-entrenamiento Supervisado: Clonación Conductual (BC) para la política y entrenamiento del predictor de trayectorias.
  2. Ajuste Fino (Fine-tuning) con PPO: Se utiliza el algoritmo Proximal Policy Optimization (PPO) con las recompensas compuestas (rendimiento + imitación + recompensas de horizonte deslizante) y aumentación de datos basada en RTD.

3. Contribuciones Clave

1. Optimización de Políticas Constrained: Formulación del problema de conducción de alto rendimiento como un problema de optimización con restricciones, donde la consistencia con el experto es un requisito obligatorio y no solo una penalización.
2. Asignación de Crédito Predictiva: Introducción de un predictor ligero de curvas de Bézier probabilísticas que proporciona recompensas de "look-ahead", mejorando significativamente el aprendizaje temporal en entornos dinámicos.
3. Modelado de Variabilidad Condicional: Capacidad de la política para representar una distribución de comportamientos expertos condicionados a trayectorias de referencia, manejando así la variabilidad natural humana y los cambios de configuración.
4. Validación Basada en Humanos: Evaluación exhaustiva en un simulador de "driver-in-the-loop" (piloto en el bucle) con datos de pilotos profesionales, demostrando que el modelo no solo es rápido, sino que reproduce características de manejo dependientes de la configuración del vehículo.

4. Resultados

El método fue evaluado en un simulador de carreras de alta fidelidad utilizando datos de pilotos profesionales.

• Rendimiento vs. Imitación: El método propuesto ("A-ours") logró un equilibrio superior en la frontera de Pareto entre el tiempo de vuelta y el error de seguimiento de la referencia (MRO - Mean Reference Offset). Superó a las líneas base (RL puro, IL puro, RL con recompensas adversarias) logrando tiempos de vuelta competitivos (ej. ~66.2s en la pista A) manteniendo una alta fidelidad de imitación (MRO ~0.29m).
• Generalización: El método demostró robustez al transferirse a diferentes pistas y configuraciones de vehículos sin necesidad de reajustar manualmente los hiperparámetros de compensación entre rendimiento y estilo.
• Estudios de Ablación:
  • La ajuste automático del coeficiente de recompensa permitió alcanzar objetivos de imitación predefinidos sin búsquedas extensas de parámetros.
  • La aumentación de datos (RTD) mejoró la generalización en pruebas no vistas en comparación con el entrenamiento directo con demostraciones.
  • El módulo de predicción como tarea auxiliar mejoró tanto el rendimiento como la calidad de la imitación, incluso antes de usarlo para recompensas de horizonte deslizante.
• Evaluación Humana (Driver-in-the-Loop): En pruebas con múltiples configuraciones de vehículos, las políticas aprendidas reprodujeron las características de manejo (ej. subviraje, sobreviraje, agresividad) consistentes con el feedback cualitativo de pilotos profesionales, validando su uso como "dúplex digitales" para pruebas virtuales.

5. Significado e Impacto

Este trabajo es significativo porque cierra la brecha entre el control óptimo puro y el comportamiento humano realista en sistemas dinámicos de alto riesgo.

• Aplicación Práctica en Motorsport: Proporciona una herramienta viable para la evaluación virtual de configuraciones de vehículos. Los ingenieros pueden usar estas políticas como sustitutos de pilotos humanos para probar suspensiones, aerodinámica y trenes de potencia de manera rápida, segura y repetible, obteniendo feedback sobre el "comportamiento" del coche, no solo sobre la velocidad.
• Marco Generalizable: Aunque se centra en las carreras, la formulación de RL con restricciones de comportamiento y asignación de crédito predictiva es aplicable a otros dominios de robótica donde la seguridad, la interpretabilidad y la consistencia con el operador humano son críticas.
• Superación de Limitaciones Actuales: Demuestra que es posible superar el rendimiento de los datos de demostración (mejorando la estrategia humana) sin sacrificar la esencia del estilo humano, resolviendo el dilema clásico entre "ser el mejor" y "ser como un experto".