Resumen Técnico: Aprendizaje de Refuerzo Offline de Comportamientos de Alta Calidad bajo Alineación de Estilo Robusta

Declaración del Probleo

El artículo aborda el desafío de aprender políticas condicionadas por estilo a partir de un conjunto de datos estático (offline) sin interacción adicional con el entorno. Si bien el Aprendizaje de Refuerzo (RL) offline ha avanzado en el aprendizaje de comportamientos de alto rendimiento a partir de datos pregrabados, y el Aprendizaje de Imitación (IL) ha explorado comportamientos diversos, combinar un alto rendimiento de la tarea con una alineación de estilo robusta en un entorno offline sigue siendo difícil. Los autores identifican tres desafíos principales:

1. Definición de Estilo: Las definiciones existentes de estilo van desde clústeres latentes no supervisados (difíciles de interpretar/controlar) hasta etiquetas de trayectoria completa supervisadas (alto costo de etiquetado, mala asignación de crédito para estilos de múltiples escalas temporales).
2. Desplazamiento de Distribución Estado-Estilo: Los métodos offline sufren de desplazamiento de distribución. Añadir el condicionamiento de estilo exacerba esto, ya que el agente puede encontrar configuraciones de estado-estilo en el tiempo de inferencia que nunca fueron observadas conjuntamente en el conjunto de datos (por ejemplo, un estilo de movimiento específico en un estado no visitado por ese estilo en los datos).
3. Desalineación Tarea-Estilo: Optimizar para el rendimiento de la tarea (recompensas) suele entrar en conflicto con el mantenimiento de un estilo de comportamiento específico. Los métodos existentes a menudo fuerzan un compromiso o desplazan la política óptima, sacrificando la alineación de estilo en favor del rendimiento.

Metodología: SCIQL

Los autores proponen Style-Conditioned Implicit Q-Learning (SCIQL), un marco que unifica el aprendizaje de políticas condicionadas por estilo con técnicas de RL offline.

1. Definición de Estilo Unificada mediante Etiquetado de Subtrayectorias

En lugar de etiquetar trayectorias completas o utilizar codificaciones no supervisadas, el artículo adopta un enfoque de programación de datos utilizando funciones de etiquetado ($\lambda$) aplicadas a subtrayectorias (ventanas de estados y acciones).

• Mecanismo: Una función de etiquetado mapea una ventana de la trayectoria $\tau_{t-w:t+w}$ a una etiqueta de estilo discreta $z$.
• Beneficio: Esto permite que los estilos varíen dentro de una misma trayectoria, mitigando los problemas de asignación de crédito asociados con las etiquetas a nivel de episodio. Proporciona anotaciones de estilo interpretables y de bajo costo (por ejemplo, "rápido", "agachado") sin necesidad de etiquetado manual.
• Objetivo Sustituto: El objetivo real de alineación de estilo es no markoviano. Los autores lo aproximan mediante el aprendizaje de una recompensa markoviana sustituta $r_D^\lambda(s, a, z) = p_{\pi_D}^\lambda(z | s, a)$, que representa la probabilidad de que un par estado-acción contribuya al estilo $z$ basándose en la distribución del conjunto de datos.

2. Algoritmo SCIQL

SCIQL es una adaptación de Implicit Q-Learning (IQL) diseñada para manejar el objetivo condicionado por estilo.

• Aprendizaje de Valor: Aprende funciones de valor condicionadas por estilo $V^\lambda(s, z)$ y $Q^\lambda(s, a, z)$ utilizando regresión de cuantiles (expectile regression). Esto permite al algoritmo estimar el valor de las acciones que conducen a estilos específicos sin requerir que la política sea óptima para ese estilo durante el entrenamiento.
• Reetiquetado de Hindsight y Costura (Stitching): Al muestrear etiquetas de estilo $z$ del conjunto de datos (incluyendo estados futuros), el método realiza un reetiquetado de estilo de hindsight. Esto permite la costura de trayectorias (trajectory stitching), donde la política puede combinar comportamientos parciales de diferentes trayectorias para construir un camino coherente alineado con el estilo, abordando el desafío del desplazamiento de distribución.
• Extracción de la Política: La política se extrae mediante Regresión Ponderada por Ventaja (AWR), sesgando la política hacia acciones con altas ventajas de estilo.

3. Regresión Ponderada por Ventaja con Compuerta (GAWR)

Para resolver el conflicto entre el rendimiento de la tarea y la alineación de estilo, los autores introducen la Regresión Ponderada por Ventaja con Compuerta (GAWR).

• Mecanismo: GAWR combina la ventaja de la tarea ($A^r$) y la ventaja del estilo ($A^\lambda$) utilizando una compuerta sigmoide:
  $$\xi(A^\lambda, A^r) = A^\lambda + \sigma(A^\lambda) \cdot A^r$$
• Lógica: La señal de mejora de la tarea ($A^r$) solo se activa cuando la ventaja de estilo ($A^\lambda$) es positiva (es decir, la transición es consistente con el estilo objetivo). Esto asegura que la optimización de la tarea no degrade la alineación de estilo, aproximando efectivamente una proyección sobre el conjunto de políticas óptimas de estilo.

Principales Contribuciones

1. Definición General: Una nueva visión del aprendizaje de políticas estilizadas como una generalización del RL Condicionado por Objetivos (GCRL), instanciada mediante funciones de etiquetado de subtrayectorias para asegurar la interpretabilidad y mitigar los problemas de asignación de crédito.
2. Algoritmo SCIQL: Un algoritmo de RL offline que aprovecha el reetiquetado de hindsight y el aprendizaje de valor para lograr una alineación de estilo robusta, capaz de realizar la costura de trayectorias a través de configuraciones estado-estilo disjuntas.
3. Mecanismo GAWR: Una técnica de regresión con compuerta que permite la optimización simultánea del rendimiento de la tarea y la alineación de estilo sin requerir umbrales de restricción explícitos o variables duales.
4. Validación Empírica: Experimentos exhaustivos que demuestran un rendimiento superior sobre las líneas base de vanguardia.

Resultados Experimentales

Los autores evaluaron SCIQL en diversos entornos: Circle2d (dibujar círculos), HalfCheetah (locomoción) y HumEnv (control humanoide).

• Alineación de Estilo: SCIQL superó significativamente a las líneas base (incluyendo Behavior Cloning, Conditioned BC, BCPMI y SORL) en la consecución de las etiquetas de estilo objetivo. Por ejemplo, en halfcheetah-vary-v0, SCIQL logró un 78.9% de alineación de estilo frente al ~52% del siguiente mejor método (BCPMI).
• Rendimiento de la Tarea: Usando GAWR, SCIQL mejoró el rendimiento de la tarea (por ejemplo, velocidad hacia adelante en HalfCheetah) manteniendo una alta alineación de estilo.
• Eficiencia de Pareto: El método logró un hipervolumen (HV) mayor en el espacio de intercambio entre la alineación de estilo y el rendimiento de la tarea en comparación con SORL. Las variantes de SCIQL desplazaron la frontera de Pareto más cerca del punto ideal teórico (100% estilo, 100% tarea) en un 41% a 163% respecto a SORL a través de diferentes conjuntos de datos.

Significación y Reivindicaciones

El artículo afirma que SCIQL proporciona un marco unificado y práctico para el aprendizaje offline de comportamientos de alta calidad condicionados por estilo. Su importancia radica en:

• Robustez: Maneja con éxito los desplazamientos de distribución y la necesidad de toma de decisiones a largo plazo (costura de trayectorias) en la alineación de estilo, aspectos con los que los métodos anteriores tuvieron dificultades.
• Eficiencia: Logra un alto rendimiento tanto en los objetivos de estilo como de tarea sin requerir interacciones en línea con el entorno ni ajustes complejos de restricciones.
• Interpretabilidad: Ofrece una forma clara y programable de definir y medir el estilo mediante funciones de etiquetado, evitando la naturaleza de "caja negra" de las representaciones de estilo no supervisadas.

Los autores concluyen que su enfoque cierra eficazmente la brecha entre el aprendizaje de imitación (fidelidad de estilo) y el aprendizaje de refuerzo (optimización de la tarea), permitiendo el entrenamiento de agentes que son tanto capaces como estilísticamente consistentes.