Resumen Técnico: SPAR (Rectificación de Acciones que Preserva el Soporte)

Declaración del Problema

El Aprendizaje por Refuerzo Offline (Offline RL) busca aprender políticas óptimas a partir de conjuntos de datos fijos sin interacción adicional con el entorno. Un desafío fundamental en este dominio es la cobertura finita de los conjuntos de datos, lo que deja grandes regiones del espacio estado-acción sin restricciones. Los métodos existentes de mejora de políticas enfrentan un conflicto inherente entre maximizar el valor y ajustar la distribución de los datos, lo que conduce a dos modos de fallo principales bajo cobertura limitada:

1. Aprendizaje In-Muestra (In-Support): Métodos como AWAC e IQL tratan la mejora como una regresión ponderada sobre las acciones del conjunto de datos. Aunque son robustos ante consultas Fuera de Distribución (OOD), su sesgo de máxima verosimilitud enfatiza las regiones de alta densidad, suprimiendo sistemáticamente las acciones raras pero de alto valor en la cola de la distribución. Geométricamente, esto puede fragmentar la variedad continua de acciones, atrapando a la política en regiones subóptimas.
2. Optimización Guiada por Valor: Los métodos que ascienden por el gradiente de un crítico aprendido (por ejemplo, CQL, Diff-QL) a menudo sufren un conflicto de gradiente entre ajuste y optimización. En el régimen offline, los críticos deben extrapolar más allá del vecindario de los datos, creando picos de valor espurios. Los gradientes de valor a menudo contienen componentes normales grandes que empujan las acciones fuera de la variedad de datos hacia regiones adversarias no factibles, causando un olvido catastrófico o un colapso OOD.

Metodología: Marco SPAR

Los autores proponen Rectificación de Acciones que Preserva el Soporte (SPAR), un marco que reformula la mejora global de políticas como una rectificación residual local anclada a una política de clonación de comportamiento (BC) pura congelada. Este enfoque desacopla los objetivos de ajuste y mejora en etapas distintas.

1. Tubería de Tres Etapas

• Etapa I: Ancla Conservadora. Una política base ($\pi_{base}$) se entrena mediante clonación de comportamiento pura en el conjunto de datos $D$, evitando objetivos ponderados por ventaja para asegurar que capture la topología global de la variedad. Concurrentemente, un conjunto de críticos conservadores ($Q_{rob}$) se entrena utilizando regresión de cuantiles estrictamente in-muestra y una Cota Inferior de Confianza (LCB) para penalizar la incertidumbre, previniendo el sesgo de sobreestimación. Tanto $\pi_{base}$ como $Q_{rob}$ se congelan después de esta etapa.
• Etapa II: Aprendizaje Residual que Preserva el Soporte. La política final se parametriza como $\pi(s) = \pi_{base}(s) + \Delta_\theta(s, \pi_{base}(s))$, donde $\Delta_\theta$ es una política residual. Esto descompone la optimización desde el espacio de acciones completo a un vecindario local alrededor del ancla, contrayendo el volumen del espacio de hipótesis.
  • Modelado Residual: Para residuos unimodales, se utiliza un regresor determinista (SPAR-MLP). Para residuos multimodales, un Autoencoder Variacional Condicional (SPAR-CVAE) modela la distribución.
  • Auto-Imitación Latente (LSI): Para resolver el conflicto de gradiente entre ajuste y mejora, SPAR introduce un mecanismo libre de derivadas. En lugar de ascenso por gradiente sobre el crítico, el método muestrea candidatos latentes de la política residual, los decodifica en acciones, los pondera mediante estimaciones de valor conservadoras y realiza una regresión de la política hacia esta distribución empírica ponderada. Esto asegura que las actualizaciones permanezcan dentro de la variedad residual, evitando la deriva fuera de la variedad.
• Etapa III: Rectificación en Tiempo de Despliegue. En la inferencia, la acción residual se aplica solo si la mejora predicha sobre la línea base supera umbrales específicos absolutos y relativos, actuando como un filtro de seguridad conservador.

2. Perspectivas Teóricas

El artículo proporciona pruebas teóricas que demuestran que:

• Contracción del Espacio de Búsqueda: Al restringir el refinamiento a un vecindario local definido por el cuantil $(1-\rho)$ de las magnitudes residuales, el número de cobertura del espacio de búsqueda se reduce polinomialmente-logarítmicamente, mejorando la eficiencia de la muestra.
• Eliminación del Conflicto de Gradiente: El análisis teórico (Proposición 3.3) muestra que la Auto-Imitación Latente restringe las actualizaciones a cuerdas dentro de la variedad residual. Esto logra una supresión de deriva de segundo orden en comparación con la deriva lineal causada por el ascenso por gradiente estándar, eliminando efectivamente la deriva normal a la variedad de los gradientes de valor estándar.

Contribuciones Clave

1. Cuantificación Teórica: Los autores cuantifican la reducción en el espacio de búsqueda de políticas logrado por el aprendizaje residual y caracterizan formalmente los conflictos de gradiente entre la guía del crítico y los objetivos de ajuste.
2. Marco SPAR: Un marco novedoso que desacopla el ajuste y la mejora. Utiliza un ancla BC congelada para la estabilidad estructural y emplea Auto-Imitación Latente para realizar la mejora local de políticas mediante regresión ponderada en el espacio latente, equilibrando la exploración con las restricciones de la variedad.
3. Validación Empírica: Una evaluación exhaustiva en el benchmark D4RL demuestra que SPAR extrae ganancias significativas de líneas base subóptimas, logrando un rendimiento de última generación en diversos dominios (locomoción, manipulación y navegación con recompensas dispersas).

Resultados Experimentales

El artículo evalúa SPAR en el benchmark D4RL en tres dominios: Locomoción MuJoCo, Navegación AntMaze y Manipulación Adroit.

• Rendimiento: Las variantes de SPAR (SPAR-MLP para unimodal, SPAR-PROJ para multimodal) superan consistentemente a líneas base sólidas, incluidos métodos basados en gradientes (TD3+BC, CQL, Diff-QL) y métodos in-muestra (IQL, AWAC).
  • En MuJoCo Medium-Replay, SPAR-MLP supera significativamente a los métodos in-muestra y iguala o supera a modelos generativos complejos con una sobrecarga computacional menor.
  • En las tareas MuJoCo Medium-Expert y Adroit, SPAR-PROJ recupera con éxito el rendimiento óptimo donde los métodos deterministas fallan debido a complejidades multimodales.
  • En AntMaze (recompensas dispersas), SPAR-PROJ demuestra capacidades robustas de recuperación, superando la guía por gradiente de políticas y los métodos in-muestra.
• Análisis de Mecanismos:
  • Conflicto de Gradiente: Las métricas muestran que SPAR-PROJ reduce la proyección direccional de los vectores de actualización sobre los gradientes de ajuste ($D_D$) y la degradación real en el rendimiento de ajuste ($V_{SD}$) en múltiples órdenes de magnitud en comparación con las líneas base basadas en gradientes.
  • Preservación del Soporte: Las visualizaciones confirman que las acciones de SPAR-PROJ permanecen cerca del soporte empírico de los datos (relación de distancia kNN q95 de 0.98), mientras que los métodos basados en gradientes se desvían significativamente (relación de 6.32).
  • Estudios de Ablación: Eliminar la auto-imitación latente o la rectificación de la Etapa III conduce a caídas en el rendimiento, confirmando la necesidad de la tubería completa. El método muestra robustez ante variaciones en los pesos de guía, particularmente en entornos con recompensas dispersas.

Significado y Afirmaciones

El artículo afirma que SPAR aborda los modos de fallo geométricos centrales de los paradigmas existentes de RL offline desacoplando los objetivos conflictivos de ajuste y mejora. Al anclar la optimización a una política de clonación de comportamiento congelada y realizar la mejora mediante Auto-Imitación Latente en un espacio residual contraído, SPAR:

1. Previene el olvido catastrófico y el colapso OOD.
2. Elimina la patología de "deriva normal" donde los gradientes de valor empujan a las políticas fuera de la variedad de datos.
3. Proporciona un enfoque unificado que se adapta tanto a geometrías residuales unimodales como multimodales sin requerir esqueletos generativos complejos para todas las tareas.

Los autores concluyen que, si bien la efectividad de SPAR depende de la calidad del ancla congelada y las estimaciones de valor conservadoras, ofrece un mecanismo robusto y teóricamente fundamentado para la mejora de políticas offline que logra resultados de última generación a través de diversas complejidades de tareas.