Resumen Técnico: ISEP – Expansión Implícita del Soporte para Aprendizaje por Refuerzo Offline

1. Declaración del Problema

El Aprendizaje por Refuerzo (RL) Offline busca aprender políticas efectivas a partir de conjuntos de datos estáticos sin interacción en línea, una capacidad crítica para dominios de alto riesgo como la robótica y la atención sanitaria. Un desafío fundamental en este contexto es la tensión entre el conservadurismo (mantenerse dentro del soporte del conjunto de datos para garantizar una estimación válida del valor) y el optimismo (generalizar más allá de datos subóptimos para descubrir comportamientos mejorados).

Los métodos existentes suelen resolver esto imponiendo restricciones estrictas de soporte: limitar las actualizaciones a transiciones dentro de la muestra, restringir las acciones al soporte de la política de comportamiento o penalizar los valores sobreestimados del crítico. Aunque estas restricciones garantizan la seguridad, a menudo suprimen comportamientos de alta recompensa que están escasamente representados en el conjunto de datos. Este "sesgo de densidad" impide el descubrimiento de políticas óptimas, particularmente cuando la trayectoria óptima carece de densidad de datos suficiente. Además, la interpolación determinista estándar entre datos conservadores y propuestas optimistas a menudo conduce al colapso de modos, donde la política promedia acciones válidas distintas en una acción de bajo valor e inválida que se encuentra fuera de la variedad de datos.

2. Metodología

Los autores proponen ISEP (Expansión Implícita del Soporte mediante optimización de política estocástica), un marco diseñado para extrapolar de forma segura más allá de conjuntos de datos estáticos. ISEP opera a través de tres innovaciones acopladas:

2.1 Estimación de Valor Interpolada (Expansión Implícita del Soporte)

En lugar de tratar la distribución del conjunto de datos como un límite rígido, ISEP expande implícitamente el soporte válido de la función de valor para abarcar acciones de alto valor que son válidas pero escasamente representadas. Esto se logra mediante una función objetivo híbrida para la red de valor $V_\psi$:

$$L_V(\psi) = (1 - p)\mathbb{E}_{(s,a)\sim D} [L_\tau^2(\hat{Q}_\theta(s, a) - V_\psi(s))] + p\mathbb{E}_{s\sim D, \hat{a}\sim \pi_\phi} [(\hat{Q}_\theta(s, \hat{a}) - V_\psi(s))^2]$$

• Término 1: Ancla las estimaciones de valor a transiciones reales utilizando una pérdida de expectil asimétrica (enfoque estándar de IQL).
• Término 2: Impulsa la expansión consultando la función Q con acciones muestreadas de la política actual $\hat{a} \sim \pi_\phi$.
• Parámetro $p$: Un escalar controlable que gobierna el equilibrio entre seguridad (dentro de la distribución) y exploración (generada por la política). Este mecanismo "densifica" las regiones de alta recompensa, creando un camino navegable para la mejora de la política.

2.2 Selección Estocástica de Acciones

Para abordar la naturaleza multimodal del objetivo resultante, ISEP emplea una estrategia de Selección Estocástica de Acciones. La interpolación determinista estándar (promediar gradientes) fuerza a la política hacia la media aritmética de una acción conservadora y una acción optimista, lo que a menudo resulta en una acción "fuera de la variedad" de bajo valor.

ISEP evita esto alternando estocásticamente entre objetivos en cada paso de actualización utilizando una puerta de Bernoulli $B \sim \text{Bernoulli}(p)$:

$$L_\pi(\phi) = (1 - B) \cdot \mathbb{E}_{(s,a)\sim D}[\omega(s, a) \log \pi_\phi(a|s)] + B \cdot \mathbb{E}_{s\sim D, \hat{a}\sim \pi_\phi}[\omega(s, \hat{a}) \log \pi_\phi(\hat{a}|s)]$$

Esto asegura que la política sea impulsada hacia modos válidos distintos (ya sea la muestra de datos conservadora o la propuesta optimista) en lugar de colapsar en un valle de bajo valor entre ellos.

2.3 Instanciación: ISEP-FM

Dado que la estrategia estocástica requiere una política capaz de representar distribuciones complejas y multimodales, los autores instancian el marco utilizando Flow Matching Condicional (CFM) con Guía sin Clasificador (CFG).

• El modelo de flujo se condiciona en un token de optimalidad $o \in \{\emptyset, 1\}$.
• En la inferencia, las acciones se generan integrando el campo de velocidad con una escala de guía $w$, permitiendo un control dinámico entre la distribución de comportamiento base y la condición de optimalidad de alto valor.

3. Garantías Teóricas

El artículo proporciona un análisis teórico que demuestra que ISEP garantiza un error de valor acotado. Bajo suposiciones de tamaños de muestra finitos (Brecha de Expectil) y suboptimalidad del conjunto de datos, los autores prueban que si el parámetro de interpolación $p$ satisface un límite específico derivado de las características del conjunto de datos:

$$p \leq \frac{\delta_\tau + \delta_{sub}}{V_{max} - V^*(s) + \delta_\tau + \delta_{sub}}$$

Entonces, con una probabilidad de al menos $\eta$ (gobernada por la calidad del conjunto de datos), la función de valor aprendida $\hat{V}(s)$ permanece acotada superiormente por el valor de estado óptimo $V^*(s)$. Esto establece a $p$ como un mecanismo de seguridad riguroso que previene la divergencia catastrófica mientras permite una extrapolación controlada.

4. Resultados Experimentales

Los autores evaluaron ISEP y su variante de ajuste de flujo (ISEP-FM) en la puntuación de referencia D4RL, que cubre locomoción Gym-MuJoCo, manipulación de mano robótica Adroit y manipulación secuencial de objetos en Kitchen.

• Rendimiento: ISEP-FM logró resultados de vanguardia en múltiples entornos. Por ejemplo, en hopper-med-rep, obtuvo una puntuación normalizada de 104.5, superando a bases sólidas como QIPO (101.2) e IDQL (82.4). En halfcheetah-med, obtuvo 59.9, superando el mejor resultado anterior de 54.1.
• Estudios de Ablación:
  • Parámetro $p$: Valores moderados ($p \in \{0.3, 0.5\}$) produjeron consistentemente las puntuaciones más altas. Valores agresivos ($p \geq 0.9$) condujeron a una divergencia catastrófica, confirmando la necesidad de un enfoque "intermedio".
  • Estocástico vs. Determinista: Reemplazar la selección estocástica con interpolación determinista resultó en caídas significativas de rendimiento, validando que el promediado ingenuo falla en paisajes de acción no convexos.
  • Expansión del Soporte: Las visualizaciones (t-SNE) confirmaron que ISEP expande con éxito el soporte de acciones hacia regiones escasas y de alta recompensa a las que los métodos estrictamente dentro de la distribución (como IQL con $p=0$) no pueden llegar debido al sesgo de densidad.

5. Significado y Afirmaciones

El artículo afirma que ISEP aborda la limitación crítica de los métodos de RL offline que tratan las distribuciones de conjuntos de datos como límites rígidos. Al expandir implícitamente el soporte de acciones factible mediante una función de valor interpolada entre datos dentro de la distribución y muestras de la política, ISEP "densifica" las regiones de alta recompensa sin requerir restricciones explícitas o pipelines complejos de dos etapas.

El significado de este trabajo radica en su capacidad para:

1. Cerrar la brecha entre seguridad y optimismo, permitiendo que los agentes descubran acciones superiores en regiones escasamente representadas del espacio de estado-acción.
2. Prevenir el colapso de modos en paisajes no convexos mediante una nueva estrategia de selección estocástica de acciones, lo cual es esencial para el aprendizaje de políticas multimodales.
3. Proporcionar garantías de seguridad teóricas, mostrando que las estimaciones de valor permanecen acotadas incluso al explorar acciones fuera de la distribución, siempre que el parámetro de interpolación se ajuste según la calidad del conjunto de datos.

Los autores concluyen que combinar la expansión del soporte con la expresividad de los modelos generativos modernos (Flow Matching) permite a los agentes de RL offline descubrir comportamientos superiores de manera efectiva sin sacrificar la seguridad.