UNIQ: Conformal Calibration for Adaptive Conservatism in Offline Reinforcement Learning

Resumen Técnico: UNIQ – Calibración Conforme para la Conservadurismo Adaptativo en Aprendizaje por Refuerzo Offline

1. Planteamiento del Problema

El Aprendizaje por Refuerzo (RL) Offline enfrenta el desafío crítico del desplazamiento de distribución (distribution shift): una política aprendida puede consultar pares estado-acción que son raros o ausentes en el conjunto de datos offline fijo. Los métodos estándar de diferencia temporal (TD) extrapolan salvajemente en estas regiones fuera de la distribución (OOD), lo que conduce a una sobreestimación catastrófica y al colapso de la política.

Las soluciones existentes generalmente se dividen en tres categorías: restricciones de clonación de comportamiento, aprendizaje de valor conservador (p. ej., CQL, IQL) y conjuntos (ensembles) basados en la incertidumbre. Si bien Implicit Q-Learning (IQL) ofrece una línea base computacionalmente ligera y estable mediante el uso de un parámetro de expectil fijo $\tau$ para suprimir la sobreestimación OOD, sufre de una limitación estructural: aplica un nivel de conservadurismo único y fijo de manera uniforme en todos los estados.

• En regiones de cobertura densa, este conservadurismo fijo es innecesariamente restrictivo, dejando sin aprovechar posibles ganancias de rendimiento.
• En regiones de cobertura dispersa, un $\tau$ fijo puede seguir siendo insuficiente para prevenir la sobreestimación.

El artículo postula que se necesita un mecanismo para adaptar el conservadurismo por estado, endureciéndolo donde la cobertura de datos es pobre y relajándolo donde la cobertura es rica, sin incurrir en los costos computacionales masivos de los métodos de grandes conjuntos como EDAC.

2. Metodología: UNIQ

UNIQ (Uncertainty-Informed Quantile) extiende la arquitectura de IQL reemplazando el expectil fijo $\tau$ por un $\tau(s)$ adaptativo al estado, impulsado por una incertidumbre calibrada de forma conforme. El método consta de tres componentes principales:

A. Conjunto de Valores Multi-Expectil
En lugar de entrenar una única red de valor, UNIQ entrena un conjunto de $N_v$ redes de valor, cada una ajustada en tres niveles de expectil fijos: $\bar{\tau} \in \{0.5, 0.7, 0.9\}$. Esto genera $3N_v$ cabezales de valor. Este ajuste de multiresolución extrae dos señales de incertidumbre complementarias:

1. Incertidumbre Epistémica ($\sigma_{ens}$): La desviación estándar de las predicciones del conjunto en el nivel $\tau=0.7$, capturando el desacuerdo entre los críticos.
2. Dispersión Aleatoria ($\Delta_\tau$): La diferencia entre las predicciones medias en $\tau=0.9$ y $\tau=0.5$, capturando la estocasticidad inherente de los retornos.

B. Calibración Conforme Dividida (Split Conformal Calibration)
El desacuerdo bruto del conjunto $\sigma_{ens}(s)$ depende de la tarea y es sensible a la escala. Para normalizar esto en una puntuación de incertidumbre libre de distribución, UNIQ emplea la predicción conforme dividida:

• Se reserva una división de calibración $D_{cal}$ del conjunto de datos de entrenamiento.
• Se calcula una puntuación de no conformidad $\alpha_i$ para cada transición de calibración, midiendo el residuo de Bellman de la función de valor $\tau=0.7$ del conjunto.
• Se calcula el cuantil $(1-\delta)$ de estas puntuaciones $\hat{q}$, proporcionando un umbral basado en datos con garantías de cobertura de muestra finita.
• La incertidumbre normalizada $u(s)$ se calcula como:
  $$u(s) = \frac{\sigma_{ens}(s)}{\hat{q} + \epsilon}$$
  Aquí, $u(s) > 1$ indica que el estado está pobremente cubierto (el desacuerdo excede el umbral calibrado), mientras que $u(s) < 1$ indica una buena cobertura.

C. Conservadurismo Adaptativo al Estado
La incertidumbre normalizada $u(s)$ se mapea a un expectil adaptativo $\tau(s)$ mediante un esquema sigmoideo:
$$\tau(s) = \tau_{min} + (\tau_{max} - \tau_{min}) \cdot \sigma_{sig}(-\beta_\tau(u(s) - 1))$$

• Alta Incertidumbre ($u(s) \gg 1$): $\tau(s) \to \tau_{min}$, imponiendo una estimación de valor más conservadora (menor).
• Baja Incertidumbre ($u(s) \ll 1$): $\tau(s) \to \tau_{max}$, permitiendo una estimación de valor más optimista.

Adicionalmente, UNIQ utiliza un objetivo de valor pesimista global $V_{pess}(s) = \bar{V}(0.7)(s) - \kappa \sigma_{ens}(s)$ para las actualizaciones de la función Q, donde $\kappa$ se ajusta por tarea.

3. Contribuciones Clave

• Innovación de Mecanismo: UNIQ introduce el primer método model-free que hace que el parámetro de expectil de IQL sea dependiente del estado de una manera libre de distribución, utilizando la calibración conforme para escalar las estimaciones de incertidumbre.
• Eficiencia: A diferencia de los métodos intensivos en conjuntos (p. ej., EDAC, SAC-N) que escalan linealmente con el recuento de críticos y requieren un VRAM masivo, UNIQ opera con costos de memoria cercanos a IQL. Logra esto mediante el uso de cabezales de valor de bajo rango compartidos y un paso de calibración conforme ligero.
• Transparencia: Los autores reportan explícitamente los casos de bajo rendimiento y posicionan el trabajo como una contribución de mecanismo práctico en la frontera de rendimiento-eficiencia, en lugar de una afirmación de dominio absoluto del estado del arte (SOTA) sobre todos los métodos.

4. Resultados Experimentales

Los experimentos se realizaron en el benchmark D4RL MuJoCo (9 tareas en HalfCheetah, Hopper y Walker2d).

• Rendimiento vs. IQL: UNIQ supera a IQL en las nueve tareas, logrando una puntuación promedio normalizada de 85.2 frente al 81.6 de IQL.
  • Ganancias: Las mejoras son más pronunciadas en las tareas de Hopper y Walker2d, particularmente en conjuntos de datos de reproducción media (p. ej., +7.2 en Walker2d-medium-replay, +4.2 en Hopper-medium-replay).
  • HalfCheetah: Las ganancias son modestas (+0.1 a +1.5), consistentes con la hipótesis de que la dinámica suave y bien cubierta se beneficia menos de la adaptabilidad del conservadurismo.
• Rendimiento vs. Conjuntos Pesados:
  • UNIQ (85.2 promedio) queda por detrás de EDAC (92.9 promedio) y ReBRAC (89.7 promedio) en puntuación agregada.
  • Sin embargo, UNIQ logra esto con un costo computacional significativamente menor.
• Eficiencia:
  • VRAM: UNIQ alcanza un máximo de ~250 MB, comparado con los ~530 MB de IQL, los ~2500 MB de EDAC y los ~1200 MB de ReBRAC.
  • Cómputo: UNIQ es aproximadamente 4.6× más rápido por paso que EDAC (N=50) y solo 1.1× más lento que IQL.

5. Significado y Reivindicaciones

El artículo posiciona a UNIQ no como una solución SOTA universal que supera a los métodos de conjuntos pesados, sino como un mecanismo práctico que aborda el cuello de botella estructural del conservadurismo global fijo en los métodos de tipo IQL.

• Mejora Dirigida: El método es específicamente efectivo en entornos con cobertura heterogénea (p. ej., conjuntos de datos con mucha reproducción donde los modos de comportamiento varían drásticamente). En estos escenarios, la capacidad de UNIQ para relajar el conservadurismo en regiones bien cubiertas mientras lo mantiene en regiones dispersas genera ganancias significativas.
• Accesibilidad de Recursos: Al operar con costos de memoria cercanos a IQL, UNIQ proporciona una vía viable para que los profesionales con recursos computacionales limitados (p. ej., instancias de un solo GPU o MIG) logren mejoras de rendimiento sobre IQL sin el costo prohibitivo de los grandes conjuntos.
• Direcciones Futuras: Los autores identifican la necesidad de una selección automática y dependiente del estado del coeficiente de pesimismo $\kappa(s)$ y un inicio temprano de la calibración conforme como los siguientes pasos clave.

En resumen, UNIQ demuestra que el conservadurismo adaptativo, guiado por una calibración de incertidumbre libre de distribución, ofrece un equilibrio de alto valor entre rendimiento y eficiencia, haciendo que el RL offline sea más robusto en regímenes de datos complejos y heterogéneos sin requerir un escalamiento computacional masivo.