Resumen Técnico: Ajuste de Coincidencia de Q-Adyacente con Región de Confianza (TRQAM)

Enunciado del Problema

El artículo aborda el desafío del ajuste fino fuera de política para políticas de flujo preentrenadas. Si bien las políticas de coincidencia de flujo ofrecen distribuciones de acción ricas y multimodales superiores a las políticas gaussianas unimodales convencionales, su definición implícita mediante procesos de eliminación de ruido de múltiples pasos hace que la mejora de políticas basada en gradientes sea inestable. La retropropagación directa a través de la cadena de muestreo es computacionalmente costosa y propensa a la inestabilidad.

Las soluciones existentes intentan eludir esto aprendiendo residuos aditivos (ignorando la dinámica de múltiples pasos) o operando en el espacio de ruido (limitada por la expresividad de la política congelada). Un enfoque reciente, Aprendizaje por Refuerzo Q con Coincidencia de Adyacente (QAM), reformula el ajuste fino como un problema de Control Óptimo Estocástico (SOC) sin memoria, utilizando un crítico aprendido para guiar el proceso de muestreo mediante coincidencia de adyacente. Sin embargo, los autores identifican una fragilidad fundamental en QAM: en configuraciones fuera de política, el crítico aprendido es inevitablemente imperfecto. Pequeños errores de aproximación en el crítico se amplifican exponencialmente cuando la actualización de la política depende de una "temperatura" fija (o inversa de temperatura $\beta$), lo que conduce a una deriva destructiva desde el prior preentrenado y al colapso eventual del modelo. Esta inestabilidad persiste incluso con recorte de gradientes.

Metodología: Ajuste de Coincidencia de Q-Adyacente con Región de Confianza (TRQAM)

TRQAM propone un algoritmo de ajuste fino fuera de política estable que integra un mecanismo de región de confianza directamente en la dinámica de muestreo del SOC. La innovación central es el control adaptativo de la divergencia de Kullback-Leibler (KL) en el espacio de trayectorias entre la política ajustada y el prior preentrenado.

Principales Perspectivas Teóricas

1. Amplificación Exponencial de Errores: Los autores formalizan (Lema 1) que la coincidencia de adyacente con temperatura fija sufre una amplificación exponencial de los errores del crítico. Un $\beta$ fijo no puede aprovechar simultáneamente un crítico fiable y protegerse contra uno no fiable.
2. $\lambda$ como Parámetro de Región de Confianza: TRQAM introduce un parámetro escalar $\lambda$ que escala el coeficiente de difusión en la EDE del SOC por $\sqrt{\lambda}$.
3. Identidad KL Exacta (Teorema 1): Utilizando el teorema de Girsanov, los autores demuestran que escalar la difusión por $\sqrt{\lambda}$ convierte la divergencia KL en el espacio de trayectorias en una función exacta y de forma cerrada de $\lambda$:
   $$D_{KL}(P_u \parallel P_{base}) = \mathbb{E}_{X \sim P_u} \left[ \frac{1}{2\lambda} \int_0^1 \|u(X_\tau, \tau)\|^2 d\tau \right]$$
   Esto establece un vínculo estructural directo entre el parámetro $\lambda$ y la desviación de la política base.
4. Límite Terminal KL (Proposición 1): La KL en el espacio de trayectorias acota superiormente la KL de la distribución de acciones terminal, asegurando que controlar la KL en el espacio de trayectorias restrinja efectivamente la desviación final de la política.

Marco Algorítmico

En lugar de añadir un término KL como penalización de pérdida externa (que puede ser anulado por gradientes fuertes del crítico), TRQAM internaliza $\lambda$ dentro de la dinámica de muestreo:

• Muestreo: La EDE controlada utiliza un coeficiente de difusión $\sqrt{\lambda}\sigma(\tau)$. Ajustar $\lambda$ remodela la propia EDE, acercando o alejando la dinámica controlada de la dinámica base.
• Adaptación: El algoritmo emplea descenso dual proyectado para adaptar $\lambda$ dinámicamente. Estima la KL en el espacio de trayectorias realizada ($\hat{D}_n$) mediante un sustituto de Monte Carlo derivado del muestreador sin memoria de OT discretizado.
• Regla de Actualización: $\lambda$ se actualiza para hacer cumplir un presupuesto objetivo de KL $\epsilon_{KL}$:
  $$\lambda_{n+1} \leftarrow \max\{0, \lambda_n + \eta_\lambda (D_n - \epsilon_{KL})\}$$
  Si la KL realizada excede el presupuesto, $\lambda$ aumenta, haciendo la dinámica más conservadora; si cae por debajo, $\lambda$ disminuye, permitiendo una mejora más agresiva.

Contribuciones Clave

1. Identificación de Fragilidad: El artículo identifica y formaliza la amplificación exponencial de errores del crítico en la coincidencia de adyacente con temperatura fija, demostrando su tendencia a causar colapso del modelo en puntos de referencia como Robomimic.
2. Vínculo Teórico: Demuestra que escalar el coeficiente de difusión por $\sqrt{\lambda}$ crea una identidad exacta entre el costo de control y la KL en el espacio de trayectorias, convirtiendo a $\lambda$ en un parámetro de región de confianza principista.
3. Diseño Algorítmico: TRQAM se propone como un método que internaliza el parámetro de región de confianza en la dinámica del SOC y lo adapta mediante descenso dual, haciendo cumplir el límite KL a nivel de muestreo en lugar de como una penalización de pérdida suave.
4. Superioridad Empírica: Experimentos extensivos demuestran que TRQAM logra una convergencia estable donde los métodos anteriores fallan y supera a las líneas base más avanzadas.

Resultados Experimentales

Los autores evalúan TRQAM en 50 tareas del punto de referencia OGBench y el punto de referencia de manipulación Robomimic.

• Rendimiento de RL Offline: En OGBench, TRQAM logra una tasa de éxito general del 68%, superando sustancialmente a la línea base más fuerte (DSRL con 46%) y a los métodos anteriores de coincidencia de adyacente (QAM con 35%, QAM-E con 45%). Las ganancias son particularmente pronunciadas en tareas de horizonte largo y combinatorias.
• Estabilidad: En Robomimic, los métodos de temperatura fija (QAM, QAM-E) exhiben pérdidas de adyacente que explotan (hasta $10^{20}$) y tasas de éxito que colapsan a casi cero en diversas configuraciones de hiperparámetros. En contraste, TRQAM permanece estable en todos los presupuestos probados.
• Validación del Mecanismo: Los estudios de ablación confirman que:
  • La adaptación es necesaria: Los presupuestos KL adaptativos superan a los fijos.
  • La internalización es necesaria: Internalizar $\lambda$ en la EDE (TRQAM) rastrea estrechamente el presupuesto KL, mientras que la regularización KL externa permite que la KL realizada se desvíe mucho más allá del objetivo, lo que lleva a una degradación del rendimiento.
• Sensibilidad: El presupuesto KL objetivo $\epsilon_{KL}$ actúa como un control predecible; presupuestos más ajustados generalmente producen mejor rendimiento, aunque el valor óptimo varía sistemáticamente con la estructura de la tarea (por ejemplo, presupuestos más grandes son beneficiosos para tareas con espacios de estado más grandes como puzzle-4x4).

Significado y Afirmaciones

El artículo afirma que TRQAM proporciona una alternativa principista y estable a los métodos existentes de ajuste fino fuera de política para políticas de flujo. Al internalizar la restricción de región de confianza en la dinámica de muestreo mediante el teorema de Girsanov, TRQAM evita la "deriva destructiva" causada por críticos imperfectos en métodos como QAM.

Los autores posicionan a TRQAM como el análogo fuera de política a la Optimización de Política con Región de Confianza (TRPO) y la Optimización de Política Proximal (PPO) para RL en política. Argumentan que, para políticas de flujo preentrenadas, que sirven como priores conductuales valiosos, mantener una desviación controlada mediante una identidad KL exacta es crucial para prevenir el olvido catastrófico y el colapso del modelo. El método se presenta como una solución robusta tanto para RL offline como para la transición al ajuste fino en línea, ofreciendo un mecanismo fiable para aprovechar habilidades preentrenadas sin sacrificar la estabilidad.