Resumen Técnico: Alineación de Bellman de Un Paso Habilita Transferencia Probablemente Eficiente en RL Online

1. Declaración del Problema

El artículo aborda el desafío del aprendizaje por refuerzo (RL) de transferencia online en Procesos de Decisión de Markov (MDP) episódicos. El escenario implica un agente que interactúa con una tarea objetivo ($M^{(0)}$) mientras tiene acceso a la experiencia de tareas fuente relacionadas ($M^{(m)}$). El objetivo es aprovechar los datos de la fuente para acelerar el aprendizaje en la tarea objetivo sin comprometer la exploración ni las garantías de arrepentimiento.

Un obstáculo fundamental identificado es la desalineación entre las definiciones de similitud de tareas y los mecanismos de aprendizaje de RL online:

• Similitud de Tareas: Definida típicamente mediante recompensas, transiciones o funciones de valor.
• Mecanismo de Aprendizaje de RL: Los algoritmos modernos de RL online (por ejemplo, Q-learning) operan regresando objetivos de Bellman de un paso, que dependen conjuntamente del valor de continuación ($V_{h+1}$) y de la distribución de transición ($P_h$).

Los autores argumentan que la agrupación ingenua de actualizaciones de Bellman de tareas fuente introduce un sesgo sistemático. Incluso si las tareas son intrínsecamente cercanas, reemplazar el valor de continuación objetivo $V^{(0)}_{h+1}$ con un valor fuente $V^{(m)}_{h+1}$ o utilizar distribuciones de transición fuente $P^{(m)}_h$ crea una discrepancia que depende de la función de valor que varía con la iteración. Este sesgo estructural rompe la exploración basada en el optimismo e invalida las garantías estándar de arrepentimiento, ya que el error no desaparece con datos objetivos adicionales.

2. Metodología: Enfoque Re-pesado (RWT)

Para resolver el sesgo estructural, el artículo propone Enfoque Re-pesado (RWT), una corrección a nivel de operador que alinea los operadores de Bellman entre tareas.

2.1 Alineación de Bellman de Un Paso

La idea central es que la discrepancia de Bellman entre tareas puede reducirse a una corrección fija de un paso si el valor de continuación se evalúa bajo la tarea objetivo mientras la discrepancia de transición se corrige mediante un cambio de medida.

Dada una tarea fuente $m$ y una tarea objetivo $0$, sea $\omega^{(m)}_h(s' | s, a) = p^{(0)}_h(s' | s, a) / p^{(m)}_h(s' | s, a)$ la razón de densidad. El operador de Bellman alineado con RWT se define como:
$$(B^{(m \to 0)}_h V^{(m)}_{h+1})(s, a) := R^{(m)}_h(s, a) + \gamma \mathbb{E}_{s' \sim P^{(m)}_h} \left[ \omega^{(m)}_h(s' | s, a) V^{(0)}_{h+1}(s') \right]$$
Críticamente, el valor de continuación $V^{(0)}_{h+1}$ es la función de valor objetivo. La diferencia entre el operador de Bellman objetivo verdadero y el operador fuente alineado con RWT se simplifica a:
$$\Delta^{(m)}_h(s, a) = (B^{(0)}_h V^{(0)}_{h+1})(s, a) - (B^{(m \to 0)}_h V^{(m)}_{h+1})(s, a) = R^{(0)}_h(s, a) - R^{(m)}_h(s, a)$$
Este resultado muestra que la discrepancia de tareas se convierte en una diferencia fija de recompensa de un paso $\Delta^{(m)}_r$, independiente de la función de valor $V_{h+1}$. Esto transforma el problema de transferencia en el aprendizaje de un residual estructurado en lugar de un sesgo complejo dependiente de la iteración.

2.2 Marco Algorítmico: Q-learning con RWT

Los autores proponen un marco de Q-learning con RWT de dos etapas (Algoritmo 1) que separa la reducción de varianza de la corrección de sesgo:

1. Etapa I: Línea Base Basada en Fuente (Reducción de Varianza)
   • Construir pseudo-etiquetas alineadas con RWT a partir de datos fuente utilizando la estimación actual del valor objetivo $V_{h+1}$.
   • Ajustar un estimador de línea base $Q^{base}_{n,h}$ utilizando estas pseudo-etiquetas. Esto aprovecha la abundancia de datos fuente para reducir la varianza de estimación mientras mantiene la consistencia de Bellman con la tarea objetivo hasta la diferencia de recompensa.
2. Etapa II: Corrección Basada en Objetivo (Corrección de Sesgo)
   • Calcular etiquetas residuales usando datos objetivo: $z_{i,h} = y^{(0)}_{i,h} - Q^{base}_{n,h}(s_{i,h}, a_{i,h})$.
   • Estimar un término de corrección $\delta_{n,h}$ para capturar la diferencia estructurada de recompensa de un paso $\Delta^{(m)}_r$.
   • La estimación final de transferencia es $Q^{trans}_{n,h} = Q^{base}_{n,h} + \delta_{n,h}$.
3. Exploración:
   • Se añade una bonificación de exploración $b_{n,h}$ a $Q^{trans}_{n,h}$ para formar una estimación optimista $Q^{ucb}_{n,h}$, que tiene en cuenta la incertidumbre tanto de la línea base fuente (incluyendo la estimación de la razón de densidad) como de la corrección objetivo.

2.3 Instanciación Teórica (RKHS)

El marco se instancia bajo aproximación de funciones en Espacio de Hilbert de Núcleos Reproductores (RKHS):

• Se asume que la copia de seguridad de Bellman objetivo reside en un RKHS de alta complejidad $\mathcal{K}$.
• Se asume que el desplazamiento de tarea (la diferencia de recompensa $\Delta^{(m)}_r$) reside en un RKHS de menor complejidad $\tilde{\mathcal{K}} \subseteq \mathcal{K}$.
• Se utiliza regresión de cresta de núcleo tanto para la etapa de línea base como para la etapa de corrección.
• Las bonificaciones de exploración se derivan basándose en la ganancia de información y los números de cobertura de los núcleos respectivos.

3. Contribuciones Clave

1. Conceptual: Identificación de la alineación de Bellman de un paso como la abstracción correcta para la transferencia online. El artículo demuestra que la reutilización ingenua de Bellman está estructuralmente sesgada debido a la dependencia del valor de continuación, haciéndola incompatible con las garantías de arrepentimiento.
2. Algorítmica: Propuesta de Enfoque Re-pesado (RWT), una corrección a nivel de operador que permite la reutilización estadísticamente sólida de datos fuente. Esto genera un marco de Q-learning de dos etapas que desacopla la reducción de varianza (fuente) de la corrección de sesgo (objetivo).
3. Teórica: Establecimiento de límites de arrepentimiento bajo aproximación RKHS que escalan con la complejidad del desplazamiento de tarea (la diferencia de recompensa) en lugar de la complejidad del MDP objetivo completo. Esto proporciona mejoras estrictas sobre el aprendizaje de tarea única cuando el desplazamiento es estructurado.
4. Empírica: Demostración de mejoras consistentes sobre el aprendizaje de tarea única y la agrupación ingenua en configuraciones tabulares y de redes neuronales, validando la necesidad teórica de la alineación de Bellman.

4. Resultados

Resultados Teóricos

Bajo la suposición de que el desplazamiento de tarea reside en un RKHS de menor complejidad $\tilde{\mathcal{K}}$, el límite de arrepentimiento para el algoritmo OFU-RWT es:
$$\text{Arrepentimiento}(N) \lesssim H \sqrt{N \beta_1} \left( N^{\beta_1+1} + N^{\alpha_1+1} \right) + \text{Términos Fuente}$$

• El término dominante depende de la complejidad del desplazamiento de tarea ($\tilde{\mathcal{K}}$), no del MDP objetivo ambiental ($\mathcal{K}$).
• Cuando el desplazamiento es más simple que el problema ambiental (por ejemplo, $\alpha_1 \leq \beta_1$), el arrepentimiento es estrictamente menor que la tasa $O(H N^{1/2+\beta_0})$ del aprendizaje de tarea única.
• El término de estimación de fuente disminuye a medida que aumenta la relación de muestreo de fuente a objetivo $\kappa$.

Resultados Empíricos

Se realizaron experimentos en RandomRewardGridEnv, donde la recompensa objetivo es una tabla Q fija y la recompensa fuente es una versión perturbada ($R_{fuente} = R_{objetivo} + \Delta$).

• Agrupación Ingenua: Deterioró consistentemente el rendimiento en comparación con el aprendizaje solo objetivo, confirmando el sesgo estructural predicho por la teoría.
• RWT-Q: Superó tanto a la agrupación ingenua como a las líneas base solo objetivo en configuraciones tabulares y de Red Neuronal de Q Profundo (DQN).
• Eficiencia de Muestras: RWT-Q mostró ganancias significativas en eficiencia de muestras, particularmente cuando el desplazamiento de recompensa era estructurado pero no trivial.

5. Significado y Afirmaciones

El artículo afirma que la alineación de Bellman es un principio de transferencia agnóstico al modelo esencial para el RL online.

• Estructural vs. Estadístico: El fracaso de la transferencia ingenua se identifica como un problema estructural (desalineación de operadores) en lugar de estadístico (datos insuficientes).
• Descomposición: Al reducir la discrepancia de tareas a una corrección fija de un paso, RWT permite separar el aprendizaje en una fase de reducción de varianza impulsada por la fuente y una fase de corrección de sesgo impulsada por el objetivo.
• Garantías de Arrepentimiento: A diferencia de los métodos de transferencia anteriores que dependen de representaciones compartidas o suposiciones offline, este trabajo proporciona transferencia online probablemente eficiente con límites de arrepentimiento que se adaptan a la complejidad del desplazamiento en lugar de la tarea.
• Generalidad: El mecanismo es independiente de la estrategia de exploración específica (compatible con $\epsilon$-greedy o UCB) y del aproximador de funciones (tabular o neuronal), lo que lo convierte en un principio general para la transferencia de RL online.