Resumo Técnico: Alinhamento Bellman de Um Passo Habilita Transferência Provavelmente Eficiente em RL Online

1. Declaração do Problema

O artigo aborda o desafio do aprendizado por reforço (RL) de transferência online em Processos de Decisão de Markov (MDPs) episódicos. O cenário envolve um agente interagindo com uma tarefa-alvo ($M^{(0)}$) enquanto tem acesso a experiências de tarefas-fonte relacionadas ($M^{(m)}$). O objetivo é aproveitar os dados da fonte para acelerar o aprendizado na tarefa-alvo sem comprometer a exploração ou as garantias de arrependimento.

Um obstáculo fundamental identificado é o desalinhamento entre definições de similaridade de tarefas e mecanismos de aprendizado de RL online:

• Similaridade de Tarefas: Tipicamente definida via recompensas, transições ou funções valor.
• Mecanismo de Aprendizado de RL: Algoritmos modernos de RL online (por exemplo, Q-learning) operam regressando alvos Bellman de um passo, que dependem conjuntamente do valor de continuação ($V_{h+1}$) e da distribuição de transição ($P_h$).

Os autores argumentam que o agrupamento ingênuo de atualizações Bellman de tarefas-fonte introduz viés sistemático. Mesmo que as tarefas sejam intrinsecamente próximas, substituir o valor de continuação alvo $V^{(0)}_{h+1}$ por um valor de fonte $V^{(m)}_{h+1}$ ou usar distribuições de transição de fonte $P^{(m)}_h$ cria uma discrepância que depende da função valor que varia com a iteração. Esse viés estrutural quebra a exploração baseada em otimismo e invalida garantias padrão de arrependimento, pois o erro não desaparece com dados adicionais da tarefa-alvo.

2. Metodologia: Direcionamento Re-pesado (RWT)

Para resolver o viés estrutural, o artigo propõe o Direcionamento Re-pesado (RWT), uma correção ao nível do operador que alinha operadores Bellman entre tarefas.

2.1 Alinhamento Bellman de Um Passo

A ideia central é que o desajuste Bellman entre tarefas pode ser reduzido a uma correção fixa de um passo se o valor de continuação for avaliado sob a tarefa-alvo enquanto o desajuste de transição é corrigido via mudança de medida.

Dada uma tarefa-fonte $m$ e uma tarefa-alvo $0$, seja $\omega^{(m)}_h(s' | s, a) = p^{(0)}_h(s' | s, a) / p^{(m)}_h(s' | s, a)$ a razão de densidade. O operador Bellman alinhado por RWT é definido como:
$$(B^{(m \to 0)}_h V^{(m)}_{h+1})(s, a) := R^{(m)}_h(s, a) + \gamma \mathbb{E}_{s' \sim P^{(m)}_h} \left[ \omega^{(m)}_h(s' | s, a) V^{(0)}_{h+1}(s') \right]$$
Crucialmente, o valor de continuação $V^{(0)}_{h+1}$ é a função valor alvo. A diferença entre o operador Bellman alvo verdadeiro e o operador fonte alinhado por RWT simplifica-se para:
$$\Delta^{(m)}_h(s, a) = (B^{(0)}_h V^{(0)}_{h+1})(s, a) - (B^{(m \to 0)}_h V^{(m)}_{h+1})(s, a) = R^{(0)}_h(s, a) - R^{(m)}_h(s, a)$$
Este resultado mostra que o desajuste de tarefas torna-se uma diferença fixa de recompensa de um passo $\Delta^{(m)}_r$, independente da função valor $V_{h+1}$. Isso transforma o problema de transferência no aprendizado de um resíduo estruturado em vez de um viés complexo dependente da iteração.

2.2 Estrutura Algorítmica: Q-Learning RWT

Os autores propõem uma estrutura de Q-learning RWT em dois estágios (Algoritmo 1) que separa a redução de variância da correção de viés:

1. Estágio I: Linha de Base Baseada em Fonte (Redução de Variância)
   • Construir pseudo-rótulos alinhados por RWT a partir de dados de fonte usando a estimativa atual de valor alvo $V_{h+1}$.
   • Ajustar um estimador de linha de base $Q^{base}_{n,h}$ usando esses pseudo-rótulos. Isso aproveita dados abundantes de fonte para reduzir a variância de estimativa, mantendo consistência Bellman com a tarefa-alvo até a diferença de recompensa.
2. Estágio II: Correção Baseada em Alvo (Correção de Viés)
   • Calcular rótulos residuais usando dados alvo: $z_{i,h} = y^{(0)}_{i,h} - Q^{base}_{n,h}(s_{i,h}, a_{i,h})$.
   • Estimar um termo de correção $\delta_{n,h}$ para capturar a diferença estruturada de recompensa de um passo $\Delta^{(m)}_r$.
   • A estimativa final de transferência é $Q^{trans}_{n,h} = Q^{base}_{n,h} + \delta_{n,h}$.
3. Exploração:
   • Um bônus de exploração $b_{n,h}$ é adicionado a $Q^{trans}_{n,h}$ para formar uma estimativa otimista $Q^{ucb}_{n,h}$, contabilizando a incerteza tanto da linha de base de fonte (incluindo estimativa de razão de densidade) quanto da correção alvo.

2.3 Instanciação Teórica (RKHS)

A estrutura é instanciada sob aproximação de função em Espaço de Hilbert de Núcleo Reprodutor (RKHS):

• Assume-se que o backup Bellman alvo reside em um RKHS de alta complexidade $\mathcal{K}$.
• Assume-se que o deslocamento de tarefa (a diferença de recompensa $\Delta^{(m)}_r$) reside em um RKHS de menor complexidade $\tilde{\mathcal{K}} \subseteq \mathcal{K}$.
• Regressão de crista de núcleo é usada tanto para o estágio de linha de base quanto para o de correção.
• Bônus de exploração são derivados com base no ganho de informação e números de cobertura dos núcleos respectivos.

3. Contribuições Principais

1. Conceitual: Identificação do alinhamento Bellman de um passo como a abstração correta para transferência online. O artigo demonstra que a reutilização ingênua de Bellman é estruturalmente enviesada devido à dependência do valor de continuação, tornando-a incompatível com garantias de arrependimento.
2. Algorítmica: Proposição do Direcionamento Re-pesado (RWT), uma correção ao nível do operador que permite a reutilização estatisticamente sólida de dados de fonte. Isso gera uma estrutura de Q-learning em dois estágios que desacopla a redução de variância (fonte) da correção de viés (alvo).
3. Teórica: Estabelecimento de limites de arrependimento sob aproximação RKHS que escalam com a complexidade do deslocamento de tarefa (a diferença de recompensa) em vez da complexidade do MDP alvo completo. Isso fornece melhorias estritas sobre o aprendizado de tarefa única quando o deslocamento é estruturado.
4. Empírica: Demonstração de melhorias consistentes sobre o aprendizado de tarefa única e agrupamento ingênuo em configurações tabulares e de redes neurais, validando a necessidade teórica do alinhamento Bellman.

4. Resultados

Resultados Teóricos

Sob a suposição de que o deslocamento de tarefa reside em um RKHS de menor complexidade $\tilde{\mathcal{K}}$, o limite de arrependimento para o algoritmo OFU-RWT é:
$$\text{Arrependimento}(N) \lesssim H \sqrt{N \beta_1} \left( N^{\beta_1+1} + N^{\alpha_1+1} \right) + \text{Termos de Fonte}$$

• O termo dominante depende da complexidade do deslocamento de tarefa ($\tilde{\mathcal{K}}$), e não do MDP alvo ambiente ($\mathcal{K}$).
• Quando o deslocamento é mais simples que o problema ambiente (por exemplo, $\alpha_1 \leq \beta_1$), o arrependimento é estritamente menor que a taxa $O(H N^{1/2+\beta_0})$ do aprendizado de tarefa única.
• O termo de estimativa de fonte diminui à medida que a razão de amostragem fonte-para-alvo $\kappa$ aumenta.

Resultados Empíricos

Experimentos foram conduzidos no RandomRewardGridEnv, onde a recompensa alvo é uma tabela Q fixa e a recompensa de fonte é uma versão perturbada ($R_{fonte} = R_{alvo} + \Delta$).

• Agrupamento Ingênuo: Desempenho consistentemente degradado em comparação com o aprendizado apenas de alvo, confirmando o viés estrutural previsto pela teoria.
• RWT-Q: Superou tanto o agrupamento ingênuo quanto as linhas de base apenas de alvo em configurações tabulares e de Rede Q Profunda (DQN).
• Eficiência de Amostra: O RWT-Q mostrou ganhos significativos em eficiência de amostra, particularmente quando o deslocamento de recompensa era estruturado, mas não trivial.

5. Significado e Alegações

O artigo alega que o alinhamento Bellman é um princípio de transferência agnóstico ao modelo essencial para RL online.

• Estrutural vs. Estatístico: A falha da transferência ingênua é identificada como um problema estrutural (desalinhamento de operador) e não estatístico (dados insuficientes).
• Decomposição: Ao reduzir o desajuste de tarefas a uma correção fixa de um passo, o RWT permite a separação do aprendizado em uma fase de redução de variância dirigida pela fonte e uma fase de correção de viés dirigida pelo alvo.
• Garantias de Arrependimento: Diferentemente de métodos anteriores de transferência que dependem de representações compartilhadas ou suposições offline, este trabalho fornece transferência online provavelmente eficiente com limites de arrependimento que se adaptam à complexidade do deslocamento em vez da tarefa.
• Generalidade: O mecanismo é independente da estratégia de exploração específica (compatível com $\epsilon$-greedy ou UCB) e do aproximador de função (tabular ou neural), tornando-o um princípio geral para transferência de RL online.