Resumo Técnico: Aprendizado por Reforço com Regularização KL Online com Aproximação de Função sob Especificação Incorreta

1. Formulação do Problema

Este trabalho aborda o problema de bandidos contextuais e aprendizado por reforço (RL) episódico com regularização KL sob aproximação de função geral quando a classe de modelos escolhida está especificada incorretamente (misspecified).

Em configurações padrão, garantias teóricas frequentemente dependem da suposição de realizabilidade, que postula que a função de recompensa ou de valor real reside exatamente dentro da classe de funções do aprendiz. No entanto, em aplicações práticas como o Aprendizado por Reforço com Feedback Humano (RLHF) e o pós-treinamento de Grandes Modelos de Linguagem (LLMs), os aprendizes frequentemente utilizam classes de funções restritas (ex: modelos lineares ou de baixo posto) que não podem capturar perfeitamente estruturas de recompensa não lineares complexas. Isso leva à especificação incorreta do modelo (model misspecification), onde mesmo com dados infinitos, o melhor preditor na classe escolhida retém um viés de aproximação não nulo.

Os objetivos específicos são:

• Bandidos Contextuais: Minimizar o regret KL cumulativo contra uma política de Gibbs ótima em KL, definida por uma política de referência $\pi_{\text{ref}}$ e um parâmetro de regularização $\eta$.
• RL Episódico: Minimizar o regret KL cumulativo em um cenário de MDP episódico, onde as atualizações de política são regularizadas por uma penalidade KL em relação às políticas de referência por estágio.

O desafio central é que as análises existentes de especificação incorreta para formulações padrão de regret de recompensa não se transferem diretamente para configurações com regularização KL devido a diferenças estruturais na geometria de otimização e nos alvos de Bellman.

2. Metodologia

2.1 Formulações de Especificação Incorreta

Os autores introduzem condições de especificação incorreta específicas adaptadas ao objetivo de regularização KL:

• Bandidos Contextuais: Uma formulação de especificação incorreta pontual (pointwise) onde o erro quadrático entre a recompensa real $R^\star$ e o melhor aproximador na classe $\mathcal{R}$ é limitado por $\zeta_{\text{Bandit}}^2$.
• RL Episódico: Uma condição de especificação incorreta por estágio (stagewise) alinhada aos alvos de Bellman com regularização KL. Isso limita o erro entre o backup de Bellman real (envolvendo o operador de partição logarítmica) e o melhor aproximador na classe de funções por estágio $\mathcal{R}_h$, limitado por $\zeta_{\text{RL}}$.

2.2 Algoritmos

O artigo propõe dois algoritmos baseados em regressão que incorporam otimismo para lidar com incerteza e especificação incorreta:

1. MR-KL-UCB (Bandidos Contextuais):

   • Ajusta um Minimizador de Risco Empírico (ERM) sobre os dados observados.
   • Computa um bônus de incerteza baseado na dimensão de eluder da classe de funções.
   • Adiciona o nível de especificação incorreta conhecido $\zeta_{\text{Bandit}}$ ao bônus.
   • Atualiza a política usando uma distribuição de Gibbs derivada da estimativa de recompensa otimista: $\pi_t(a|x) \propto \pi_{\text{ref}}(a|x) \exp(\eta \hat{R}_t(x,a))$.

2. MR-KL-LSVI (RL Episódico):

   • Uma extensão da Iteração de Valor por Mínimos Quadrados (LSVI) para o cenário de regularização KL.
   • Realiza planejamento reverso: em cada estágio $h$, recomputa os rótulos de regressão usando o valor de continuação do próximo estágio.
   • Ajusta um ERM por estágio, computa um bônus de incerteza e adiciona o nível de especificação incorreta $\zeta_{\text{RL}}$.
   • Atualiza a política via melhoria de política de Gibbs em relação à política de referência por estágio.
   • Utiliza uma atualização de valor suave (soft-value update) (operador de partição logarítmica) para lidar com a regularização KL.

2.3 Técnicas de Análise Teórica

A análise combina várias técnicas avançadas:

• Identidade Variacional de Gibbs: Utiliza a relação exata entre o gap KL e a diferença nos scores para limitar o regret.
• Auto-limitação Quadrática (Quadratic Self-Bounding): Estabelece que o gap KL entre a política do aprendiz e a política ótima é limitado superiormente pela diferença ao quadrado de suas funções de score (gap de otimismo).
• Redução a Resíduos de Bellman: Converte gaps de Q-on-policy ao quadrado em termos de resíduo de Bellman ao quadrado, isolando contribuições específicas de KL.
• Desigualdade de Freedman: Usada para alinhar somas previsíveis de bônus ao quadrado com somas realizadas, garantindo garantias de alta probabilidade.

3. Principais Contribuições

1. Novas Formulações de Especificação Incorreta: O artigo define as primeiras condições de especificação incorreta alinhadas ao KL tanto para bandidos contextuais (pontuais) quanto para RL episódico (por estágio ao longo dos caminhos de Bellman).
2. Design Algorítmico: Introduz o MR-KL-UCB e o MR-KL-LSVI, que calibram explicitamente os bônus de otimismo para níveis conhecidos de especificação incorreta ($\zeta$) enquanto mantêm a estrutura de política de Gibbs necessária para objetivos com regularização KL.
3. Garantias de Regret de Alta Probabilidade: Os autores estabelecem limites de regret KL de alta probabilidade que separam explicitamente a complexidade estatística (via dimensão de eluder) do erro de aproximação devido à especificação incorreta.
   • Para bandidos: $O(\eta \sqrt{\log(N_R T/\delta) \cdot d(\mathcal{R}, \lambda, T)} + T\zeta_{\text{Bandit}}^2)$.
   • Para RL: $\tilde{O}(\eta H^2 \sqrt{d_{\text{RL}}(\lambda, T)} + \eta H^3 T \zeta_{\text{RL}}^2)$.
4. Recuperação de Casos Realizáveis: A análise demonstra que, quando o nível de especificação incorreta é zero ($\zeta = 0$), os limites recuperam as garantias de estado da arte para cenários realizáveis com regularização KL.

4. Resultados

Os principais resultados teóricos (Teorema 5.1 e Corolário 5.4) fornecem as seguintes garantias:

• Bandidos Contextuais: Sob o modelo de especificação incorreta pontual, o regret KL cumulativo escala com a raiz quadrada da dimensão de eluder da classe de funções e linearmente com o horizonte de tempo total $T$ multiplicado pelo erro de especificação incorreta ao quadrado $\zeta_{\text{Bandit}}^2$.
• RL Episódico: Sob a condição de especificação incorreta por estágio, o regret escala com o horizonte $H$, o parâmetro de regularização $\eta$, a dimensão de eluder agregada e o erro de especificação incorreta ao quadrado $\zeta_{\text{RL}}^2$. O limite inclui um termo explícito para a soma dos bônus ao quadrado, que é controlado pelo nível de especificação incorreta.

Estes resultados ocorrem com alta probabilidade ($1-\delta$) e assumem ruído condicionalmente sub-Gaussiano.

5. Significância e Alegações

O artigo afirma preencher uma lacuna crítica na compreensão teórica de RLHF e aprendizado baseado em preferências, onde a especificação incorreta do modelo é comum, mas frequentemente ignorada em análises teóricas.

• Unindo Teoria e Prática: Ao ir além da suposição de realizabilidade, este trabalho fornece um framework teórico mais realista para aplicações modernas de RL, onde classes de funções simples (como modelos lineares) são usadas para aproximar paisagens de recompensa complexas.
• Insight Estrutural: A análise destaca que objetivos com regularização KL introduzem desafios geométricos específicos (ex: operadores de partição logarítmica e políticas de Gibbs) que exigem condições de especificação incorreta distintas em comparação com formulações padrão de regret de recompensa.
• Robustez: Os algoritmos propostos mostram-se robustos a erros de aproximação, degradando-se graciosamente conforme o nível de especificação incorreta aumenta, em vez de falharem completamente como alguns limites dependentes de realizabilidade poderiam sugerir.

Os autores observam que seu modelo assume especificação incorreta pontual e ruído de cauda leve. Eles reconhecem que estender essas garantias para medidas de especificação incorreta on-policy, configurações de cauda pesada e modelos de feedback mais amplos (como formulações baseadas em preferências além do escopo atual) permanece uma direção importante para trabalhos futuros.