Resumo Técnico: Aprendizado por Reforço Offline com Feedback Humano Robusto à Corrupção

Definição do Problema

Este artigo aborda o desafio da robustez à corrupção no Aprendizado por Reforço Offline a partir de Feedback Humano (RLHF). Os autores consideram um cenário onde um conjunto de dados offline consiste em pares de trajetórias $(\tau^0, \tau^1)$ juntamente com o feedback de preferência humana $o \in \{+1, -1\}$. O problema central é que uma fração $\epsilon$ desses dados é corrompida por um adversário. Essa corrupção pode se manifestar como:

1. Manipulação de feedback: Inversão do rótulo de preferência $o$.
2. Manipulação de características da trajetória: Alteração das características das trajetórias $\tau$.

O objetivo é projetar algoritmos que possam identificar uma política quase ótima a partir de tais dados corrompidos com garantias teóricas comprováveis. Os autores operam sob a premissa de Processos de Decisão de Markov Lineares (MDPs), onde as recompensas e transições são funções lineares de um mapa de características $\phi$ de dimensão $d$, com um comprimento de horizonte $H$.

A literatura existente estudou separadamente o RL robusto à corrupção (aprendizado de recompensas escalares sob corrupção) e o RLHF offline (aprendizado de preferências sob dados limpos). No entanto, essas abordagens são inaplicáveis à interseção específica de aprender de dados de preferência que estão corrompidos em um cenário offline.

Metodologia

A metodologia proposta segue um framework de três etapas para reduzir o problema do RLHF offline robusto ao problema do RL offline robusto:

1. Estimativa Robusta do Modelo de Recompensa: Os autores primeiro aprendem robustamente o parâmetro de recompensa $\theta$ resolvendo um problema de Estimativa de Máxima Verossimilhança (MLE) Aparada (Trimmed). Em vez de usar todos os dados, o algoritmo seleciona um subconjunto de $(1-\epsilon)N$ amostras que maximiza a verossimilhança. Para lidar com características corrompidas, o método emprega estimativa de covariância robusta para branquear (whiten) as covariáveis antes de executar um procedimento de otimização alternada para encontrar um ponto estacionário aproximado.
2. Construção do Conjunto de Confiança: Um conjunto de confiança $\Theta(\mathcal{D})$ é construído em torno do parâmetro de recompensa estimado $\hat{\theta}$. Este conjunto é definido com base na razão de verossimilhança entre o parâmetro estimado e o parâmetro real, garantindo que o parâmetro verdadeiro esteja dentro do conjunto com alta probabilidade, apesar da corrupção.
3. Otimização de Política Pessimista: A etapa final envolve o aprendizado de uma política ótima pessimista sobre o conjunto de confiança construído. Isso é alcançado reduzindo o problema ao RL offline robusto à corrupção. O algoritmo específico utilizado para essa redução depende das suposições de cobertura da distribuição dos dados offline.

O artigo instancia este framework geral sob três distintas suposições de cobertura de dados, utilizando diferentes oráculos de RL robusto para cada uma:

1. Cobertura Uniforme

Sob a suposição de que os dados offline cobrem uniformemente o espaço de características (especificamente, a matriz de covariância de diferença de características $\Sigma^{diff}$ é bem condicionada), os autores utilizam um algoritmo de RL offline robusto existente, o R-LSVI [Zha+22], como um oráculo de ordem zero.

• Mecanismo: O algoritmo trata o método de RL offline robusto como uma caixa preta que retorna uma política e uma estimativa de valor, mas não fornece informações de gradiente.
• Resultado: Isso gera um gap de subotimalidade de $O(\epsilon^{1-o(1)})$, que é quase ótimo em relação à fração de corrupção $\epsilon$.

2. Baixo Número de Condição Relativo

Reconhecendo que a cobertura uniforme é uma suposição forte, os autores a relaxam para uma suposição de Baixo Número de Condição Relativo. Esta condição é mais fraca, exigindo apenas que a razão da covariância de características da política alvo para a covariância da política de comportamento seja limitada.

• Mecanismo: Como o oráculo de ordem zero (R-LSVI) não pode fornecer gradientes, os autores empregam uma técnica de aproximação Gaussiana [NS17] para construir um subgradiente aproximado da função de valor ótima $V^*(\theta)$. Eles tratam o oráculo de RL offline robusto como um oráculo de ordem zero enviesado e realizam o Descida de Subgradiente Projetada sobre o conjunto de confiança.
• Resultado: Esta abordagem alcança um gap de subotimalidade de $\tilde{O}(H^2 d \sqrt{\alpha \epsilon} + H^{5/4} d^{3/4} (\alpha \epsilon)^{1/4})$, onde $\alpha$ é o número de condição relativo. A dependência de $\epsilon$ é de $O(\epsilon^{1/4})$.

3. Razão de Cobertura Generalizada Limitada

Para melhorar ainda mais a dependência de $\epsilon$, os autores consideram uma suposição de Razão de Cobertura Generalizada Limitada, introduzida recentemente por Gabbianelli et al. [Gab+24].

• Mecanismo: Sob esta suposição, os autores projetam um novo método de RL offline robusto à corrupção (Algoritmo 7) que atua como um oráculo de primeira ordem. Este método, baseado em um framework primal-dual para MDPs lineares, retorna não apenas uma política aproximadamente ótima, mas também um subgradiente aproximado da função de valor ótima $V^*(\theta)$. Isso permite que o algoritmo principal de RLHF realize o descida de subgradiente projetada direta sem a necessidade de suavização de ordem zero.
• Resultado: Isso resulta em um gap de subotimalidade significativamente melhorado de $\tilde{O}(\nu \sqrt{\epsilon} H^2 d^{3/2})$, onde $\nu$ é a razão de cobertura generalizada. A dependência de $\epsilon$ melhora para $O(\sqrt{\epsilon})$.

Principais Contribuições e Resultados

O artigo fornece os primeiros métodos de RLHF offline robustos à corrupção com provas. As principais contribuições e resultados teóricos estão resumidos na Tabela 1 do artigo:

• Framework Inovador: A redução do RLHF robusto para o RL offline robusto via estimativa de recompensa robusta e construção de conjunto de confiança.
• Instanciações Algorítmicas:
  • Algoritmo 1: Para cobertura uniforme, alcançando $O(\epsilon^{1-o(1)})$ de subotimalidade usando R-LSVI como um oráculo de ordem zero.
  • Algoritmo 3: Para baixo número de condição relativo, alcançando $\tilde{O}(\epsilon^{1/4})$ de subotimalidade usando aproximação Gaussiana com um oráculo de ordem zero.
  • Algoritmo 4 & 7: Para razão de cobertura generalizada limitada, alcançando $\tilde{O}(\sqrt{\epsilon})$ de subotimalidade usando um novo oráculo de RL offline robusto de primeira ordem.
• Eficiência do Oráculo: O artigo destaca que a transição do acesso de ordem zero para o de primeira ordem (Algoritmo 7) reduz significativamente o número de chamadas ao oráculo e melhora a dependência do parâmetro de corrupção $\epsilon$.

Significância e Alegações

Os autores afirmam que este trabalho é o primeiro a combinar robustez à corrupção com RLHF offline, fornecendo garantias teóricas rigorosas onde trabalhos anteriores não podiam.

• Robustez a Ataques Adversários: Os métodos são projetados para resistir à manipulação adversária tanto de rótulos de preferência quanto de características de trajetória, um requisito crítico para implantação no mundo real onde a confiabilidade dos dados é comprometida.
• Garantias Teóricas: O artigo fornece limites explícitos no gap de subotimalidade em termos da fração de corrupção $\epsilon$, horizonte $H$, dimensão de característica $d$ e constantes de cobertura ($\xi, \alpha, \nu$).
• Escopo Modesto e Trabalho Futuro: Os autores são modestos quanto ao escopo atual, observando que os resultados são específicos para MDPs lineares. Eles reconhecem que estender esses resultados para funções de recompensa não convexas ou aproximação de função geral (ex: redes neurais profundas) é um desafio significativo, pois a convexidade da função de valor ótima $V^*(\theta)$ em $\theta$ — que é crucial para suas provas baseadas em gradiente — pode não se manter em configurações não lineares. Eles também observam que, embora forneçam resultados de simulação preliminares, aplicar esses métodos a cenários práticos como o ajuste fino de Grandes Modelos de Linguagem (LLMs) continua sendo uma direção aberta e desafiadora para pesquisas futuras.