Resumo Técnico: Regularização de Manipulação de Feedback (FMR)

Declaração do Problema

O Aprendizado por Reforço (RL) enfrenta um desafio duplo: aptidão (aprender a resolver uma tarefa) e alinhamento (aprender a resolvê-la de acordo com os valores humanos). Embora demonstrações humanas e feedback sejam críticos para o alinhamento, as abordagens existentes dependem predominantemente de pipelines de múltiplos estágios projetados para o enquadramento de bandit contextual da geração de linguagem (ex: RLHF). Esses métodos têm dificuldade em se traduzir para ambientes de tomada de decisão totalmente sequenciais.

Além disso, os métodos atuais de aprendizado baseado em preferências sofrem de limitações fundamentais em configurações sequenciais:

1. Ambiguidade Relacional: Preferências são relativas ("qual é melhor?") em vez de absolutas ("isso é bom?"). Um comportamento preferido não é necessariamente um comportamento alinhado, especialmente se ambas as opções em um par de comparação estiverem desalinhadas.
2. Limitações de Amostragem: Pares de comparação amostrados aleatoriamente dificultam o direcionamento a comportamentos específicos sem curadoria explícita.
3. Escassez de Dados: Em configurações offline com dados limitados, particularmente onde as demonstrações de especialistas são escassas e as demonstrações imperfeitas contêm comportamentos ruidosos ou desalinhados, os algoritmos existentes frequentemente falham em manter o alinhamento.

O artigo aborda a necessidade de um método offline de estágio único que combine efetivamente demonstrações e feedback avaliativo para alinhar políticas em ambientes totalmente sequenciais, mesmo sob regimes de dados limitados.

Metodologia: Regularização de Manipulação de Feedback (FMR)

Os autores propõem a Regularização de Manipulação de Feedback (FMR), um framework agnóstico a algoritmos que integra o feedback avaliativo ao aprendizado por imitação. Ao contrário dos métodos que tratam o feedback como um sinal de recompensa ou um escore de preferência, o FMR usa o feedback para manipular diretamente a distribuição de probabilidade da política.

Mecanismo Central

O FMR opera tratando o feedback humano $h(s, a) \in \{-1, 0, 1\}$ como um sinal corretivo que molda a política aprendida $\pi_\theta$ em direção a uma política latente alinhada ao humano $\pi_h$.

1. Temperatura Adaptativa ao Feedback:
   O método introduz um parâmetro de temperatura $\tau(s, a)$ derivado do feedback.

   • Feedback negativo ($h < 0$) implica $\tau > 1$, desencorajando a ação selecionada.
   • Feedback positivo ($h > 0$) implica $\tau < 1$ para ações não selecionadas (efetivamente encorajando a ação selecionada em relação às outras).
   • Sem feedback ($h = 0$) resulta em $\tau = 1$, não causando impacto.
     A temperatura é calculada via um mapa exponencial: $\tau_j = \beta^{-h}$ (para feedback negativo na ação selecionada) ou $\beta^h$ (para feedback positivo nas ações não selecionadas), onde $\beta > 1$.

2. Remodelagem da Política (Policy Reshaping):
   A política alinhada ao humano é aproximada aplicando o escalonamento de temperatura à política atual no espaço de probabilidade:
   $$\pi_\tau(a_j | s) := \frac{\pi_\theta(a_j | s) \tau_j^{-1}}{Z_\theta(s)}$$
   onde $Z_\theta(s)$ é a constante de normalização. Esta operação redistribui a massa de probabilidade, suprimindo comportamentos desalinhados e encorajando os alinhados sem exigir modelagem de recompensa explícita.

3. Objetivo de Regularização:
   O FMR formula o alinhamento como um problema de correspondência de distribuição usando a divergência Kullback-Leibler reversa entre a política aprendida $\pi_\theta$ e a sub-política temperada pelo feedback $\pi_\tau$. Isso gera um termo de regularização:
   $$R_{FMR}(\theta) := \mathbb{E}_{s \sim D_U} \mathbb{E}_{a \sim \pi_\theta(\cdot|s)} [\log \tau(s, a)]$$
   O objetivo final combina a perda padrão de aprendizado por imitação ($L_{IL}$) com este regularizador:
   $$L(\theta) = L_{IL}(\theta) + \alpha R_{FMR}(\theta)$$
   onde $\alpha$ controla a força do alinhamento.

Manipulação de Dados

O método é projetado para Aprendizado de Demonstrações Ruidosas (LfND), lidando com conjuntos de dados $D_U = D_E \cup D_I$ onde $D_E$ contém dados de especialistas alinhados e $D_I$ contém dados imperfeitos (ruidosos). O FMR utiliza o feedback avaliativo para distinguir e suprimir sub-trajetórias desalinhadas dentro de $D_I$.

Contribuições Principais

1. Framework Agnóstico a Algoritmos: O FMR pode ser aplicado a qualquer algoritmo de aprendizado por imitação (ex: Behavioral Cloning, IQL, DemoDICE, ReCOIL) como um termo de regularização.
2. Treinamento Offline de Estágio Único: Diferente dos pipelines de RLHF de múltiplos estágios, o FMR opera em um único estágio, tornando-o adequado para ambientes de tomada de decisão totalmente sequenciais onde o acesso ao ambiente é restrito.
3. Robustez em Dados Limitados: O método demonstra robustez mesmo quando a proporção de dados de especialistas para dados imperfeitos é baixa (ex: 1:50) e quando os dados imperfeitos contêm pouco ou nenhum comportamento útil.
4. Avaliação Principiada: Os autores adaptaram os ambientes Safety Gymnasium para servirem como um banco de testes, usando sinais de custo para fornecer uma medida de desalinhamento distinta do retorno total.

Resultados Experimentais

Os autores avaliaram o FMR através de tarefas de navegação 3D e locomoção com restrição de velocidade (Hopper, Swimmer, Walker2D) usando vários baselines de aprendizado por imitação.

• Melhoria de Alinhamento: O FMR reduziu consistentemente o desalinhamento em todos os algoritmos testados. Na tarefa de navegação PathM, o FMR alcançou uma redução de até 92% no desalinhamento para o ReCOIL. Em tarefas de velocidade, observaram-se reduções de até 98%.
• Preservação de Aptidão: Crucialmente, a redução no desalinhamento não ocorreu às custas do desempenho da tarefa (aptidão). O FMR manteve ou melhorou as taxas de sucesso e os retornos normalizados em comparação aos baselines.
• Comparação com Alternativas:
  • vs. DVL (Dual Value Learning): O DVL, que substitui o feedback pela recompensa, teve um desempenho ruim, confirmando que interpretar o feedback ingenuamente como um sinal de recompensa é ineficaz.
  • vs. CPL (Contrastive Preference Learning): O CPL, que usa o feedback para pontuação pareada, degradou significativamente conforme as proporções de dados diminuíam, enquanto o FMR permaneceu estável.
• Sobreposição de Dados: O FMR performou melhor quando as demonstrações imperfeitas continham algumas sub-trajetórias relevantes (alta sobreposição). No entanto, ele ainda forneceu melhorias significativas em cenários de baixa sobreposição onde os baselines falharam completamente.
• Eficiência de Feedback: Experimentos mostraram que o FMR aprende efetivamente apenas com feedback negativo, que serve como o principal motor para corrigir desvios.

Significância e Alegações

O artigo afirma que o FMR representa um passo significativo no alinhamento de agentes offline ao:

1. Unificar Modalidades: Integrar com sucesso o feedback avaliativo e as demonstrações como um sinal interconectado para tomada de decisão sequencial, indo além das limitações dos julgamentos relativos baseados em preferência.
2. Abordar o "Trade-off Alinhamento-Aptidão": Demonstrar que é possível reduzir drasticamente o desalinhamento (até 98%) sem sacrificar a capacidade do agente de completar a tarefa.
3. Lidar com a Escassez de Dados: Fornecer uma solução viável para cenários onde dados alinhados de alta qualidade são escassos e dados ruidosos são abundantes, uma restrição comum no mundo real.
4. Modularidade: Oferecer um termo de regularização "plug-and-play" que melhora algoritmos de aprendizado por imitação existentes sem exigir mudanças arquitetônicas ou pipelines de treinamento de múltiplos estágios.

Os autores concluem que o FMR aproveita efetivamente a rica informação do feedback para modular a entropia da política, desencorajando ações indesejáveis e reforçando comportamentos preferidos, permitوendo assim um aprendizado offline mais robusto e alinhado.