Resumo Técnico: Aprendizado de Valor Considerando Modificações para Mitigação de Reward Hacking em RL

Definição do Problema

Agentes de aprendizado por reforço (RL) frequentemente exploram sinais de recompensa mal especificados para alcançar retornos aparentes elevados, enquanto falham em otimizar o objetivo pretendido, um modo de falha conhecido como reward hacking (exploração de recompensa). À medida que os sistemas de RL escalam para domínios críticos de segurança (ex: direção autônoma, diagnósticos médicos) e pós-treinamento de grandes modelos de linguagem, o risco de tal desalinhamento aumenta.

As defesas práticas existentes tipicamente restringem as atualizações da política para que permaneçam próximas a uma política de referência segura conhecida. Esta abordagem cria uma tensão fundamental: restrições estritas suprimem o hacking, mas também inibem melhorias legítimas de desempenho, enquanto restrições frouxas permitem o hacking. Além disso, muitas soluções teóricas relativas à "otimização de utilidade atual" — a ideia de otimizar valores atuais sem mudar o que está sendo otimizado — não foram operacionalizadas para o RL baseado em valor padrão.

Metodologia: Aprendizado de Valor Considerando Modificações (MCVL)

Os autores propõem o Aprendizado de Valor Considerando Modificações (MCVL), um salvaguarda para RL off-policy baseado em valor que operacionaliza a otimização de utilidade atual. O MCVL atua como um wrapper em torno de qualquer aprendiz off-policy padrão (ex: DDQN, TD3) e trata cada transição recebida como uma candidata a modificação a ser avaliada antes da adoção.

Mecanismo Central

Em vez de aceitar transições imediatamente, o MCVL realiza uma verificação de previsão e pontuação contrafactual para cada nova transição $T_{new} = (s, a, r, s')$:

1. Previsão Contrafactual: O algoritmo constrói dois ramos de treinamento sob um orçamento de computação idêntico ($l$ atualizações):

   • Ramo 0 ($\tilde{\pi}^0$): Prevê a política resultante do treinamento no replay buffer atual $D$ isoladamente.
   • Ramo + ($\tilde{\pi}^+$): Prevê a política resultante do treinamento no $D$ aumentado com a nova transição $T_{new}$.
   • Nota: Estas previsões clonam as redes atuais e executam $l$ atualizações do aprendiz base; elas não afetam o agente vivo.

2. Estimativa de Retorno com Bootstrap: Ambas as políticas previstas são pontuadas usando um estimador de retorno com bootstrap congelado, derivado dos componentes aprendidos atuais do agente:

   • Um modelo de recompensa $R_\psi(s, a)$ treinado via regressão supervisionada sobre recompensas observadas.
   • Uma função de valor $Q_\theta(s, a)$ treinada via atualizações padrão de diferença temporal (TD).
   • O estimador calcula um retorno com bootstrap de $n$-passos: $\hat{G}_n(\tau) = \sum_{t=0}^{n-1} \gamma^t R_\psi(s_t, a_t) + \gamma^n Q_\theta(s_n, a_n)$.
   • O retorno esperado $\hat{J}(\pi)$ é aproximado através de rollouts da política para $k$ trajetórias de comprimento $n$ usando um modelo de transição $\hat{P}$ (seja o ambiente real ou um modelo aprendido).

3. Regra de Admissão: A transição $T_{new}$ é admitida ao replay buffer $D$ se, e somente se, a política prevista com a transição pontuar maior (ou igual) do que a sem a transição:
   $$\hat{J}(\tilde{\pi}^+) \geq \hat{J}(\tilde{\pi}^0)$$
   Se a condição não for atendida, a transição é rejeitada, e o ambiente é reiniciado para evitar que o agente explore um caminho que possa levar a mais hacking ou quebrar a continuidade necessária para futuras previsões.

Pré-treinamento e Inicialização

O MCVL requer um conjunto de dados semente de transições sem hacking ($D_0$) para pré-treinar o estimador de retorno. Este conjunto de dados permite que o avaliador distinga o progresso genuíno da tarefa de um hacking de recompensa.

• Gridworlds: Uma variante "Segura" do ambiente é usada onde as capacidades de hacking são removidas.
• Controle Contínuo: Um conjunto de dados de política aleatória coletado no ambiente completo é suficiente, pois as condições de hacking costumam ser específicas demais para serem descobertas pela exploração aleatória.

Otimização de Eficiência

Para limitar o overhead computacional, o MCVL emprega um gatilho heurístico: a verificação completa de previsão e pontuação só é invocada se a recompensa observada $r$ desviar significativamente da previsão do modelo de recompensa $R_\psi(s, a)$ (ou seja, $|r - R_\psi(s, a)| \geq \delta_r$). Transições com discrepâncias pequenas são admitidas sem a verificação custosa.

Principais Contribuições

1. Operacionalização da Otimização de Utilidade Atual: O artigo fornece uma implementação prática do conceito teórico de otimização de utilidade atual para RL baseado em valor padrão. Introduz um mecanismo que otimiza o que o agente valoriza atualmente enquanto permanece conservador sobre a mudança desses valores, sem exigir uma política de referência segura.
2. Mitigação Empírica de Reward Hacking: Os autores demonstram que o MCVL mitiga efetivamente o reward hacking em quatro gridworlds de relevância para segurança (Box Moving, Absent Supervisor, Tomato Watering, Rocks and Diamonds) e três tarefas de controle contínuo do MuJoCo modificadas (Reacher, Ant, HalfCheetah). Nestas tarefas, o MCVL alcança desempenho comparável a um Oracle treinado na recompensa real, enquanto os aprendizes base (DDQN/TD3) sucumbem ao hacking.
3. Garantias Teóricas: O artigo formaliza garantias de segurança, permissividade e degradação limitada para a regra de portão (gating rule). Estas garantias são parametrizadas pela precisão $\epsilon$ do estimador de retorno. Especificamente, se o estimador for $\epsilon$-preciso, o MCVL rejeita transições que degradam o desempenho real em mais de $2\epsilon$ e nunca rejeita transições que melhoram o desempenho real em mais de $2\epsilon$.
4. Novos Benchmarks: Os autores introduzem ambientes MuJoCo modificados com fontes de recompensa espúrias (ex: falhas de sensores, botões ocultos) para permitir a pesquisa de reward hacking em controle contínuo.

Resultados

• Desempenho vs. Oracle: Em todos os ambientes testados, o MCVL alcança o desempenho real final (objetivo pretendido) comparável ao agente Oracle, apesar de nunca acessar a recompensa real. Em várias tarefas de gridworld, o MCVL atinge um desempenho forte mais rápido que o Oracle, potencialmente devido a um currículo implícito induzido pela rejeição de mudanças comportamentais precoces e de grande escala.
• Comparação com Baselines:
  • Aprendizes Base: Agentes DDQN e TD3 padrão consistentemente aprendem a explorar as recompensas mal especificadas, levando a retornos observados altos, mas baixo desempenho real.
  • Objetivos Regularizados por Ocupação: Os autores mostram que a otimização de política regularizada por ocupação (restringindo a política para permanecer perto de uma referência segura) frequentemente falha em encontrar uma força de regularização que simultaneamente suprima o hacking e permita melhorias de nível Oracle.
  • Modelo de Recompensa Congelado: Um baseline onde o modelo de recompensa é congelado, mas a política continua aprendendo (sem o mecanismo de portão), iguala o desempenho do Oracle em algumas tarefas, mas falha catastroficamente em outras (ex: Absent Supervisor), destacando a necessidade do mecanismo de portão em cenários complexos.
• Estudos de Ablação:
  • Orçamento de Previsão ($l$): Uma verificação de passo único (variante Each-step) é insuficiente; um orçamento maior ($l$) é necessário para permitir que a política mude significativamente para que o avaliador possa detectar a divergência.
  • Gatilho (Triggering): Verificar apenas em discrepâncias de recompensa ($\delta_r$) mantém o desempenho enquanto reduz significativamente o custo computacional em comparação com a verificação de todas as transições.
  • Modelos de Transição: Usar um modelo de transição aprendido para os rollouts de pontuação (em vez do ambiente real) preserva o desempenho de nível Oracle, sugerindo que a dinâmica exata não é estritamente necessária para o ranking relativo de políticas.

Significância e Alegações

O artigo afirma que o MCVL oferece uma maneira prática de evitar o reward hacking sem sacrificar o desempenho no objetivo pretendido. Ao envolver aprendizes off-policy padrão, ele fornece um salvaguarda modular que não requer acesso a uma política de referência segura ou suposições específicas sobre a família da recompensa proxy.

Os autores posicionam o MCVL como um complemento a um melhor design de recompensa, e não como um substituto. Eles reconhecem limitações, observando que o método depende do avaliador classificar corretamente as trajetórias de hacking abaixo das trajetórias de não-hacking no horizonte de pontuação. Se o próprio modelo de recompensa for mal especificado para valorizar o comportamento de hacking (ex: em casos de reward shaping incorreto como o exemplo CoasRunners), o mecanismo de portão pode falhar. Consequentemente, o artigo conclui que o MCVL é mais eficaz quando combinado com um design de recompensa robusto e pré-treinamento em dados que reflitam fielmente o objetivo pretendido.

Este trabalho une a lacuna entre conceitos teóricos de segurança (otimização de utilidade atual) e a implementação prática de deep RL, demonstrando que transições individuais podem ser preditivas de reward hacking e que a previsão contrafactual pode servir como um filtro eficaz.