Resumo Técnico: Aprendizado por Reforço In-Context Robusto sob Ataques de Envenenamento de Recompensa

Definição do Problema

Este artigo aborda a vulnerabilidade do Aprendizado por Reforço In-Context (ICRL) a ataques de envenenamento de recompensa. Enquanto a literatura tradicional de RL tem estudado extensivamente o envenenamento de recompensa como um ataque durante o treinamento (onde a política de um agente é corrompida durante o aprendizado), os agentes de ICRL operam de forma diferente. Eles implementam um algoritmo de aprendizado "in-context" ao processar um histórico de interações (estados, ações, recompensas) dentro de um modelo transformer (especificamente, o Decision-Pretrained Transformer, ou DPT).

Neste cenário, um adversário pode envenenar o contexto de tempo de teste ao corromper as recompensas observadas pelo agente. Como o agente infere sua política com base neste contexto, corromper as recompensas no tempo de teste permite que um atacante influencie o comportamento do agente sem alterar seus parâmetros pré-treinados. O artigo formaliza isso como um ataque de envenenamento de recompensa em tempo de teste, onde o atacante modifica uma fração ($\epsilon$) das recompensas observadas para minimizar o retorno real do agente, sujeito a uma restrição de orçamento suave (soft budget constraint).

Metodologia: AT-DPT (Adversarially Trained DPT)

Os autores propõem o AT-DPT, um novo framework que combina aprendizado in-context com treinamento adversarial para produzir agentes robustos contra tais ataques. A ideia central é treinar o agente e uma população de atacantes simultaneamente em um jogo minimax.

1. Modelo de Ataque

O atacante é modelado como uma função $\pi^\dagger_\phi$ que observa o estado, a ação, a recompensa verdadeira e o conjunto de dados in-context do agente. Ele gera uma recompensa corrompida $r^\dagger$ com probabilidade $\epsilon$. O objetivo do atacante é minimizar o retorno esperado do agente enquanto adere a uma restrição de orçamento suave sobre a média e a variância das recompensas corrompidas em relação às recompensas reais do ambiente. Isso é formulado como um termo de penalidade na função de perda do atacante.

2. Procedimento de Treinamento

O processo de treinamento (ilustrado na Figura 1 e Algoritmo 1) envolve três fases:

• Pré-treinamento: O DPT é inicializado e treinado via aprendizado supervisionado para prever ações ótimas a partir de dados de contexto limpos, de forma semelhante à abordagem original do DPT.
• Treinamento Adversarial: Esta é a contribuição inovadora. O agente ($\pi_\theta$) e uma população de atacantes ($\pi^\dagger_{\phi_i}$) são otimizados concorrentemente:
  • Atualização do Atacante: Para cada tarefa em um lote (batch), o atacante gera trajetórias corrompidas. Os parâmetros do atacante $\phi$ são atualizados usando o algoritmo REINFORCE para maximizar o arrependimento (regret) do agente (minimizar o retorno) sob as restrições de orçamento.
  • Atualização do Agente: O agente é treinado para prever a ação ótima (fornecida por um oráculo) dado o contexto corrompido $D^\dagger$ coletado durante a interação.
  • Este processo se repete por $N$ rodadas, permitindo que o agente aprenda um mecanismo de "correção" que infere ações ótimas apesar de entradas envenenadas.
• Aprendizado In-Context (Teste): O agente treinado é implantado em novos ambientes com recompensas envenenadas. Ele atualiza seu contexto dinamicamente a cada passo de tempo para suportar a robustez contra atacantes adaptativos.

O framework suporta tanto atacantes não-adaptativos (que não utilizam o histórico do agente) quanto atacantes adaptativos (que utilizam uma arquitetura transformer para alavancar as interações passadas do agente).

Principais Contribuições

1. Nova Modalidade de Ataque: O artigo é o primeiro a estudar o envenenamento de recompensa no contexto de meta-RL (aprendendo um algoritmo de aprendizado). Ele formaliza um ataque de tempo de teste onde o adversário corrompe o contexto para influenciar o processo de aprendizado in-context, distinguindo-se da tradicional corrupção de política em tempo de treinamento.
2. Framework AT-DPT: Os autores introduzem um protocolo prático de treinamento adversarial que otimiza simultaneamente uma população de atacantes e o agente vítima. Isso permite que o agente aprenda um algoritmo de aprendizado robusto à corrupção in-context.
3. Validação Empírica: O estudo fornece uma avaliação sistemática através de bandidos multi-braços (multi-armed bandits), bandidos lineares e MDPs (incluindo os ambientes Darkroom2 e Miniworld), comparando o AT-DPT com algoritmos padrão (TS, UCB, PPO, Q-learning) e baselines robustos (crUCB, RTS).

Resultados Experimentais

Os experimentos demonstram que o AT-DPT supera significativamente os baselines existentes sob vários níveis de envenenamento ($\epsilon = 0.1, 0.2, 0.4$) e orçamentos de ataque.

• Configurações de Bandidos: O AT-DPT alcança o menor arrependimento cumulativo em comparação com baselines robustos como crUCB e RTS, mesmo quando o atacante é especificamente treinado para visar o AT-DPT. Ele também mostra forte generalização, performando bem contra atacantes treinados para outros algoritmos (ex: TS).
• Adaptativo vs. Não-Adaptativo: Os resultados indicam uma troca (trade-off); o AT-DPT treinado contra atacantes adaptativos performa melhor contra ameaças adaptativas, mas ligeiramente pior contra não-adaptativas do que um modelo treinado apenas contra ameações não-adaptativas. No entanto, em todos os casos, ele supera os baselines padrão.
• Configurações de MDP: Nos ambientes Darkroom2 e Miniworld, o AT-DPT mantém altas recompensas por episódio sob ataque, enquanto algoritmos de RL padrão (NPG, Q-learning) e modelos DPT congelados sofrem degradação significativa de performance. Notavelmente, o AT-DPT generaliza para ambientes maiores e mais complexos, sugerindo escalabilidade.
• Demonstrações Subótimas: O artigo observa que o AT-DPT pode tolerar uma pequena porcentagem (ex: 10-30%) de demonstrações subótimas nos dados de treinamento, embora o desempenho degrade conforme essa porcentagem aumenta.

Significância e Alegações

O artigo alega que sua principal significância reside no estabelecimento de um abordagem fundamentada para projetar algoritmos de aprendizado que são inerentemente robustos a corrupções de dados.

• Perspectiva de Meta-RL: Ao contrário de trabalhos anteriores que focam em aprender uma política específica para um único ambiente, este trabalho foca em aprender o algoritmo em si. Ao utilizar um prior sobre a distribuição de tarefas, o agente pode distinguir entre esquemas de corrupção plausíveis e implausíveis, filtrando efetivamente o ruído adversarial.
• Generalização: Os resultados sugerem que políticas baseadas em transformer podem implementar algoritmos que são robustos contra contaminação de dados, oferecendo uma direção promissora para o deploy seguro de agentes de ICRL (como agentes baseados em LLM) em ambientes onde o contexto pode ser comprometido (ex: via mecanismos de RAG).
• Insight Teórico: Os autores postulam que o AT-DPT aproxima um equilíbrio de Nash onde o agente implementa uma amostragem posterior (posterior sampling) "corrigida". Desde que as médias de recompensa subjacentes permaneçam identificáveis sob o processo de corrupção, o agente pode alcançar um desempenho robusto.

Os autores permanecem modestos quanto a garantias teóricas, reconhecendo que uma análise completa de convergência para o equilíbrio aproximado da otimização de dois níveis é deixada para trabalhos futuros. Eles também observam a limitação de que seu método atual depende de ações ótimas fornecidas por um oráculo para o treinamento, embora demonstrem certa resiliência a demonstrações subótimas.