Resumo Técnico: RevengeBench

Definição do Problema

O artigo aborda um análogo computacional ao problema inverso científico: inferir mecanismos ocultos a partir do comportamento observável. Especificamente, questiona-se se um aprendiz pode reconstruir um programa de decisão executável (uma política) dados apenas os traços comportamentais de um agente alvo opaco em um ambiente de jogo. Diferente da aprendizagem por reforço inverso padrão ou imitação de política, que frequentemente assumem o acesso a um corpus fixo de demonstrações ou interfaces de consulta direta, este cenário restringe o aprendiz a um regime epistêmico intermediário. O aprendiz não pode consultar estados arbitrários do alvo diretamente; em vez disso, deve inferir a lógica do alvo através da observação passiva do alvo jogando contra oponentes amostrados e, opcionalmente, projetando "sondas" ativas — políticas de oponentes customizadas destinadas a elicitar comportamentos específicos e informativos do alvo. O objetivo é gerar uma única política executável que reproduza fielmente as ações do alvo em trajetórias não utilizadas no treinamento.

Metodologia

Construção do Benchmark (REVENGEBENCH)

Os autores introduzem o REVENGEBENCH, um benchmark composto por 75 políticas alvo ocultas geradas por Large Language Models (LLMs) para o torneio CodeClash. Estas políticas abrangem cinco ambientes de jogo distintos:

1. BattleSnake (Discreto, baseado em grade, sequencial)
2. Halite (Controle contínuo, múltiplas unidades)
3. Poker (Observabilidade parcial, estocástico)
4. RoboCode (Baseado em Java, contínuo)
5. RobotRumble (JavaScript, múltiplas unidades)

As políticas variam em complexidade (até ~500 linhas de código) e são escritas em Python, C, Java e JavaScript. Para cada ambiente, 15 políticas de alto Elo são designadas como "alvos", enquanto as demais políticas formam um pool de oponentes.

Protocolo de Avaliação

A avaliação segue um processo de inferência de ciclo fechado ao longo de $R=5$ rodadas de refinamento:

1. Observação: O aprendiz observa trajetórias de uma política alvo jogando contra oponentes amostrados.
2. Geração de Hipótese: O aprendiz submete uma política executável (hipótese) partindo de uma base simplista.
3. Sondagem Ativa (Opcional): No regime "Ativo", o aprendiz pode projetar até $B=5$ oponentes de sonda por rodada para forçar o alvo a estados ou comportamentos específicos, visando reduzir a incerteza na hipótese.
4. Refinamento: O aprendiz edita iterativamente seu código com base nos descompassos observados entre sua hipótese e as ações reais do alvo.

Métricas

A qualidade da recuperação é medida por uma distância de ação por estado ($d_g$), que quantifica a dissimilaridade entre a ação do aprendiz e a ação do alvo. Esta métrica é graduada (ex: apostar 90 fichas é mais próximo de 100 do que desistir/fold) em vez de binária. A pontuação primária é a redução de distância ($\Delta$), definida como a fração da distância comportamental inicial (partindo de uma política aleatória) que é fechada pela política recuperada final.

Configuração Experimental

O estudo avalia 12 LLMs de fronteira (incluindo GPT-5.5, GPT-5, DeepSeek v4 Pro, Gemma 4 e Qwen3.6) usando o scaffold mini-SWE-agent, uma interface mínima baseada em bash que força os modelos a interagir com o ambiente via operações de arquivo e execução de scripts. O estudo compara a observação passiva contra a sondagem ativa e avalia a utilidade downstream das políticas recuperadas em torneios Player-vs-Player (PvP).

Contribuições Principais

1. Benchmark REVENGEBENCH: Um benchmark inovador de 75 políticas executáveis em cinco ambientes de jogo diversos, especificamente desenhado para testar a engenharia reversa de estratégias programáticas a partir de traços comportamentais.
2. Protocolo de Recuperação de Intervenção Restrita: Uma formalização do problema inverso onde a intervenção é restrita ao design de políticas de oponente (sondas) em vez de consultas diretas de estado, modelando um cenário realista de inferência científica.
3. Avaliação Empírica Abrangente: Uma avaliação de 12 LLMs de fronteira demonstrando que:
   • A qualidade da recuperação varia significativamente (34% a 72% da distância inicial fechada).
   • A sondagem ativa gera benefícios principalmente para modelos mais fortes, capazes de projetar experimentos eficazes.
   • O código recuperado carrega sinal acionável, proporcionando uma vantagem competitável mensurável em torneios PvP subsequentes, particularmente para modelos mais fracos que lutam para criar contra-estratégias do zero.

Resultados

Desempenho de Recuperação de Estratégia

• Variabilidade: O desempenho de recuperação varia substancialmente entre os modelos. O melhor modelo (GPT-5.5) fecha aproximadamente 72% da distância comportamental inicial, enquanto o mais fraco (GPT-oss-120b) fecha apenas ~34%.
• Diferenças de Ambiente: O desempenho não é uniforme entre os jogos. Poker é o ambiente mais fácil (a maioria dos modelos excede 60% de recuperação), enquanto RobotRumble mostra a maior dispersão de desempenho (5–72%).
• Troca Custo-Qualidade: Não há correlação forte entre o custo da API e a qualidade da recuperação; alguns modelos de menor custo (ex: Gemma-4 31B) alcançam taxas de recuperação competitivas (~51%) a uma fração do custo dos modelos de elite.

Observação vs. Intervenção

• Sondagem Ativa: A sondagem ativa melhora a recuperação em 16 de 20 pares de modelo-jogo, mas os ganhos estão concentrados em modelos mais fortes (ex: DeepSeek v4 Pro vê um aumento médio de +0.052). Modelos mais fracos frequentemente apresentam ganhos próximos de zero, sugerindo que carecem da capacidade de projetar sondas informativas.
• Baselines: Traços comportamentais brutos são o canal de entrada mais eficaz. Substituir traços por resumos em linguagem natural (Descrição-apenas) geralmente degrada o desempenho, e a Inferência de Programa Bayesiana (BPI) tem desempenho inferior ao refinamento iterativo para a maioria dos modelos.

Utilidade Downstream

Em torneios PvP, agentes armados com código recuperado superam consistentemente agentes "cegos" (aqueles que possuem apenas as regras do jogo) e ficam abaixo de agentes "oráculo" (aqueles que possuem o código fonte real). Crucialmente, modelos desafiantes mais fracos derivam os maiores ganhos relativos da inteligência recuperada, sugerindo que mesmo reconstruções imperfeitas capturam informações estruturais necessárias para contra-estratégias eficazes.

Robustez e Confiabilidade

• Confiabilidade da Arena: Poker e BattleSnake produzem rankings estáveis através de execuções e avaliadores (alta consistência intra-classe). Halite, RoboCode e RobotRumble exibem maior variância, exigindo agregação de múltiplas execuções para uma comparação confiável.
• Modos de Falha: Padrões comuns de falha incluem o esgotamento do orçamento de passos devido a loops repetitivos de depuração, submissão de código inválido que causa crash na avaliação e "regressão", onde edições posteriores pioram a política em comparação com rodadas anteriores.

Significância e Alegações

O artigo posiciona a recuperação comportamental de políticas programáticas como um problema inverso tratável no espaço do código. Sua significância reside em três áreas:

1. Modelagem de Oponente: Demonstra que agentes de LLM podem inferir procedimentos de decisão ocultos através da observação, uma capacidade com valor direto para fluxos de trabalho multi-agentes onde antecipar o comportamento de agentes opacos é crítico.
2. Interpretabilidade de Política: O benchmark fornece um campo de teste para entender quando a observação comportamental é suficiente para a recuperação de mecanismos e onde a intervenção ativa é necessária.
3. Análogo Científico: Ao enquadrar a tarefa como um análogo computacional da descoberta científica (inferir mecanismos latentes a partir de observações perturbadas), o trabalho faz a ponte entre benchmarks de agentes e a questão mais ampla de inferir estruturas latentes a partir de dados.

Os autores concluem que, embora a recuperação exata do código-fonte não seja sempre necessária para a utilidade downstream, a capacidade de reconstruir políticas executáveis a partir do comportamento representa um passo significativo em direção a agentes de IA interpretáveis e estratégicos. Eles observam limitações, incluindo a natureza sintética dos alvos (que não se adaptam ou ocultam estratégias) e o fato de que equivalência comportamental não garante identidade estrutural.