🤖 machine learning

AdvPlan-Bench: Adversarial Evaluation of Structured Plan-Generation Agents

Este artigo apresenta o AdvPlan-Bench, um benchmark offline reproduzível projetado para avaliar agentes de geração de planos estruturados por meio de cenários de resposta adversariais, utilizando cadeias de ações tipadas, diagnósticos de hiato de Nash e crítica multiagente para medir a robustez do plano e a sensibilidade ao orçamento de resposta.

Autores originais: Alina Kapanova, Arun Kanhai, Natan Vidra, Spurthi Setty

Publicado 2026-08-04

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Alina Kapanova, Arun Kanhai, Natan Vidra, Spurthi Setty

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está assistindo a uma partida de xadrez, mas em vez de apenas olhar para o movimento final, você quer saber como o jogo mudaria se seu oponente tivesse um supercomputador tentando encontrar a contra-jogada perfeita para cada passo que você der. Este é o mundo da "avaliação adversarial" na inteligência artificial. Em termos simples, trata-se de testar um programa de computador inteligente não apenas para ver se ele consegue resolver um quebra-cabeça, mas em como ele se sustenta quando um computador rival está tentando quebrar sua solução. Normalmente, apenas perguntamos a uma IA: "Você terminou a tarefa?". Mas, no mundo real, os planos muitas vezes falham porque alguém está pensando: "Como posso impedir isso?". Este artigo entra nesse campo competitivo e caótico para ver se nossos planejadores de IA são realmente fortes ou apenas sortudos.

Os pesquisadores por trás deste estudo, uma equipe da Anote AI e de várias universidades, notaram uma lacuna na forma como testamos esses "agentes de geração de planos". A maioria dos testes é como dar um problema de matemática a um aluno e verificar se a resposta está correta. Mas, em uma luta real ou em um jogo de estratégia complexo, a resposta depende inteiramente do que o outro lado faz. Para corrigir isso, eles construíram o AdvPlan-Bench. Pense nisso não como um novo robô que pode fazer seu dever de casa, mas como uma "academia de teste de estresse" muito rigorosa e muito específica para planejadores de IA. É um parquinho onde um time azul (o planejador) tenta criar um plano estruturado e um time vermelho (o oponente) tenta encontrar a melhor maneira de frustrá-lo. O objetivo não é construir um super-soldado; é construir uma régua melhor para medir o quão fortes os soldados realmente são quando o calor aumenta.

O Jogo de Azul vs. Vermelho

A ideia central do AdvPlan-Bench é parar de tratar um plano como um pedaço de papel estático. Em vez disso, eles o tratam como um movimento em um jogo onde o oponente tem a chance de pensar primeiro. Em sua configuração, um agente "Azul" gera um plano — uma cadeia de ações com objetivos e regras. Então, um agente "Vermelho" tenta gerar uma resposta. A reviravolta? O agente Vermelho não apenas adivinha uma resposta, mas amostra muitas respostas possíveis para encontrar aquela que mais prejudica o plano Azul.

Os pesquisadores executaram essa simulação 150 vezes através de cinco "templates" diferentes, que são como tipos diferentes de cenários: estabilidade urbana, interdição marítima (parar navios), defesa aérea e evacuações humanitárias. Estas não são operações militares do mundo real; são histórias sintéticas, inventadas, projetadas para testar o quão bem uma IA pode coordenar recursos e lidar com surpresas.

O que Eles Descobriram: Quanto Mais Você Tenta, Mais Difícil Fica

A descoberta mais emocionante é que como você testa importa muito. Quando o time Vermelho tentou apenas uma contra-jogada, o time Azul pareceu incrível. Eles venceram 90% das vezes, e sua "pontuação de vantagem" foi de 0,518. Parecia que os planos Azuis eram imbatíveis.

Mas quando os pesquisadores disseram ao time Vermelho para ser mais inteligente e tentar oito contra-jogadas diferentes para encontrar a melhor, o desempenho do time Azul caiu. De repente, a taxa de vitória caiu para 82%, e a pontuação de vantagem escorregou para 0,486. Isso sugere que muitos planos que parecem perfeitos isoladamente são, na verdade, bastante frágeis. Eles só parecem bons porque o oponente não estava tentando o suficiente para quebrá-los.

O artigo também testou uma estratégia "consciente de restrições". Imagine um juiz que não apenas olha quem marcou mais pontos, mas também verifica se as regras foram seguidas. Quando o time Vermelho usou essa abordagem mais inteligente, a taxa de vitória do time Azul caiu ainda mais para 80,7%. Isso mostra que um plano pode ter uma alta "qualidade sintética" (parece bom no papel), mas ainda assim ser fraco se ignorar as restrições bagunçadas do mundo real.

O Experimento do "Conselho"

Para ver se conseguiam tornar o time Azul mais forte, os pesquisadores testaram um "conselho multiagente". Em vez de uma única IA criar um plano, eles fizeram com que cinco agentes de IA diferentes propusessem ideias, depois fizeram com que um time Vermelho as criticasse e, finalmente, um "juiz" escolheu as duas melhores para revisar e corrigir.

Essa abordagem de conselho ajudou o time Azul a recuperar terreno. Com o conselho, a taxa de vitória voltou para 81,3%, e a pontuação de vantagem subiu para 0,509. Curiosamente, em 75,3% dos casos, o plano vencedor final veio do conjunto "revisado" — aquele que foi corrigido após a crítica. Isso sugere que ter um grupo de IAs argumentando, criticando e reparando o trabalho umas das outras torna o plano muito mais robusto do que apenas deixar uma IA adivinhar.

A Falha Oculta: Uma Lição de "Enquadramento"

Uma das descobertas mais lúdicas e importantes do artigo foi uma "falha silenciosa" que encontraram em seu próprio código. No início, eles pensaram que o "enquadramento" (framing) de um cenário (como se ele era descrito como uma "missão humanitária" ou uma "operação militar") não importava. Eles rodaram um teste, e a mudança foi exatamente zero. A IA não se importava com a história; ela simplesmente ignorava o contexto.

Eles perceberam que seu gerador não estava realmente usando a história para mudar o plano. Assim que eles "corrigiram" o código para que a IA realmente lesse a história e ajustasse seus objetivos, os resultados mudaram. A "sensibilidade ao enquadramento" saltou para 0,066. Esta é uma lição enorme para qualquer pessoa que constrói IA: só porque seu teste diz "sem efeito", não significa que a IA seja inteligente; pode significar apenas que seu teste não está falando com a IA corretamente.

A Conclusão

O AdvPlan-Bench não afirma ter construído um planejador perfeito para guerras ou desastres do mundo real. Na verdade, os autores são muito claros: este não é um sistema operacional. É um benchmark sintético, uma ferramenta para pesquisadores verem como suas ideias se sustentam sob pressão.

O artigo sugere que, se quisermos confiar em planejadores de IA, não podemos apenas pedir que eles resolvam um problema uma vez. Temos que pedir que o resolvam enquanto um oponente inteligente tenta impedi-los, e temos que olhar para toda a "fronteira" de respostas possíveis, não apenas para a única melhor. Ao usar esses testes de estresse, podemos descobrir quais planos são verdadeiramente robustos e quais são apenas sortudos. Como os autores colocam, este benchmark transforma a arte caótica do "planejamento adversarial" em algo que podemos medir, comparar e melhorar, um cenário sintético de cada vez.

Resumo Técnico: AdvPlan-Bench

Formulação do Problema
As avaliações atuais de agentes de geração de planos frequentemente avaliam um plano candidato de forma isolada, focando se ele produz uma resposta plausível, traços de ferramentas válidos ou sequências executáveis. No entanto, em configurações adversariais, a qualidade de um plano não é intrínseca; ela depende de como um agente opositor busca respostas, quais restrições são enfatizadas e se o conjunto de candidatos contém alternativas significativas. Benchmarks existentes (ex: BIG-bench, HELM, AgentBench) tipicamente avaliam a conclusão de tarefas ou a correção de ferramentas contra chaves de resposta estáticas ou ambientes fixos. Eles frequentemente falham em capturar a robustez de um plano quando submetido a um oponente adaptativo ou em analisar a estrutura da fronteira de candidatos (diversidade, otimalidade de Pareto) e o raciocínio ao nível do traço por trás da seleção.

Metodologia: AdvPlan-Bench
O AdvPlan-Bench é um benchmark sintético offline projetado para avaliar agentes de geração de planos estruturados através de uma lente adversarial. Ele trata o objeto de avaliação não como um par único de prompt-resposta, mas como uma tupla $(s, c_B, C_R, U, D)$ , composta por um cenário, um plano estruturado BLUE, um conjunto de respostas adversariais RED, um sinal de vantagem do tipo utilidade e traços diagnósticos.

Representação: Os planos são representados como cadeias de ações tipadas com ramificações condicionais opcionais, atribuições de papéis e slots de chamada de ferramenta. Cada plano recebe uma pontuação de qualidade sintética $q = w_e e - w_c c - w_r r$ (eficácia, custo, risco).
Configuração Adversarial:
- Política BLUE: Gera um plano candidato estruturado $c_B$ .
- Política RED: Gera um conjunto de respostas $C_R = \{c^1_R, \dots, c^k_R\}$ condicionadas ao cenário e a $c_B$ .
- Seleção: Um seletor avalia os candidatos usando uma função de pontuação $S(b_i)$ que equilibra qualidade reescalonada ( $Q$ ), alinhamento de restrições ( $D$ ), diversidade de candidatos ( $V$ ) e pressão adversarial ( $P$ ).
Eixos de Avaliação: O benchmark rastreia seis eixos em vez de uma única pontuação agregada:
1. Validade da Representação: Inspectabilidade de objetos de plano tipados.
2. Estrutura do Plano: Métricas como opcionalidade de caminho, parcimônia de vértice e completude de linha de mundo.
3. Robustez Adversarial: Como a qualidade BLUE muda conforme o orçamento de resposta de RED ( $k$ ) aumenta.
4. Qualidade da Fronteira: Diversidade e alternativas não dominadas de Pareto dentro dos conjuntos de candidatos.
5. Seleção Sensível a Restrições: O equilíbrio entre qualidade sintética e estrutura qualitativa.
6. Reprodutibilidade de Traço: A capacidade de regenerar resultados a partir de artefatos por cenário.
Baselines e Controles: O estudo compara respostas RED de amostra única contra políticas de melhor resposta amostradas (greedy de qualidade e conscientes de restrições), uma baseline de contrato de política de LLM offline e um conselho multi-agente de dois estágios (gerar, testar estresse, revisar, adjudicar).

Principais Contribuições

Configuração Adversarial Formal: Um framework onde candidatos estruturados são avaliados contra conjuntos de resposta amostrados em vez de chaves de resposta fixas.
Benchmark Offline Reproduzível: Um sistema que fornece traços de planos tipados, comparações de políticas BLUE/RED, diagnósticos de coerência de restrição, curvas de orçamento de resposta e análise de fronteira de Pareto.
Evidência Empírica: Dados de 150 cenários sintéticos através de cinco templates de planejamento (estabilidade urbana, interdição marítima, coordenação multi-domínio, supressão de defesa aérea, evacuação humanitária) demonstrando como a amostragem adversarial e a crítica multi-agente alteram a taxa de vitória e as conclusões de qualidade do plano.
Descoberta de Desenvolvimento do Benchmark: Uma demonstração de que as variáveis de enquadramento de cenário devem estar conectadas ao conteúdo gerado para ter efeito; caso contrário, mudanças de enquadramento resultam em um "no-op silencioso".

Resultos

Impacto Adversarial: Aumentar o orçamento de resposta RED de uma única amostra ( $k=1$ ) para oito amostras ( $k=8$ ) reduz a vantagem BLUE de 0.518 para 0.486 e a taxa de vitória BLUE de 0.900 para 0.820.
Diversidade de Candidatos: Conjuntos de candidatos RED amostrados exibem variação não trivial, com diversidade média de tipo de ação de 0.681 e uma média de 2.17 candidatos Pareto-ótimos por conjunto de oito.
Performance de Baseline:
- A baseline de política de LLM offline atinge uma vantagem BLUE de 0.496 e uma taxa de vitória de 0.700, com a coerência de restrição RED atingindo 1.000.
- O conselho multi-agente de dois estágios melhora o desempenho BLUE em relação à busca forte de RED, alcançando uma vantagem BLUE de 0.509 e uma taxa de vitória de 0.813. Em 75,3% dos cenários, o plano selecionado final vem do conjunto revisado.
Sensibilidade da Rubrica: Um estudo com três avaliadores independentes sobre 600 registros mostrou um acordo inter-avaliador de 0.978, indicando que a rubrica heurística não é frágil a pequenas perturbações de pontuação.
Sensibilidade de Enquadramento: Quando o gerador foi corrigido para usar o enquadramento de cenário para modificar objetivos, o delta de sensibilidade medido tornou-se 0.066, confirmando que o enquadramento deve ser ativo na geração para influenciar os resultados.

Significância e Alegações
O artigo posiciona o AdvPlan-Bench como uma contribuição metodológica em vez de uma arquitetura de decisão operacional ou um novo algoritmo de aprendizado de auto-jogo (self-play). Sua significância reside na:

Granularidade: Mudança da unidade de avaliação de um par prompt-resposta para um traço adversarial estruturado, permitindo que pesquisadores inspecionem a "fronteira de candidatos" e a estabilidade dos planos sob aumento de pressão adversarial.
Reproduzibilidade: Fornecimento de um artefato transparente onde suposições (ex: pontuações de qualidade sintética, heurísticas de restrição) são inspecionáveis antes de mover para modelos vivos ou dados do mundo real.
Capacidade Diagnóstica: Exposição de falhas silenciosas no design de benchmarks (ex: o no-op de enquadramento) e distinção entre efeitos reais de reparo e artefatos de pontuação em sistemas multi-agentes.

Os autores declaram explicitamente que o AdvPlan-Bench não é um planejador operacional, não utiliza dados do mundo real e não deve ser usado para tomada de decisão no mundo real. Serve como um ambiente controlado para estudar avaliação de planos adversariais, sensibilidade de orçamento de resposta e traços de crítica e revisão multi-agente.

O Jogo de Azul vs. Vermelho

O que Eles Descobriram: Quanto Mais Você Tenta, Mais Difícil Fica

O Experimento do "Conselho"

A Falha Oculta: Uma Lição de "Enquadramento"

A Conclusão

Mais como este