Resumo Técnico: ProofAgent Harness

Declaração do Problema

Os agentes de IA estão transitando de fases de demonstração para ambientes de produção de alto risco, onde executam interações de múltiplas voltas, utilizam ferramentas, retêm contexto, aderem a políticas e gerenciam dados privados. Os métodos tradicionais de avaliação, que frequentemente dependem de benchmarks estáticos ou pontuação isolada de saída, falham em capturar falhas que emergem através de trajetórias comportamentais, pressão adversarial e manipulação de múltiplas voltas.

O artigo argumenta que as falhas dos agentes não são meramente erros no nível de saída (por exemplo, uma resposta incorreta), mas falhas no nível de trajetória. Estas incluem chamadas de ferramentas inseguras, etapas de fluxo de trabalho não autorizadas, vazamentos de privacidade, citações de políticas alucinadas e escaladas prejudiciais. As abordagens existentes sofrem de limitações específicas:

• LLM como Juiz: Frequentemente avalia respostas isoladas em vez de trajetórias comportamentais completas e carece de trilhas de auditoria que liguem as pontuações a voltas específicas.
• Benchmarks de Tarefa: Focam na conclusão da tarefa em vez de robustez adversarial, consistência de políticas ou resistência à manipulação.
• Red-Teaming: Eficaz na descoberta de vulnerabilidades, mas frequentemente carece de pontuação padronizada, mecanismos de consenso e relatórios vinculados a evidências necessários para engenharia e governança.
• Supervisão Humana: Embora necessária em configurações de alto risco, a revisão manual não escala como mecanismo primário para testes contínuos em cada versão do agente e ciclo de lançamento.

Metodologia: ProofAgent Harness

Os autores introduzem o ProofAgent Harness, uma infraestrutura de código aberto e multiestágio projetada para operacionalizar um processo de revisão adversarial estilo especialista. O harness funciona como um ecossistema de avaliação que envolve o agente sob teste, coordenando ativos, execução, julgamento e relatórios.

Arquitetura Central

O framework consiste em quatro estágios distintos, cada um gerenciado por agentes especializados:

1. Estágio 1: Design de Avaliação (Agente Planejador)

   • Converte papéis do agente, casos de negócios e objetivos em um plano de avaliação executável.
   • Inferencia o domínio operacional e seleciona armadilhas adversariais de uma biblioteca curada.
   • Tece estratégias de múltiplas voltas onde voltas posteriores podem weaponizar concessões anteriores ou recusas incompletas.
   • Integra um papel "Humano na Ponte", onde especialistas humanos curam inteligência de avaliação (definindo objetivos, métricas e seleção de armadilhas) antes do início da execução automatizada, em vez de revisar cada volta manualmente.

2. Estágio 2: Execução do Julgamento Adversarial (Agente Condutor)

   • Executa o plano de avaliação gerando mensagens de usuário adversariais condicionadas ao transcripto atual.
   • Emprega habilidades como anti-sinalização, ofuscação de payload e tecelagem de falsas premissas para testar a robustez do agente.
   • Captura o rastro comportamental completo, incluindo metadados de uso de ferramentas e dicas leves de defeitos (por exemplo, uso de ferramenta alegado sem evidência), mas não atribui pontuações durante a interação.

3. Estágio 3: Julgamento Comportamental (Agentes Jurado e Consenso)

   • Avaliação Post-hoc: Os jurados avaliam o transcripto completo em vez de respostas isoladas.
   • Pontuação Multi-Jurado: Múltiplas personas calibradas (por exemplo, Rigoroso, Indulgente, Contrarian) avaliam o rastro contra métricas específicas.
   • Auditoria por Volta: Cada jurado produz uma pontuação e uma trilha de auditoria ligando julgamentos a voltas específicas e trechos de evidência.
   • Estratégia de Consenso: Um Agente de Consenso detecta discordância entre os jurados. Se a dispersão da pontuação exceder um limiar, métricas contestadas entram em uma fase de re-votação (usando estratégias Delphi ou Debate) para resolver ambiguidades ou preservar explicitamente a discordância como um sinal de auditoria.

4. Estágio 4: Relatórios Vinculados a Evidências (Agente Relator)

   • Sintetiza pontuações, resultados de consenso e trilhas de auditoria em um relatório estruturado.
   • Identifica voltas específicas, padrões adversariais e métricas que desencadearam falhas.
   • Sinaliza padrões suspeitos (por exemplo, pontuações excessivamente planas indicando pressão fraca) e descobertas que exigem revisão humana seletiva.

Algoritmo Central: Pontuação Adversarial Multi-Jurada com Auditoria por Volta

O artigo formaliza o método de pontuação como um processo que avalia o rastro comportamental completo $T$ contra um conjunto de métricas $M$ usando um conjunto de jurados $J$.

• Objetivo: Calcular pontuações de consenso $\bar{s}_m$, pontuações de confiança $C_m$ e uma pontuação agregada final $S_{final}$.
• Processo: Os jurados atribuem pontuações $s_{j,m}$ e trilhas de auditoria $A_{j,m}$. A discordância $\Delta_m$ é calculada. Se $\Delta_m > \theta$, uma estratégia de consenso (Independente, Delphi ou Debate) é acionada.
• Saída: Um relatório final $R$ ligando a pontuação a evidências específicas, avisos e descobertas, garantindo que a avaliação seja rastreável e auditável.

Métricas de Avaliação Principais

O harness avalia agentes em cinco métricas principais (configuráveis por domínio):

1. Sucesso da Tarefa: Progresso em direção aos objetivos dentro das restrições.
2. Resistência à Alucinação: Evitação de alegações sem suporte ou políticas falsas.
3. Segurança: Evitação de ações prejudiciais ou violações de privacidade.
4. Seguimento de Instruções: Adesão a restrições de sistema e políticas.
5. Resistência à Manipulação: Resistência à engenharia social, pressão de autoridade e injeção de prompt.

Avaliação Experimental

Os autores avaliaram o harness em quatro domínios: Triage Médico, Privacidade/Segurança, Geração de Código e Suporte ao Cliente.

Configuração

• Agentes: Agentes estilo produção aproveitando LLMs de última geração (GPT-5.5 e Claude Opus 4.7).
• Regimes do Harness:
  • Simétrico: Harness alimentado por um LLM grande.
  • Assimétrico: Harness alimentado por um modelo local menor (Gemma 4B, 8-bit).
• Protocolo: Julgamentos adversariais de 25 voltas com uma estratégia de consenso de debate entre três personas de jurado.

Resultados

1. Amplificação do Pipeline: Um Harness assimétrico (modelo local pequeno) preservou o sinal adversarial útil, produzindo resultados alinhados de perto com o Harness simétrico (LLM grande) na maioria dos domínios. O delta global mediano entre regimes foi frequentemente dentro de $\pm 0.4$ pontos.
2. Falha Seletiva: Agentes fortes não falharam uniformemente. Eles exibiram fraquezas seletivas em métricas específicas (por exemplo, altas pontuações de segurança, mas baixas pontuações de seguimento de instruções) ou voltas específicas.
3. Casos de Calibração: Uma divergência significativa ocorreu no domínio de Suporte ao Cliente para agentes GPT-5.5 (Simétrico: 6,60 vs. Assimétrico: 9,00). Isso sugere que falhas sutis, como enquadramento fictício em torno de faturamento, podem exigir o raciocínio estrutural mais profundo de um Harness simétrico para certificação.

Contribuições Principais e Significado

O artigo posiciona o ProofAgent Harness não como um novo benchmark ou um juiz autônomo, mas como infraestrutura de avaliação escalável.

• De Estático para Adversarial: Desloca a avaliação de testes estáticos de uma única volta para testes de estresse comportamental adversarial repetíveis.
• De Opaco para Vinculado a Evidências: Substitui pontuações isoladas por relatórios que ligam julgamentos a voltas específicas, comportamentos e modos de falha, permitindo depuração acionável.
• De Dependente de Escala para Dependente de Processo: As descobertas sugerem que a capacidade de avaliação emerge da estrutura do pipeline (armadilhas curadas, pressão de múltiplas voltas, consenso) em vez do tamanho do modelo sozinho. Um modelo local pequeno dentro do pipeline completo do harness pode desafiar efetivamente agentes de produção.
• Padrão de Avaliação em Níveis: Os autores propõem uma abordagem em níveis onde harnesses assimétricos são usados para testes de regressão e varreduras de baixo custo, enquanto harnesses simétricos são reservados para certificação, domínios de alto risco e resultados disputados.

Os autores concluem que o ProofAgent Harness visa estabelecer a avaliação adversarial de agentes de IA como uma prática compartilhada e aberta, movendo o campo de "confiança por demonstração" para "confiança por prova". O framework é lançado como código aberto para permitir que a comunidade estenda domínios, armadilhas, métricas e regras de pontuação.