From Raw Agent Traces to Auditable Claims: A Reproducibility Layer for AgentDojo

No mundo da inteligência artificial, que evolui rapidamente, pesquisadores estão constantemente testando o quão bem programas de computador podem agir por conta própria. Esses programas, conhecidos como agentes, são projetados para usar ferramentas, tomar decisões e interagir com ambientes digitais para completar tarefas. Para saber se esses agentes são verdadeiramente capazes ou se são facilmente enganados, cientistas os submetem a benchmarks rigorosos, que são como testes padronizados. Um desses testes, chamado AgentDojo, observa especificamente quão bem esses agentes lidam com situações complicadas, como quando alguém tenta enganá-los com instruções ocultas. No entanto, um grande problema surgiu: embora esses testes produzam uma pontuação final, o caminho até essa pontuação é frequentemente uma caixa preta. É difícil verificar exatamente quais tentativas foram contadas, como os números finais foram calculados ou se os resultados relatados em um artigo de pesquisa realmente correspondem aos dados brutos que o computador gerou. Sem um rastro claro, é difícil saber se uma pontuação alta representa habilidade genuína ou apenas um erro na forma como os resultados foram contabilizados.

Essa incerteza é o foco de uma nova ferramenta de software desenvolvida pelo pesquisador independente Abdullah Alharbi. Seu trabalho, intitulado "AgentDojo Trace Audit", não cria um novo teste ou um agente melhor. Em vez disso, constrói uma camada transparente de verificação que se situa entre os dados brutos do teste AgentDojo e as afirmações finais feitas pelos pesquisadores. O objetivo é transformar um relatório estático em uma história auditável. A ferramenta pega uma versão específica e congelada do teste AgentDojo e verifica cada etapa do processo. Ela verifica se os arquivos usados são exatamente os pretendidos, se as regras para incluir ou excluir dados foram seguidas perfeitamente e se os números finais no relatório correspondem aos registros subjacentes. Ela atua como um contador rigoroso para o experimento, garantindo que as contas fechem e que a história contada pelos dados seja consistente do início ao fim.

Para fazer isso, o software primeiro exige que o usuário tenha uma cópia legítima do código-fonte oficial do AgentDojo. Ele não redistribui os dados do teste em si, o que mantém o processo legal e focado na verificação, em vez da coleta de dados. Uma vez que a fonte correta esteja presente, a ferramenta começa seu trabalho examinando as impressões digitais digitais de cada arquivo. Ela calcula um código único para cada arquivo com base em seu conteúdo, garantindo que mesmo uma pequena alteração, como uma única letra alterada ou um nome de arquivo diferente, seria imediatamente detectada. Esta etapa confirma que o pesquisador está trabalhando com exatamente o mesmo material digital que foi usado no estudo original, evitando qualquer adulteração acidental ou intencional do material de origem.

Uma vez que a fonte é verificada, o software se move para o coração da auditoria: contagem e categorização. O teste original produziu milhares de registros, mas nem todos deveriam fazer parte da análise final. A ferramenta aplica um conjunto estrito de regras para decidir quais registros manter e quais descartar. Por exemplo, descobriu-se que, de quase 11.800 arquivos candidatos, 140 eram casos auxiliares que não se encaixavam no grupo principal, e um arquivo estava incompleto por faltar campos de dados essenciais. Ao aplicar essas regras, o software reconstruiu a população exata de 11.624 registros que o estudo original alegou analisar. Em seguida, verificou se a divisão desses registros em diferentes categorias — como se um ataque foi bem-sucedido ou falhou — correspondia perfeitamente ao relatório oficial. Neste teste específico, a ferramenta confirmou que cada um dos 11.624 registros estava corretamente vinculado à sua origem e que as contagens finais de sucesso, falha e resultados de ataque eram precisas.

O verdadeiro poder desta ferramenta, entretanto, reside em sua capacidade de encontrar erros, não apenas confirmar os corretos. Para testar sua confiabilidade, os pesquisadores criaram uma série de desafios onde introduziram erros deliberadamente nos dados, como trocar arquivos, deletar links entre registros ou alterar o significado de um resultado. Em um conjunto de testes envolvendo 408 cenários diferentes, a ferramenta detectou e classificou com sucesso todos os erros. No entanto, ela só conseguiu apontar a localização exata do problema em 336 desses casos. As 72 falhas restantes não ocorreram porque a ferramenta perdeu o erro, mas porque a forma como ela descrevia a localização do erro não era detalhada o suficiente. Os pesquisadores então corrigiram este problema específico no design do software.

Após realizar este reparo, eles executaram um novo teste, mais rigoroso, com 360 cenários inéditos. Desta vez, a ferramenta foi perfeita. Ela detectou, classificou e localizou cada um dos 360 erros sem uma única falha. Para garantir que a ferramenta não fosse sensível demais e não estivesse sinalizando mudanças inofensivas como erros, eles também a rodaram contra 120 casos benignos, como arquivos que foram simplesmente renomeados ou compactados de forma diferente. A ferramenta os ignorou corretamente, produzindo zero alarmes falsos. Esta sequência de testes demonstra que o software pode distinguir confiavelmente entre uma mudança inofensiva na forma como um arquivo é armazenado e uma mudança genuína no conteúdo científico.

A significância deste trabalho é que ele fornece um método para transformar um experimento complexo e opaco em algo que pode ser inspecionado linha por linha. Antes desta ferramenta, se um pesquisador alegasse uma certa taxa de sucesso, outros tinham que aceitar sua palavra ou tentar rodar novamente todo o experimento manualmente, o que é frequentemente impossível. Agora, qualquer pessoa com os dados da fonte original pode rodar esta auditoria para ver exatamente como os números foram derivados. Ela não nos diz se os agentes são seguros no mundo real, nem prova que o design do teste original era perfeito. Em vez disso, garante que os números relatados em um artigo são consistentes com os dados nos quais se baseiam. Ela garante que a história contada pelos dados é a mesma história que os dados realmente suportam.

Os pesquisadores tomam o cuidado de notar os limites de seu trabalho. A ferramenta é projetada para uma versão específica do teste AgentDojo e não pode ser aplicada automaticamente a outros benchmarks ou versões futuras sem um retrabalho significativo. Ela também não pode detectar se o dado original estava factualmente errado ou se o próprio teste era falho; ela apenas verifica a consistência e a lógica interna. Além disso, como a ferramenta foi desenvolvida pela mesma equipe que criou os testes e a lógica de verificação, ela não é uma revisão externa independente, mas sim um auto-check que foi rigorosamente testado sob estresse. Apesar desses limites, o trabalho oferece um caminho claro para a transparência científica. Ele mostra que é possível construir um sistema onde as afirmações feitas em pesquisas não sejam apenas declarações, mas fatos verificáveis que podem ser rastreados até sua origem, byte por byte.