From Raw Agent Traces to Auditable Claims: A Reproducibility Layer for AgentDojo

En el mundo de la inteligencia artificial, que evoluciona rápidamente, los investigadores prueban constantemente qué tan bien pueden actuar por su cuenta los programas informáticos. Estos programas, conocidos como agentes, están diseñados para usar herramientas, tomar decisiones e interactuar con entornos digitales para completar tareas. Para saber si estos agentes son verdaderamente capaces o si son fácilmente engañados, los científicos los someten a rigurosos parámetros de referencia (benchmarks), que son como exámenes estandarizados. Uno de estos tests, llamado AgentDojo, analiza específicamente qué tan bien manejan estos agentes situaciones complicadas, como cuando alguien intenta engañarlos con instrucciones ocultas. Sin embargo, ha surgido un problema importante: aunque estos tests producen una puntuación final, el camino hacia esa puntuación es a menudo una caja negra. Es difícil verificar exactamente qué intentos fueron contabilizados, cómo se calcularon los números finales o si los resultados reportados en un artículo de investigación realmente coinciden con los datos brutos que la computadora generó. Sin un rastro claro, es difícil saber si una puntuación alta representa una habilidad genuina o simplemente un error en la forma en que se contabilizaron los resultados.

Esta incertidumbre es el foco de una nueva herramienta de software desarrollada por el investigador independiente Abdullah Alharbi. Su trabajo, titulado "AgentDojo Trace Audit", no crea un nuevo test ni un mejor agente. En su lugar, construye una capa transparente de verificación que se sitúa entre los datos brutos del test de AgentDojo y las afirmaciones finales de los investigadores. El objetivo es convertir un informe estático en una historia auditable. La herramienta toma una versión específica y congelada del test de AgentDojo y verifica cada uno de los pasos del proceso. Verifica que los archivos utilizados sean exactamente los previstos, que las reglas para incluir o excluir datos se hayan seguido perfectamente y que los números finales del informe coincan con los registros subyacentes. Actúa como un contador riguroso del experimento, asegurando que las cuentas cuadren y que la historia que cuenta la información sea consistente de principio a fin.

Para hacer esto, el software requiere primero que el usuario tenga una copia legítima del código fuente oficial de AgentDojo. No redistribuye los datos del test en sí, lo que mantiene el proceso dentro de la legalidad y enfocado en la verificación en lugar de la recolección de datos. Una vez que la fuente correcta está presente, la herramienta comienza su trabajo examinando las huellas digitales de cada archivo. Calcula un código único para cada archivo basado en su contenido, asegurando que incluso un cambio minúsculo, como una sola letra alterada o un nombre de archivo diferente, sería detectado inmediatamente. Este paso confirma que el investigador está trabajando con el mismo material digital exacto que se utilizó en el estudio original, evitando cualquier manipulación accidental o intencionada del material de origen.

Una vez verificada la fuente, el software pasa al corazón de la auditoría: el conteo y la categorización. El test original produjo miles de registros, pero no todos estaban destinados a formar parte del análisis final. La herramienta aplica un conjunto estricto de reglas para decidir qué registros conservar y cuáles descartar. Por ejemplo, encontró que, de casi 11,800 archivos candidatos, 140 eran casos auxiliares que no encajaban en el grupo principal, y un archivo estaba incompleto porque le faltaban campos de datos clave. Al aplicar estas reglas, el software reconstruyó la población exacta de 11,624 registros que el estudio original afirmaba analizar. Luego, verificó que el desglose de estos registros en diferentes categorías —como si un ataque fue exitoso o fallido— coincidiera perfectamente con el informe oficial. En esta prueba específica, la herramienta confirmó que cada uno de los 11,624 registros estaba correctamente vinculado a su origen y que los conteos finales de éxito, fallo y resultados de ataque eran precisos.

El verdadero poder de esta herramienta, sin embargo, reside en su capacidad para encontrar errores, no solo para confirmar los correctos. Para probar su fiabilidad, los investigadores crearon una serie de desafíos donde introdujeron errores deliberadamente en los datos, tales como intercambiar archivos, eliminar vínculos entre registros o cambiar el significado de un resultado. En un conjunto de pruebas que involucró 408 escenarios diferentes, la herramienta detectó y clasificó con éxito cada uno de los errores. Sin embargo, solo pudo señalar la ubicación exacta del problema en 336 de esos casos. Los 72 fallos restantes no se debieron a que la herramienta pasara por alto el error, sino a que la forma en que describía la ubicación del error no era lo suficientemente detallada. Los investigadores entonces corrigieron este problema específico en el diseño del software.

Tras realizar esta reparación, realizaron una nueva prueba, más rigurosa, con 360 escenarios nuevos. Esta vez, la herramienta fue perfecta. Detectó, clasificó y localizó cada uno de los 360 errores sin un solo fallo. Para asegurar que la herramienta no fuera demasiado sensible y no marcara cambios inofensivos como errores, también la ejecutaron contra 120 casos benignos, como archivos que simplemente habían sido renombrados o comprimidos de forma distinta. La herramienta los ignoró correctamente, produciendo cero falsas alarmas. Esta secuencia de pruebas demuestra que el software puede distinguir de manera fiable entre un cambio inofensivo en cómo se almacena un archivo y un cambio genuino en el contenido científico.

La importancia de este trabajo es que proporciona un método para convertir un experimento complejo y opaco en algo que puede ser inspeccionado línea por línea. Antes de esta herramienta, si un investigador afirmaba cierta tasa de éxito, otros tenían que creer su palabra o intentar ejecutar manualmente todo el experimento, lo cual suele ser imposible. Ahora, cualquier persona con los datos de la fuente original puede ejecutar esta auditoría para ver exactamente cómo se derivaron los números. No nos dice si los agentes son seguros en el mundo real, ni demuestra que el diseño original del test fuera perfecto. En cambio, garantiza que los números reportados en un artículo son consistentes con los datos en los que se basan. Asegura que la historia contada por los datos es la misma historia que los datos realmente respaldan.

Los investigadores son cuidadosos al señalar los límites de su trabajo. La herramienta está diseñada para una versión específica del test de AgentDojo y no puede aplicarse automáticamente a otros parámetros de referencia o versiones futuras sin un rediseño significativo. Tampoco puede detectar si los datos originales eran fácticamente erróneos o si el test en sí era defectuoso; solo comprueba la consistencia y la lógica interna. Además, debido a que la herramienta fue desarrollada por el mismo equipo que creó las pruebas y la lógica de verificación, no es una revisión externa independiente, sino más bien un auto-control que ha sido rigurosamente probado bajo estrés. A pesar de estos límites, el trabajo ofrece un camino claro hacia la transparencia científica. Demuestra que es posible construir un sistema donde las afirmaciones hechas en la investigación no sean solo declaraciones, sino hechos verificables que pueden rastrearse hasta su origen, byte a byte.