From Raw Agent Traces to Auditable Claims: A Reproducibility Layer for AgentDojo

Dans le monde en évolution rapide de l'intelligence artificielle, les chercheurs testent constamment la capacité des programmes informatiques à agir de manière autonome. Ces programmes, appelés agents, sont conçus pour utiliser des outils, prendre des décisions et interagir avec des environnements numériques pour accomplir des tâches. Pour savoir si ces agents sont réellement capables ou s'ils sont facilement trompés, les scientifiques les soumettent à des bancs d'essai rigoureux, qui sont comme des tests standardisés. L'un de ces tests, appelé AgentDojo, examine spécifiquement la manière dont les agents gèrent les situations délicates, comme lorsqu'une personne tente de les piéger avec des instructions cachées. Cependant, un problème majeur est apparu : alors que ces tests produisent un score final, le chemin menant à ce score est souvent une boîte noire. Il est difficile de vérifier exactement quels essais ont été comptabilisés, comment les chiffres finaux ont été calculés, ou si les résultats rapportés dans un article de recherche correspondent réellement aux données brutes générées par l'ordinateur. Sans une trace claire, il est difficile de savoir si un score élevé représente une véritable compétence ou simplement une erreur dans la façon dont les résultats ont été comptabilisés.

Cette incertitude est au cœur d'un nouvel outil logiciel développé par le chercheur indépendant Abdullah Alharbi. Son travail, intitulé « AgentDojo Trace Audit », ne crée pas un nouveau test ou un meilleur agent. Au lieu de cela, il construit une couche de vérification transparente qui se situe entre les données brutes du test AgentDojo et les affirmations finales des chercheurs. L'objectif est de transformer un rapport statique en un récit auditable. L'outil prend une version spécifique et figée du test AgentDojo et vérifie chaque étape du processus. Il vérifie que les fichiers utilisés sont exactement ceux prévus, que les règles d'inclusion ou d'exclusion des données ont été parfaitement suivies, et que les chiffres finaux du rapport correspondent aux registres sous-jacents. Il agit comme un comptable rigoureux de l'expérience, s'assurant que les chiffres concordent et que l'histoire racontée par les données est cohérente du début à la fin.

Pour ce faire, le logiciel nécessite d'abord que l'utilisateur possède une copie légitime du code source officiel d'AgentDojo. Il ne redistribue pas les données du test lui-même, ce qui permet de rester dans un cadre légal et de se concentrer sur la vérification plutôt que sur la collecte de données. Une fois la source correcte présente, l'outil commence son travail en examinant les empreintes numériques de chaque fichier. Il calcule un code unique pour chaque fichier basé sur son contenu, garantissant que même un changement infime, comme une seule lettre modifiée ou un nom de fichier différent, serait immédiatement détecté. Cette étape confirme que le chercheur travaille avec le matériel numérique exact qui a été utilisé dans l'étude originale, empêchant toute altération accidentelle ou intentionnelle du matériel source.

Une fois la source vérifiée, le logiciel passe au cœur de l'audit : le comptage et la catégorisation. Le test original a produit des milliers d'enregistrements, mais tous n'étaient pas destinés à faire partie de l'analyse finale. L'outil applique un ensemble strict de règles pour décider quels enregistrements conserver et lesquels écarter. Par exemple, il a constaté que sur près de 11 800 fichiers candidats, 140 étaient des cas auxiliaires qui ne correspondaient pas au groupe principal, et un fichier était incomplet car il manquait des champs de données clés. En appliant ces règles, le logiciel a reconstitué la population exacte de 11 624 enregistrements que l'étude originale prétendait analyser. Il a ensuite vérifié que la répartition de ces enregists en différentes catégories — comme si une attaque a réussi ou échoué — correspondait parfaitement au rapport officiel. Dans ce test spécifique, l'outil a confirmé que chacun des 11 624 enregistrements était correctement lié à sa source et que les décomptes finaux pour les succès, les échecs et les résultats d'attaques étaient exacts.

La véritable puissance de cet outil réside toutefois dans sa capacité à trouver des erreurs, et non seulement à confirmer les bonnes. Pour tester sa fiabilité, les chercheurs ont créé une série de défis où ils ont délibérément introduit des erreurs dans les données, telles que l'échange de fichiers, la suppression de liens entre les enregistrements ou la modification de la signification d'un résultat. Dans un ensemble de tests impliquant 408 scénarios différents, l'outil a réussi à détecter et à classifier chaque erreur. Cependant, il n'a pu localiser précisément le problème que dans 336 de ces cas. Les 72 échecs restants n'étaient pas dus au fait que l'outil avait manqué l'erreur, mais parce que la manière dont il décrivait l'emplacement de l'erreur n'était pas assez détaillée. Les chercheurs ont ensuite corrigé ce problème spécifique dans la conception du logiciel.

Après avoir effectué cette réparation, ils ont lancé un nouveau test plus rigoureux avec 360 scénarios inédits. Cette fois, l'outil était parfait. Il a détecté, classifié et localisé chaque erreur parmi les 360 sans le moindre raté. Pour s'assurer que l'outil n'était pas trop sensible et qu'il ne signalait pas des changements inoffensifs comme des erreurs, ils l'ont également testé contre 120 cas bénins, tels que des fichiers qui ont simplement été renommés ou compressés différemment. L'outil les a correctement ignorés, produisant zéro fausse alerte. Cette séquence de tests démontre que le logiciel peut distinguer de manière fiable un changement inoffensif dans le stockage d'un fichier d'un véritable changement dans le contenu scientifique.

La portée de ce travail est qu'il fournit une méthode pour transformer une expérience complexe et opaque en quelque chose qui peut être inspecté ligne par ligne. Avant cet outil, si un chercheur revendiquait un certain taux de réussite, les autres devaient le croire sur parole ou essayer de relancer manuellement l'expérience entière, ce qui est souvent impossible. Désormais, quiconque possède les données sources peut lancer cet audit pour voir exactement comment les chiffres ont été dérivés. L'outil ne nous dit pas si les agents sont sûrs dans le monde réel, et il ne prouve pas que la conception du test original était parfaite. Au lieu de cela, il garantit que les chiffres rapportés dans un article sont cohérents avec les données sur lesquelles ils reposent. Il garantit que l'histoire racontée par les données est la même histoire que les données soutiennent réellement.

Les chercheurs veillent à noter les limites de leur travail. L'outil est conçu pour une version spécifique du test AgentDojo et ne peut pas être appliqué automatiquement à d'autres bancs d'essai ou à des versions futures sans un remaniement important. Il ne peut pas non plus détecter si les données originales étaient factuellement erronées ou si le test lui-même était défectueux ; il vérifie seulement la cohérence et la logique interne. De plus, comme l'outil a été développé par la même équipe qui a créé les tests et la logique de vérification, il ne s'agit pas d'un examen externe indépendant, mais plutôt d'un auto-contrôle qui a été rigoureusement testé sous pression. Malgré ces limites, ce travail offre une voie claire vers la transparence scientifique. Il montre qu'il est possible de construire un système où les affirmations faites dans la recherche ne sont pas seulement des déclarations, mais des faits vérifiables que l'on peut retracer jusqu'à leur source, octet par octet.