From Raw Agent Traces to Auditable Claims: A Reproducibility Layer for AgentDojo

In der sich rasant entwickelnden Welt der künstlichen Intelligenz testen Forscher ständig, wie gut Computerprogramme eigenständig agieren können. Diese Programme, bekannt als Agenten, sind darauf ausgelegt, Werkzeuge zu nutzen, Entscheidungen zu treffen und mit digitalen Umgebungen zu interagieren, um Aufgaben zu bewältigen. Um festzustellen, ob diese Agenten wirklich fähig oder leicht zu täuschen sind, unterziehen Wissenschaftler sie strengen Benchmarks, die wie standardisierte Tests funktionieren. Ein solcher Test namens AgentDojo untersucht speziell, wie gut diese Agenten mit schwierigen Situationen umgehen, etwa wenn jemand versucht, sie mit versteckten Anweisungen zu täuschen. Es ist jedoch ein großes Problem aufgetaucht: Während diese Tests eine Endpunktzahl liefern, ist der Weg zu dieser Punktzahl oft eine Blackbox. Es ist schwierig zu verifizieren, welche Versuche gezählt wurden, wie die endgültigen Zahlen berechnet wurden oder ob die in einer Forschungsarbeit berichteten Ergebnisse tatsächlich mit den Rohdaten übereinstimmen, die der Computer generiert hat. Ohne eine klare Spur ist es schwer zu wissen, ob eine hohe Punktzahl echte Geschicklichkeit oder nur einen Fehler bei der Zusammenzählung der Ergebnisse darstellt.

Diese Ungewissheit ist der Fokus eines neuen Softwaretools, das der unabhängige Forscher Abdullah Alharbi entwickelt hat. Seine Arbeit mit dem Titel „AgentDojo Trace Audit“ erschafft keinen neuen Test oder einen besseren Agenten. Stattdessen baut sie eine transparente Verifizierungsschicht auf, die zwischen den Rohdaten des AgentDojo-Tests und den von Forschern aufgestellten Behauptungen sitzt. Das Ziel ist es, einen statischen Bericht in eine prüfbare Geschichte zu verwandeln. Das Tool nimmt eine spezifische, eingefrorene Version des AgentDojo-Tests und überprüft jeden einzelnen Schritt des Prozesses. Es verifiziert, dass die verwendeten Dateien exakt die beabsichtigten sind, dass die Regeln für den Einschluss oder Ausschluss von Daten perfekt befolgt wurden und dass die endgültigen Zahlen im Bericht mit den zugrunde liegenden Datensätzen übereinstimmen. Es fungiert als strenger Buchhalter für das Experiment und stellt sicher, dass die Zahlen aufgehen und dass die Geschichte, die die Daten erzählen, von Anfang bis Ende konsistent ist.

Um dies zu tun, erfordert die Software zunächst, dass ein Benutzer über eine legitime Kopie des offiziellen AgentDojo-Quellcodes verfügt. Sie verbreitet die Testdaten selbst nicht, was den Prozess legal hält und den Fokus auf die Verifizierung statt auf die Datenerhebung legt. Sobald die korrekte Quelle vorhanden ist, beginnt das Tool seine Arbeit, indem es die digitalen Fingerabdrücke jeder Datei untersucht. Es berechnet einen eindeutigen Code für jede Datei basierend auf ihrem Inhalt und stellt so sicher, dass selbst eine winzige Änderung, wie ein einzelnes geändertes Zeichen oder ein anderer Dateiname, sofort entdeckt würde. Dieser Schritt bestätigt, dass der Forscher mit genau demselben digitalen Material arbeitet, das auch im ursprünglichen Studium verwendet wurde, wodurch eine versehentliche oder absichtliche Manipulation des Ausgangsmaterials verhindert wird.

Sob einer Verifizierung der Quelle bewegt sich die Software zum Kern des Audits: dem Zählen und Kategorisieren. Der ursprüngliche Test erzeugte Tausende von Datensätzen, aber nicht alle waren für die endgültige Analyse vorgesehen. Das Tool wendet einen strengen Satz von Regeln an, um zu entscheiden, welche Datensätze beibehalten und welche verworfen werden sollen. Beispielsweise stellte es fest, dass von fast 11.800 Kandidatendateien 140 Hilfsfälle waren, die nicht in die Hauptgruppe passten, und eine Datei unvollständig war, da ihr wichtige Datenfelder fehlten. Durch Anwendung dieser Regeln rekonstruierte die Software die exakte Population von 11.624 Datensätzen, die die ursprüngliche Studie zu analysieren vorgab. Sie überprüfte dann, ob die Aufteilung dieser Datensätze in verschiedene Kategorien – wie etwa, ob ein Angriff erfolgreich war oder fehlschlug – perfekt mit dem offiziellen Bericht übereinstimmte. In diesem spezifischen Test bestätigte das Tool, dass jeder einzelne der 11.624 Datensätze korrekt mit seiner Quelle verknüpft war und dass die endgültigen Zählungen für Erfolg, Misserfolg und Angriffsergebnisse korrekt waren.

Die wahre Stärke dieses Tools liegt jedoch in seiner Fähigkeit, Fehler zu finden, nicht nur korrekte zu bestätigen. Um seine Zuverlässigkeit zu testen, erstellten die Forscher eine Reihe von Herausforderungen, bei denen sie absichtlich Fehler in die Daten einführten, wie etwa das Vertauschen von Dateien, das Löschen von Verbindungen zwischen Datensätzen oder das Ändern der Bedeutung eines Ergebnisses. In einem Testlauf mit 408 verschiedenen Szenarien konnte das Tool jeden einzelnen Fehler erfolgreich erkennen und klassifizieren. Es konnte jedoch nur in 336 dieser Fälle den genauen Ort des Problems lokalisieren. Die verbleibenden 72 Fehlerzustände traten nicht auf, weil das Tool den Fehler übersehen hatte, sondern weil die Art und Weise, wie es den Ort des Fehlers beschrieb, nicht detailliert genug war. Die Forscher behoben daraufhin dieses spezifische Problem im Design der Software.

Nach dieser Reparatur führten sie einen neuen, strengeren Test mit 360 frischen Szenarien durch. Dieses Mal war das Tool perfekt. Es erkannte, klassifizierte und lokalisierte jeden einzelnen der 360 Fehler ohne ein einziges Versäumnis. Um sicherzustellen, dass das Tool nicht zu empfindlich ist und nicht harmlose Änderungen als Fehler markiert, ließen sie es auch gegen 120 harmlose Fälle laufen, wie etwa Dateien, die lediglich anders benannt oder komprimiert wurden. Das Tool ignorierte alle diese Fälle korrekt und produzierte null Fehlalarme. Diese Testsequenz demonstriert, dass die Software zuverlässig zwischen einer harmlosen Änderung in der Speicherung einer Datei und einer echten Änderung des wissenschaftlichen Inhalts unterscheiden kann.

Die Bedeutung dieser Arbeit liegt darin, dass sie eine Methode bereitstellt, ein komplexes, undurchsichtiges Experiment in etwas zu verwandeln, das Zeile für Zeile inspiziert werden kann. Vor diesem Tool mussten andere Forschern einfach ihr Wort glauben oder versuchen, das gesamte Experiment manuell erneut durchzuführen, was jedoch oft unmöglich ist. Nun kann jeder mit den ursprünglichen Quelldaten dieses Audit durchführen, um genau zu sehen, wie die Zahlen abgeleitet wurden. Es sagt uns nicht, ob die Agenten in der realen Welt sicher sind, noch beweist es, dass das ursprüngliche Testdesign perfekt war. Stattdessen garantiert es, dass die in einer Arbeit berichteten Zahlen konsistent mit den Daten sind, auf denen sie basieren. Es stellt sicher, dass die Geschichte, die die Daten erzählen, dieselbe Geschichte ist, die die Daten tatsächlich stützen.

Die Forscher weisen vorsichtig auf die Grenzen ihrer Arbeit hin. Das Tool ist für eine spezifische Version des AgentDojo-Tests konzipiert und kann nicht ohne signifikante Überarbeitung automatisch auf andere Benchmarks oder zukünftige Versionen angewendet werden. Es kann auch nicht erkennen, ob die ursprünglichen Daten faktisch falsch waren oder ob der Test selbst fehlerhaft war; es prüft lediglich die Konsistenz und die interne Logik. Darüber hinaus ist das Tool, da es vom selben Team entwickelt wurde, das auch die Tests und die Verifizierungslogik erstellt hat, keine unabhängige externe Prüfung, sondern vielmehr eine Selbstkontrolle, die streng getestet wurde. Trotz dieser Grenzen bietet die Arbeit einen klaren Weg nach vorne für wissenschaftliche Transparenz. Sie zeigt, dass es möglich ist, ein System zu bauen, in dem die in der Forschung aufgestellten Behauptungen nicht nur Aussagen sind, sondern verifizierbare Fakten, die bis zu ihrer Quelle zurückverfolgt werden können – Byte für Byte.