From Raw Agent Traces to Auditable Claims: A Reproducibility Layer for AgentDojo
Dieses Paper stellt AgentDojo Trace Audit vor, eine reproduzierbare Python-Schicht, die einen fixen AgentDojo v1.2.1 Snapshot validiert, indem sie alle 11.624 Datensätze erfolgreich rekonstruiert, eine perfekte Erkennung und Klassifizierung von Mutationen in der Post-Repair-Testung erreicht und sicherstellt, dass bei benignen Transformationen keine Fehlalarme auftreten, wodurch ein robuster Rahmen für das Audit von interaktiven Agenten-Benchmark-Claims etabliert wird.