Technisches Resümee: Wann ist eine Agenten-Evaluierung abgeschlossen?

Problemstellung

Aktuelle Frameworks zur Evaluierung von Agenten bewerten Modelle typischerweise basierend auf dem Zustand, der zum Zeitpunkt sichtbar ist, an dem ein Durchlauf gestoppt wird (der „Endpunkt“). Dieser Ansatz setzt voraus, dass der Endpunkt gleichzeitig zwei kritische Bedingungen erfüllt: Ergebnisfinalität (das Ergebnis ist gefestigt und kann sich nicht mehr ändern) und Einheitstrennung (der aktuelle Durchlauf ist unabhängig von vorangegangenen oder nachfolgenden Durchläufen).

Das Paper argumentiert, dass diese beiden Bedingungen unabhängig sind und am Endpunkt oft nicht erfüllt werden.

1. Ergebnisfinalität: Ein Durchlauf kann gestoppt werden, während asynchrone Operationen (z. B. verzögerte Schreibvorgänge, Hintergrundprozesse) noch ausstehen. Die Bewertung des Zustands vor Abschluss dieser Operationen kann zu falschen Labels führen (z. B. die Markierung einer Aufgabe als fehlgeschlagen, obwohl ein verzögerter Schreibvorgang sie erfolgreich abgeschlossen hätte, oder umgekehrt).
2. Einheitstrennung: Wenn die Umgebung den Zustand zwischen den Durchläufen beibehält (z. B. gemeinsam genutzte Datenbanken, persistente Konten oder nicht bereinigte Artefakte), kann ein vorangegangener Durchlauf die Ausgangsbedingungen oder das Ergebnis eines nachfolgenden Durchlaufs verändern. Dies verletzt die Annahme, dass Versuche unabhängig und identisch verteilt (i.i.d.) sind, was aggregierte Metriken (wie $pass@k$) ungültig macht.

Bestehende Audits prüfen oft auf Mängel in Benchmarks oder Reset-Mechanismen, versäumen es jedoch, zwischen einem lediglich „unvollendeten“ bewerteten Ergebnis und einem Fall, in dem die Verbindung zwischen den Durchläufen nicht berücksichtigt wurde, zu unterscheiden.

Methodik

Der Autor verwendet einen dreiteiligen Ansatz, um diese Probleme zu untersuchen:

1. Theoretischer Rahmen (Das Argument der Vollendung):
   Das Paper entwickelt ein logisches Framework, das zwischen dem Endpunkt (wenn die Interaktion stoppt) und der Vollendung (wenn das Ergebnis gesichert ist und die Grenzen stabil sind) unterscheidet. Es definiert die Evidenz, die erforderlich ist, um ein finales Label zu rechtfertigen oder die Durchläufe als separate Versuche zu behandeln.

2. Kontrolliertes Replay-Experiment:
   Unter Verwendung von AgentDojo 0.1.35 konstruierte der Autor ein System, um die Wahl der Grenzen zu isolieren.

• Setup: Ein eigenständiger Runner spielte feste Tool-Aufrufe und Operationspläne nach. Ein lokaler HTTP-Service simulierte asynchrone Verzögerungen (0, 25, 100, 250 ms) und Zustandspersistenz.
• Variablen: Die Studie variierte den Zeitpunkt der Bewertung (Snapshot am Endpunkt vs. Warten auf den terminalen Zustand) und das Zustandsmanagement (gemeinsamer Zustand vs. Namespaced-Zustand vs. verifizierter Reset).
• Metriken: Das Experiment maß die Diskrepanz zwischen Endpunkt-Labels und terminalen Labels (Finalität) sowie die Häufigkeit der Kreuz-Exposition zwischen Durchläufen (Separation).

3. Dokumentationsprüfung:
   Der Autor überprüfte die öffentliche Dokumentation und die Arbeiten von zehn prominenten Agenten-Benchmarks: WebArena, WorkArena, OSWorld, SWE-bench, tau-bench, ToolSandbox, TheAgentCompany, RE-Bench, Cybench und AgentCanary.

• Kriterien: Er kodierte explizite Aussagen bezüglich der Definition von Durchläufen, Stopp-Regeln, Zustandspersistenz, Reset-Mechanismen und der Evidenz für die Behandlung von Durchläufen als separate Versuche.
• Einschränkungen: Die Überprüfung konzentrierte sich auf das explizit Berichtete, nicht auf das Ableiten nicht genannter Eigenschaften.

Zentrale Beiträge

1. Konzeptuelle Unterscheidung: Ergebnisfinalität vs. Einheitstrennung

Das Paper stellt fest, dass dies zwei unterschiedliche Anforderungen sind, die verschiedene Evidenzen erfordern:

• Ergebnisfinalität: Erfordert, dass jede relevante Operation oder jedes Ereignis, das das Ergebnis ändern könnte, aufgelöst, begrenzt oder als abgebrochen bestätigt wurde.
• Einheitstrennung: Erfordert, dass keine relevante Route (gemeinsamer Zustand, Anmeldedaten, Artefakte) erlaubt, dass ein Durchlauf die Bedingungen oder das Ergebnis eines anderen beeinflusst.
• Implikation: Man kann Finalität erreichen, ohne Trennung zu gewährleisten (z. B. Warten auf einen Schreibvorgang, aber das Verlassen der Datei für den nächsten Durchlauf zugänglich lassen) und Trennung erreichen, ohne Finalität zu gewährleisten (z. B. Isolation der Durchläufe, aber Bewertung vor Abschluss einer verzögerten Operation).

2. Das Argument der Vollendung (Completion Argument)

Der Autor schlägt ein Entscheidungsframework für Evaluatoren vor:

• Für finale Labels: Ein Erfolgs-/Fehlerszenario-Label ist nur gerechtfertigt, wenn alle Routen, die das Ergebnis ändern könnten, blockiert, bis zum Abschluss verfolgt oder eng begrenzt wurden. Andernfalls muss das Ergebnis als unaufgelöst gemelkt werden.
• Für separate Versuche: Durchläufe können nur als separate Analyseeinheiten gezählt werden, wenn alle Verbindungen zwischen ihnen blockiert oder als unfähig erwiesen wurden, das Ergebnis zu beeinflussen. Besteht eine Verbindung, müssen die Durchläufe als eine verbundene Einheit modelliert oder gruppiert werden.

3. Das Open-Effects-Protokoll (Open-Effects Record)

Das Paper schlägt einen neuen Berichtsstandard vor: ein Open-Effects-Protokoll. Dieses Protokoll sollte Operationen oder Ressourcen auflisten, die nach dem Endpunkt noch relevant sind, deren aktuellen Status angeben und darlegen, ob sie das bewertete Ergebnis ändern oder einen anderen Durchlauf beeinflussen könnten.

Experimentelle Ergebnisse

Ergebnisse des kontrollierten Replays

• Finalität: Bei Verzögerungen ungleich Null stimmen die Endpunkt-Labels in 100 % der Fälle (150/150 Versuche) nicht mit den terminalen Labels überein. Die Snapshot-Bewertung verzeichnete 50 Erfolge, während die Rekonziliation (Warten auf den Abschluss) 200 Erfolge verzeichnete. Eine verifizierte Absage identifizierte ausstehende Schreibvorgänge korrekt als Fehler.
• Trennung: Unter gemeinsamem Zustand zeigten 75 % der Paare (150/200) eine Exposition, bei der Durchlauf A das Ergebnis von Durchlauf B veränderte. Diese Exposition wurde unter Namespaced-Zustand, verifiziertem Reset oder wenn Durchlauf B vor Durchlauf A lief, eliminiert (0/200).
• Fazit: Der Endpunkt allein kann das finale Label oder die Analyseeinheit nicht rechtfertigen. Der Zeitpunkt der Bewertung und die Zustandsmanagement-Policy bestimmen direkt die Validität des Ergebnisses.

Ergebnisse der Dokumentationsprüfung

• Reset/Retention: Explizit dokumentiert in 8/10 Protokollen; teilweise in 2/10.
• Unvollendete Operationen: Wurden wesentlich inkonsistenter berichtet. 6/10 Protokolle legten Shells, Browser oder Dienste offen, ohne anzugeben, ob abgeleitete Prozesse oder verzögerte Effekte vor der Bewertung beendet, abgebrochen oder geprüft wurden.
• Evidenz für Trennung: Nur 3/10 Protokolle lieferten explizite Belege für die Behandlung von Durchläufen als separate Beobachtungen. Sieben beschrieben Reset-Verfahren, versäumten es aber, den Umfang der Ressourcen vollständig zu benennen oder die erfolgreiche Wiederherstellung zu verifizieren.
• Lücke: Kein Protokoll dokumentierte konsistent die Zeiträume, über die relevante Effekte das Ergebnis hätten ändern können.

Bedeutung und Ansprüche

Das Paper behauptet, dass aktuelle Evaluierungspraktiken oft das Ende der Interaktion mit dem Ende der kausalen Kette einer Aufgabe verwechseln. Seine Bedeutung liegt in:

1. Korrektur der Metrik-Validität: Es zeigt, dass ohne die Verifizierung von Finalität und Trennung aggregierte Metriken (wie Erfolgsraten) eine Mischung aus Aufgabenleistung und Umgebungsartefakten messen können.
2. Präzisierung der Evaluierungsgrenzen: Es argumentiert, dass die „Evaluierungsgrenze“ nicht ein einzelner Moment ist, sondern eine Reihe von Entscheidungen darüber, wann man stoppt, wann man bewertet und wie man Durchläufe trennt.
3. Vorschlag eines Berichtsstandards: Durch die Einführung des „Open-Effects-Records“ bietet das Paper einen konkreten Mechanismus, mit dem Evaluatoren unaufgelöste Zustände und persistente Ressourcen transparent melden können, was den Lesern ermöglicht, die Validität der behaupteten Ergebnisse zu beurteilen.

Der Autor wahrt eine bescheidene Haltung und merkt an, dass seine Dokumentationsprüfung auf zehn Protokollen beschränkt ist und dass seine experimentellen Zählungen konstruierte Bedingungen widerspiegeln und nicht die Häufigkeit dieser Probleme in der breiteren Landschaft veröffentlichter Benchmarks. Das Kernargument ist, dass ein finales Label nur dann gerechtfertigt ist, wenn alles, was das behauptete Ergebnis noch ändern könnte, aufgelöst, begrenzt oder als Unsicherheit beibehalten wurde.