The Replay Gap: Static Evaluation of Model Switching in LLM Agents Scores the Wrong World
Diese Arbeit zeigt auf, dass statische Replay-basierte Evaluierungsmethoden grundlegend daran scheitern, LLM-Agenten-Router zu bewerten, da das Ersetzen von Modellausgaben in protokollierten Trajektorien die kaskadierende Divergenz nachfolgender Agentenaktionen ignoriert, was zu irreführenden Leistungsmetriken führt, die nicht die realen Ergebnisse widerspiegeln.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind der Kapitän eines Raumschiffs, das ein gefährliches Asteroidenfeld durchquert. Sie verfügen über eine Flotte verschiedener KI-Piloten: Einige sind schnell und günstig, machen aber kleine Fehler, andere sind langsam, teuer und unglaublich präzise. Um Treibstoff zu sparen, entscheiden Sie sich, die Piloten während der Reise basierend auf der aktuellen Situation zu wechseln. Wenn der Pfad frei ist, nutzen Sie den günstigen Piloten; wenn ein massiver Asteroid erscheint, wechseln Sie zum Experten. Dies ist der Traum des „Agentic Routing“ in der Welt der Large Language Models (LLMs). Diese Modelle sind die Gehirne hinter KI-Agenten, die Code schreiben, mathematische Probleme lösen oder Spiele spielen können, indem sie eine Serie von Schritten ausführen. Die große Frage für Ingenieure lautet: Woher wissen wir, dass unsere Strategie des Pilotenwechsels tatsächlich funktioniert?
Traditionell haben Wissenschaftler diese Strategien getestet wie ein Filmregisseur, der ein Drehbuch überprüft. Sie betrachten eine aufgezeichnete Reise (eine „Trajektorie“), bei der ein Pilot den gesamten Weg geflogen ist. Dann tun sie so, als ob: „Was wäre, wenn wir den Piloten bei Schritt 10 gewecht hätten?“ Sie fügen einfach die aufgezeichneten Antworten des neuen Piloten in das alte Skript ein und sehen nach, ob das Ende gut aussieht. Dies wird als „Replay-Evaluierung“ bezeichnet. Es ist billig, schnell und geht davon aus, dass, wenn wir den Piloten bei Schritt 10 wechseln, der Rest der Reise des Raumschiffs exakt so geblieben wäre wie in der ursprünglichen Aufnahme. Aber in der realen Welt ist ein Raumschiff ein geschlossener Kreislauf: Die Aktion des Piloten bei Schritt 10 verändert die Sicht bei Schritt 11, was die Entscheidung bei Schritt 12 verändert und so weiter. Wenn der neue Pilot ein anderes Asteroidenfeld sieht, weil er seine eigene frühere Bewegung vollzogen hat, ändert sich das gesamte Skript. Diese Arbeit stellt eine einfache, erschreckende Frage: Misst unsere „Film-Skript“-Methode des Testens tatsächlich die falsche Realität?
Die Forscher der Carnegie Mellon University beschlossen, nicht länger zu raten, sondern zu testen. Anstatt ein Filmskript zu bearbeiten, bauten sie eine Zeitmaschine. Sie nahmen echte KI-Agenten, die Software-Engineering-Probleme lösten, und erzeugten an spezifischen Momenten einen „Fork“ der Zeitlinie. Sie erschufen zwei parallele Universen: eines, in dem der ursprüngliche Pilot weitermachte, und eines, in dem sie einen anderen Piloten einsetzten. Entscheidend war, dass sie nicht nur neue Antworten in die alte Geschichte einfügten; sie ließen den neuen Piloten tatsächlich die Kontrolle übernehmen, mit der Computerumgebung interagieren und sehen, was tatsächlich als Nächstes passierte. Sie führten etwa 900 dieser parallelen Experimente durch, um zu sehen, wie stark die Geschichten voneinander divergieren.
Die Ergebnisse waren ein Schock für das System. Die Annahme, dass der Rest der Reise gleich bleibt, war völlig falsch. Wenn sie die Modelle wechselten, übernahm der neue Pilot nicht einfach den bestehenden Pfad, sondern schrieb die gesamte Zukunft um. In der frühen Phase einer Aufgabe führte der Modellwechsel dazu, dass der Agent seine Meinung bei 74 % bis 77 % seiner unmittelbar nächsten Aktion änderte. Bis die Forscher die gesamte Reise betrachteten, hatte der neue Pilot 61 % bis 94 % aller Schritte nach dem Wechsel umgeschrieben. Um es in Perspektive zu setzen: Wenn Sie einen Piloten in einem Videospiel austauschen würden, würde sich die Spielwelt so drastisch ändern, dass das „Skript“, das Sie zu lesen versuchen, ein Level beschreiben würde, das nicht mehr existiert.
Die Studie fand auch heraus, dass die „Replay“-Methode gegenüber dem Erfolg gefährlich blind ist. In ihren Experimenten beobachteten sie fünf spezifische Momente, in denen der Wechsel eines Piloten das Ergebnis der Mission tatsächlich veränderte – indem er eine gescheiterte Aufgabe rettete oder eine gelöste verlor. Die alte „Film-Skript“-Methode übersah jeden einzelnen dieser kritischen Momente. Sie sagte ein Scheitern voraus, wo der neue Pilot tatsächlich Erfolg hatte, und sie sagte Erfolg voraus, wo der neue Pilot tatsächlich scheiterte. Der Code-Abschnitt, den der neue Pilot tatsächlich schrieb, ähnelte dem, was die Replay-Methode vorhersagte, überhaupt nicht; sie waren im Wesentlichen unzusammenhängend.
Darüber hinaus entdeckten die Forscher, dass der „Lärm“ im System stark davon abhängt, wie die Modelle ausgeführt werden. Selbst wenn sie exakt dasselbe Modell zweimal verwendeten, waren die Ergebnisse nicht immer identisch. Wenn das Modell mit einer bestimmten Art von Hardware-Kompression (FP8) bereitgestellt wurde, divergierten die „Kontrollläufe“ (bei denen kein Wechsel stattfand) zu 90 % der Zeit. Aber mit einer anderen Kompressionsmethode (AWQ) blieben die Läufe nahezu identisch. Das bedeutet, dass selbst die Vergleichsbasis wackelig ist, was die „Replay“-Methode noch unzuverlässiger macht.
Das Paper kommt zu dem Schluss, dass die aktuelle Art, wie wir das KI-Routing testen, die falsche Welt bewertet. Die „Replay“-Methode ist wie das Beurteilen eines Kochs, indem man ein Rezept liest, das er gestern geschrieben hat, während man ignoriert, dass sich die Zutaten in der Küche bereits geändert haben. Der Autor schlägt vor, dass wir, um KI-Agenten wirklich zu verstehen, aufhören müssen, so zu tun, als sei die Zukunft festgelegt, und stattdatt beginnen müssen, die Agenten in verzweigenden, parallelen Realitäten zu testen. Sie haben ihre Werkzeuge und Daten veröffentlicht, damit andere aufhören können zu raten und stattdessen die wahre, chaotische und faszinierende Art und Weise sehen können, wie sich diese KI-Agenten tatsächlich verhalten, wenn sich die Regeln des Spiels ändern.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.