Copy-on-Write Scoring: Application-Specific Agent Evaluations
Dieses Paper führt Copy-on-Write (CoW) Scoring ein, ein Framework, das PostgreSQL-seitige Isolation nutzt, um LLM-basierte Agenten direkt innerhalb von Anwendungsumgebungen zu evaluieren, was eine granulare, kosteneffiziente Identifizierung von Datenbank-Schreibfehlern sowie iterative Verbesserungen der Tool-Oberflächen der Agenten ermöglicht.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie hätten gerade einen superintelligenten Roboter-Assistenten gebaut, der mit Ihren Lieblings-Apps wie einem Projektmanagement-Tool oder einem Kalender kommunizieren kann. Sie möchten, dass er Ihnen hilft, Ihr Leben zu organisieren, aber Sie haben schreckliche Angst, dass er versehentlich Ihre gesamte To-Do-Liste löscht oder den Status Ihres Chefs auf „im Urlaub“ ändert, obwohl er eigentlich in einem Meeting ist. Das ist die Welt der KI-Agenten: Computerprogramme, die nicht nur chatten, sondern in Softwaresystemen tatsächlich Dinge tun. Das große Problem derzeit besteht darin, herauszufinden, wie man diese Roboter sicher testet. Normalerweise testen Wissenschaftler sie in künstlichen, erfundenen Welten (wie einer Videospiel-Simulation), aber diese Simulationen weichen oft von der Realität ab oder sind so teuer in der Erstellung, dass sich niemand leisten kann, sie jedes Mal zu aktualisieren, wenn sich die echte App ändert. Wir brauchen eine Möglichkeit, dem Roboter bei der Arbeit in der echten App zuzusehen, ohne dass er dabei jemals etwas beschädigt, damit wir genau sehen können, wo er verwirrt ist, und es beheben können.
Hier kommt eine neue Idee namens Copy-on-Write (CoW) Scoring ins Spiel, die von den Forschern Joanna Roy und Sven Hölzel vorgeschlagen wurde. Denken Sie bei ihrer Methode an eine „magische Glaswand“, die direkt in eine Datenbank (den digitalen Aktenschrank, in dem Apps ihre Daten speichern) eingebaut ist. Normalerweise, wenn Sie einem Roboter sagen: „Ändere diese Datei“, schreibt er direkt in die echte Datei und überdeckt sie. Mit CoW wird dem Roboter gesagt, er solle auf ein spezielles, unsichtbares Blatt Glas schreiben, das über der echten Datei liegt. Der Roboter glaubt, er schreibe auf das Original, aber in Wirklichkeit schreibt er nur auf das Glas. Das Original bleibt darunter perfekt sicher und unberührt.
Der clevere Teil ist: Das System behält eine „Ground Truth“-Version (eine Grundwahrheit) dessen, was passieren sollte (wie ein perfekter Mensch, der die Aufgabe ausführt), und vergleicht sie mit dem, was der Roboter auf das Glas geschrieben hat. Da der Roboter auf eine separate Schicht schreibt, können die Forscher sofort sehen: „Oh, der Roboter hat versucht, die falsche Zeile zu löschen“ oder „Er hat einen Kommentar zum falschen Task hinzugefügt“. Sie können die Leistung des Roboters danach bewerten, wie nah sein Schreiben auf dem Glas der perfekten menschlichen Version kam. Wenn der Roboter scheitert, wischen die Forscher einfach das Glas sauber und versuchen es erneut, ohne jemals ein Backup wiederherstellen oder sich Sorgen um die Beschädigung der echten Daten machen zu müssen.
In ihrer Studie testete das Team dies an Plane, einer Open-Source-Projektmanagement-Plattform. Sie richteten 20 verschiedene reale Aufgaben ein, wie zum Beispiel „Verschiebe alle unerledigten Bugs in die Liste ‚In Bearbeitung‘“ oder „Weise neue Aufgaben bestimmten Teammitgliedern zu“. Sie ließen fünf verschiedene KI-Modelle versuchen, diese Jobs zu erledigen, während das CoW-System zusah. Die Ergebnisse waren augenöffnend. Die Forscher fanden heraus, dass viele Roboter nicht deshalb scheiterten, weil sie „dumm“ waren, sondern wegen Vokabular-Diskrepanzen. Zum Beispiel nannte die App Dinge „Work Items“, aber die Roboter suchten nach „Issues“. Die Roboter blieben stecken, gaben auf oder fingen an zu halluzinieren (falsche Befehle zu erfinden), weil sie die richtigen Wörter nicht finden konnten.
Durch die Verwendung von CoW Scoring konnte das Team diese exakten Fehler lokalisieren. Sie erkannten: „Ah, der Roboter scheitert hier, weil er nicht weiß, dass ‚Issue‘ dasselbe bedeutet wie ‚Work Item‘.“ Also aktualisierten sie die Werkzeuge, die der Roboter nutzt, sodass beide Begriffe enthalten sind. Als sie die Tests erneut durchführten, wurden die Roboter viel besser. Beispielsweise verbesserte ein Modell namens Gemini-2.5-Pro seine Punktzahl um 54 %, und ein anderes namens GPT-4.1 sprang um 47 % nach oben. Die Studie legt nahe, dass diese „Glaswand“-Methode eine leistungsstarke, kostengünstige Möglichkeit ist, KI-Agenten in realen Anwendungen zu debuggen, indem sie Entwicklern helfen, die spezifischen Werkzeuge und Prompts zu korrigieren, die die Roboter verwirren, anstatt nur zu raten, was schiefgelaufen ist. Es ist eine Möglichkeit, die Roboter in der realen Welt üben zu lassen, ohne das Risiko einer realen Katastrophe.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.