SkillTV-Bench: Benchmarking How Well Judges Perform on Skill-Augmented Agentic Execution
Dieses Paper führt SkillTV-Bench ein, einen umfassenden Benchmark zur Evaluierung der fähigkeitsbewussten Trajektorienverifizierung in LLM-Agenten, zusammen mit SkillTV-Evolve, einer Methode, die wiederverwendbare Judge-Fähigkeiten verfeinert, um sowohl die Verifizierungsgenauigkeit als auch die Erfolgsraten bei der Trajektorienauswahl signifikant zu verbessern.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich eine Welt vor, in der Computer nicht nur mit Ihnen chatten, sondern tatsächlich Dinge tun. Sie können Dateien öffnen, Code schreiben, im Internet surfen und sogar Roboter steuern, um komplexe, mehrstufige Probleme zu lösen. Diese werden „KI-Agenten“ genannt. Aber hier liegt der Knackpunkt: Wenn ein KI-Agent versucht, eine kaputte Website zu reparieren oder eine Reise zu planen, liefert er nicht einfach nur eine einzige endgültige Antwort. Er begibt sich auf eine lange Reise, macht hunderte von winzigen Schritten, nutzt Werkzeuge und überprüft dabei seine Arbeit.
Die große Frage für Wissenschaftler lautet: Woher wissen wir, ob die KI wirklich gute Arbeit geleistet hat? In der Vergangenheit haben wir nur das Endergebnis betrachtet. Wenn die Website repariert aussah, sagten wir: „Gute Arbeit!“ Aber was ist, wenn der Agent durch Abkürzungen ans Ziel gekommen ist oder wenn er das Falsche repariert und dabei etwas anderes kaputt gemacht hat? Wir brauchen eine Möglichkeit, die gesamte Reise zu beobachten, nicht nur die Ziellinie. Hier kommen „Richter“ ins Spiel – spezielle KI-Systeme, die darauf trainiert sind, die Arbeit des Agenten zu überprüfen. Aber diese Richter haben derzeit noch Schwierigkeiten. Sie werden oft von glänzenden Endergebnissen getäuscht und übersehen die verborgenen Fehler, die während des Prozesses passiert sind, insbesondere wenn der Agent spezielle „Fähigkeiten“ (wie einen Werkzeugkasten mit vorprogrammierten Tricks) einsetzt, um die Aufgabe zu bewältigen.
Dieses Paper stellt eine neue Methode vor, um diese Richter zu testen und zu trainieren. Die Forscher haben einen riesigen Spielplatz namens SkillTV-Bench erschaffen, der wie ein massiver TV-Marathon aus 681 verschiedenen Episoden besteht, in denen KI-Agenten versuchen, reale Aufgaben in 11 verschiedenen Bereichen zu lösen, von Cybersicherheit bis hin zum Kochen. Der Clou dabei? Die Richter schauen nicht nur ein Video; sie erhalten das „Handbuch der Fähigkeiten“ des Agenten sowie Zugriff auf die tatsächlichen Dateien und Protokolle, die der Agent erstellt hat. Dies ermöglicht es ihnen, genau zu sehen, was der Agent tun sollte, und zu prüfen, ob er die Regeln befolgt hat.
Das Team stellte fest, dass selbst die klügsten aktuellen Richter stolpern. Sie geben oft ein „Bestanden“ aus, wenn Agenten oberflächlich gut aussehen, aber die Mission eigentlich verfehlt haben. Um dies zu beheben, entwickelten die Autoren ein System namens SkillTV-Evolve. Betrachten Sie dies als einen „Coach“ für den Richter. Anstatt nur zu raten, erhält der Richter eine dynamische Checkliste (genannt „JudgeSkill“), die ihm genau sagt, wonach er suchen muss, wo er suchen muss und welche Beweise belegen, dass der Agent erfolgreich war oder gescheitert ist. Wenn der Richter einen Fehler macht, schreibt das System die Checkliste automatisch um, um diesen Fehler beim nächsten Mal zu verhindern.
Die Ergebnisse waren beeindruckend. Durch die Verwendung dieser sich entwickelnden Checkliste stieg die Genauigkeit des Richters um fast 15 Prozentpunkte. Aber die wahre Magie geschah, als sie diesen besseren Richter nutzten, um die besten Versuche aus einer Gruppe von KI-Agenten auszuwählen. Stellen Sie sich vor, eine KI versucht, ein Rätsel 10 Mal zu lösen und produziert dabei 10 verschiedene Versuche. Ein schlechter Richter könnte einen „gefälschten“ Erfolg auswählen, aber dieser neue, fähigkeitsbewusste Richter kann den einen echten Erfolg erkennen. Mit diesem besseren Richter war das Team in der Lage, eine erfolgreiche Lösung in 45,5 % der Fälle auszuwählen, wenn man 10 Versuche betrachtete, im Vergleich zu 22,9 % bei einem einzelnen Versuch oder einem schwächeren Richter.
Kurz gesagt legt das Paper nahe, dass wir, um KI-Agenten zu vertrauen, Richter brauchen, die nicht nur das Abschlussfoto betrachten, sondern das gesamte Album inspizieren und dabei das eigene Handbuch des Agenten nutzen, um die Fälschungen zu entlarven. Indem wir diesen Richtern ein besseres „Regelwerk“ geben, das aus seinen eigenen Fehlern lernt, können wir KI viel zuverlässiger bei komplexen, realen Aufgaben machen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.