🤖 AI

A Matter of TASTE: Improving Coverage and Difficulty of Agent Benchmarks

Um die Sättigung und die begrenzte Abdeckung von Werkzeugnutzung in bestehenden Agenten-Benchmarks zu adressieren, stellt diese Arbeit TASTE vor, eine automatisierte Methode, die den Prozess der Aufgabenerstellung umkehrt, indem sie Werkzeugsequenzen weiterentwickelt, um die herausfordernde, hochabdeckende $\tau^c$ -Bench zu generieren, was zeigt, dass aktuelle State-of-the-Art-Modelle bei der Bewältigung dieser komplexeren und vielfältigeren Aufgaben erhebliche Leistungseinbußen erleiden.

Ursprüngliche Autoren: Tomer Keren, Nitay Calderon, Asaf Yehudai, Yotam Perlitz, Michal Shmueli-Scheuer, Roi Reichert

Veröffentlicht 2026-05-28

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Tomer Keren, Nitay Calderon, Asaf Yehudai, Yotam Perlitz, Michal Shmueli-Scheuer, Roi Reichert

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie möchten testen, wie gut ein neuer Roboter-Koch beim Kochen ist.

Das Problem: Das „einfache Menü" ist erschöpft
Derzeit verfügen wir über ein Standard-Testmenü (genannt $\tau$ -Bench), bei dem der Roboter Anweisungen wie „Machen Sie ein Sandwich" oder „Bestellen Sie eine Pizza" befolgen muss. Das Problem ist, dass die intelligentesten Roboter-Köche dieses Menü bereits auswendig gelernt haben. Sie erzielen perfekte Punktzahlen, aber nicht, weil sie Genies sind; es liegt einfach daran, dass der Test zu einfach und repetitiv ist. Es ist wie bei einem Schüler, der in einem Mathe-Test eine Eins mit Plus erhält, weil der Lehrer ihn nur dazu bringt, einstellige Zahlen zu addieren.

Außerdem ist das Erstellen neuer, schwierigerer Testfragen ein Albtraum. Es erfordert, dass Menschen sich hinsetzen, komplexe Geschichten schreiben, die genauen Schritte herausfinden, die der Roboter unternehmen muss, und prüfen, ob die Geschichte Sinn ergibt. Dies ist langsam, teuer und beschränkt uns auf die Arten von Geschichten, an die Menschen zufällig denken.

Die Lösung: TASTE (Die „Reverse-Rezept"-Maschine)
Die Autoren haben ein neues System namens TASTE (Task Synthesis from Tool Sequence Evolution) entwickelt. Anstatt mit einer Geschichte zu beginnen und die Schritte zu ermitteln, dreht TASTE den Prozess auf den Kopf.

Stellen Sie es sich so vor:

Die „Werkzeugsequenz" (Die Schritte): Zuerst generiert das System Tausende von zufälligen Listen mit Aktionen, wie „Kühlschrank öffnen, Milch holen, Glas einschenken, Kühlschrank schließen".
Der „Plausibilitätsfilter" (Der Geschmackstest): Er verwendet einen hochintelligenten KI-Richter, der diese Listen betrachtet und sagt: „Nein, das ist unmöglich. Man kann keine Milch einschenken, bevor man den Kühlschrank nicht geöffnet hat", oder „Ja, das ist eine gültige Abfolge von Ereignissen". Er lernt aus seinen Fehlern und wird besser darin, gültige von ungültigen Schritten zu unterscheiden.
Das „Clustering" (Gruppierung nach Geschmack): Es gruppiert diese gültigen Sequenzen zusammen. Wenn eine Gruppe alles über „Frühstück zubereiten" handelt und eine andere über „ein Sandwich machen", wählt es das repräsentativste Beispiel aus jeder Gruppe aus, um sicherzustellen, dass der Test eine breite Vielfalt an Szenarien abdeckt.
Die „Evolution" (Aufpeppen): Dies ist die geheime Zutat. Sobald es eine grundlegende Aufgabe hat (z. B. „Bestellen Sie eine Pizza"), macht es sie absichtlich schwieriger. Es könnte:
- Den Kunden (den simulierten Benutzer) dazu bringen, seine Bestelldetails zu vergessen.
- „Ablenkungs"-Optionen zum Menü hinzufügen, die richtig aussehen, aber tatsächlich falsch sind (wie eine Pizza, die ausverkauft ist).
- Den Kunden unkooperativ oder verwirrend machen.

Das Ergebnis: $\tau^c$ -Bench
Mit dieser Methode bauten sie einen neuen, viel schwierigeren Test namens $\tau^c$ -Bench.

Als sie die „Meister"-Roboter-Köche (wie Gemini-3-Flash) an diesem neuen Menü testeten, waren die Ergebnisse schockierend.

Auf dem alten, einfachen Menü erzielten diese Roboter 0,90 (fast perfekt).
Auf dem neuen, von TASTE generierten Menü sanken ihre Punktzahlen auf 0,30 oder darunter.

Warum dies wichtig ist
Die Arbeit argumentiert, dass die hohen Punktzahlen bei den alten Tests ein „falscher Alarm" waren. Die Roboter waren tatsächlich nicht so gut darin, komplexe, chaotische reale Probleme zu lösen; sie kannten einfach die alten Testfragen auswendig.

Die neue Methode beweist, dass:

Abdeckung: Die neuen Tests zwingen Roboter, eine viel breitere Vielfalt an Werkzeugen und Kombinationen zu nutzen, nicht nur dieselben wenigen Tricks.
Schwierigkeit: Die Tests sind tatsächlich schwieriger, weil sie Verwirrung, fehlende Informationen und knifflige Szenarien enthalten.
Automatisierung: Wir brauchen keine Menschen mehr, um diese schwierigen Tests zu schreiben. Das System kann eine endlose Versorgung an herausfordernden, gültigen und vielfältigen Aufgaben generieren, um Roboter weiter zu testen, während sie intelligenter werden.

Kurz gesagt: TASTE ist eine Maschine, die automatisch „Boss-Kämpfe" für KI-Agenten erfindet und sicherstellt, dass wir den Unterschied zwischen einem Roboter erkennen können, der ein Skript auswendig gelernt hat, und einem Roboter, der tatsächlich denken kann.

Technische Zusammenfassung: A Matter of TASTE: Verbesserung der Abdeckung und Schwierigkeit von Agenten-Benchmarks

Problemstellung

Mit dem Fortschritt der Fähigkeiten von Werkzeug nutzenden Agenten werden bestehende Benchmarks (wie $\tau^2$ -Bench) zunehmend gesättigt, wobei führende Modelle Leistungen nahe der Obergrenze erzielen. Der Aufbau neuer, herausfordernder Benchmark-Aufgaben bleibt jedoch ein komplexer, kostspieliger und arbeitsintensiver Prozess, der auf manueller Erstellung beruht. Darüber hinaus versagt der Standardansatz zur Erstellung – bei dem Autoren zunächst natürliche Sprachszenarien verfassen und daraus Werkzeugsequenzen ableiten – darin, den Raum gültiger Werkzeugkombinationen explizit zu erkunden. Folglich erfassen aktuelle Benchmarks oft nur einen schmalen Ausschnitt von Werkzeugnutzungsmustern, was zu einer „Sättigung" führt, bei der hohe Scores den Mangel an vielfältigen Herausforderungen widerspiegeln und nicht robuste Aufgabenlösungsfähigkeiten. Es besteht ein dringender Bedarf nach Methoden zur automatischen Benchmark-Generierung, die Validität (Aufgaben sind lösbar und überprüfbar), Schwierigkeit (Aufgaben unterscheiden Agentenfähigkeiten sinnvoll) und Abdeckung (Aufgaben decken strukturell diverse Werkzeugnutzungsmuster ab) gewährleisten können.

Methodik: TASTE

Die Autoren schlagen TASTE (Task Synthesis from Tool Sequence Evolution) vor, eine automatische Methode zur Generierung herausfordernder Agenten-Benchmark-Aufgaben durch Umkehrung des traditionellen Erstellungsprozesses. Anstatt mit Szenarien zu beginnen, startet TASTE mit Werkzeugsequenzen und synthetisiert vollständige Aufgaben um diese herum. Die Methode arbeitet in drei Stufen:

Stufe 1: Stichprobenziehung von Werkzeugsequenzen

Um Abdeckung und Validität zu adressieren, setzt TASTE ein adaptives kontrastives n-Gramm-Modell ein, das auf dem Raum der Werkzeugsequenzen trainiert wurde.

Modellarchitektur: Das Modell unterhält separate Zähltabellen ( $C^+$ und $C^-$ ) für n-Gramme, die in „plausibel gültigen" bzw. „plausibel ungültigen" Sequenzen beobachtet wurden.
Training: Es verwendet eine iterative Schleife aus Generierung und Validierung. Sequenzen werden autoregressiv stichprobenartig gezogen und von einem Large Language Model (LLM) auf Plausibilität beurteilt. Gültige Sequenzen aktualisieren $C^+$ , während ungültige $C^-$ aktualisieren.
Kontrastives Stichprobenverfahren: Die Stichprobenwahrscheinlichkeit für das nächste Werkzeug wird aus dem Verhältnis der positiven und negativen Scores abgeleitet und bestraft n-Gramme, die mit ungültigen Sequenzen assoziiert sind. Dies ermöglicht dem Modell, den Raum der Werkzeugkombinationen zu erkunden, während es die Wahrscheinlichkeitsmasse auf gültige Sequenzen konzentriert.

Stufe 2: Clustering und Auswahl

Um sicherzustellen, dass der Benchmark diverse Muster ohne Redundanz repräsentiert, wählt TASTE eine repräsentative Teilmenge von Sequenzen aus der Stichprobenmenge aus.

Clustering: Die Autoren verwenden K-Medoids-Clustering, um den Pool von Tausenden von Kandidatensequenzen in $K$ Cluster zu unterteilen (wobei $K$ die Zielgröße des Benchmarks ist).
Distanzmetrik: Anstelle der Standard-Edit-Distanz wird eine gewichtete Levenshtein-Distanz verwendet. Substitutionskosten sind niedriger für Werkzeuge mit ähnlichen Funktionen oder Typen (z. B. zwei Suchwerkzeuge) und höher für Werkzeuge mit unterschiedlichen Typen (lesen vs. schreiben). Dies stellt sicher, dass Cluster semantisch kohärent sind.
Auswahl: Das Medoid (zentrale Sequenz) jedes Clusters wird als Repräsentant ausgewählt. Ungültige Medoide werden durch das nächstgelegene gültige Mitglied des Clusters ersetzt.

Stufe 3: Aufgabengenerierung und Evolution

Jede ausgewählte Werkzeugsequenz wird in eine vollständige Benchmark-Aufgabe instanziiert und anschließend weiterentwickelt, um die Schwierigkeit zu erhöhen.

Generierung der Basisaufgabe: Ein LLM konstruiert ein kohärentes realweltliches Szenario (Benutzeranweisung $u$ ) und initialisiert den Datenbankzustand ( $s_0$ ), um die spezifische Werkzeugsequenz zu unterstützen.
Validitätsverifikation: Aufgaben durchlaufen regelbasierte Prüfungen und eine Simulation mit einem Hinweis-unterstützten Verifizierer-Agenten. Der Verifizierer versucht, die Aufgabe unter Verwendung einer gemischten und teilweise maskierten Version der Gold-Werkzeugsequenz zu lösen. Ein Erfolg bestätigt, dass die Aufgabe lösbar ist.
Schwierigkeits-Evolution: Um realistische, adversarische Bedingungen zu simulieren, wird die Basisaufgabe durch drei Schritte weiterentwickelt:
1. Strategieanalyse: Identifizierung von Möglichkeiten für Verwirrung (z. B. Politikverletzungen, mehrdeutige Anfragen).
2. Umgebungsstörung: Hinzufügen von „Ablenkungs"-Datensätzen in der Datenbank (z. B. ein vollständig ausgebuchter Flug auf einer gewünschten Route), die dem Ziel ähneln, aber ungültig sind.
3. Szenario-Umschreibung: Umschreibung der Benutzeranweisung, um weniger kooperativ, mehrdeutig oder adversarisch zu sein, wodurch der Agent gezwungen wird, Verwirrung zu navigieren und gleichzeitig die Politik einzuhalten.

Hauptbeiträge

Wünschenswerte Eigenschaften für Benchmarks: Das Papier artikuliert und operationalisiert drei kritische Eigenschaften für Werkzeug nutzende Agenten-Benchmarks: Validität, Schwierigkeit und Abdeckung. Entscheidend definiert es Abdeckung in Bezug auf die Vielfalt der Gold-Werkzeugsequenzen und nicht in Bezug auf oberflächliche linguistische Variation.
TASTE-Framework: Die Vorstellung von TASTE, einer vollständig automatisierten Pipeline, die den Raum der Werkzeugsequenzen direkt erkundet, um Aufgaben zu generieren, die die drei wünschenswerten Eigenschaften ohne manuelle Kuratierung erfüllen.
$\tau^c$ -Bench: Der Aufbau von $\tau^c$ -Bench, einer herausfordernden Erweiterung von $\tau^2$ -Bench über drei Domänen hinweg (Fluggesellschaft, Einzelhandel, Telekommunikation). Dieser Datensatz weist eine signifikant höhere Schwierigkeit und eine breitere Abdeckung als sein Vorgänger auf.

Ergebnisse

Die Autoren evaluierten 11 Agenten-/Benutzer-LLM-Paare auf $\tau^c$ -Bench und verglichen diese mit der Leistung auf dem ursprünglichen $\tau^2$ -Bench (Verifizierte Version, $\tau_{BV}$ ).

Leistungsabfall: Modelle, die $\tau_{BV}$ fast gesättigt hatten, erlitten auf $\tau^c$ -Bench schwere Leistungseinbußen. Beispielsweise sank Gemini-3-Flash von einem Score von 0,82–0,94 auf $\tau_{BV}$ auf 0,28–0,61 auf $\tau^c$ -Bench (ein relativer Abfall von bis zu 80 %).
Erhöhte Schwierigkeit: Die weiterentwickelten Aufgaben waren signifikant schwieriger, wobei die Erfolgsquoten je nach verwendetem Evolutionsmodell um 16–55 % sanken.
Erweiterte Abdeckung: $\tau^c$ $τ^{c}$ -Bench verdoppelte die Anzahl der einzigartigen Werkzeugkombinationen, die Agenten ausführen müssen, mehr als.
- Gewichtete Edit-Distanz (WED): Erhöhte sich um bis zu 124 %.
- Type-Token-Verhältnis (TTR): Erhöhte sich um bis zu 111 %, was auf eine viel höhere Vielfalt an n-Gramm-Werkzeugsequenzen hinweist.
- Entropie: Die Entropie der Werkzeugfrequenzverteilung stieg um 35 %, was eine weniger verzerrte, diversere Nutzung von Werkzeugen zeigt.

Bedeutung und Behauptungen

Das Papier behauptet, dass hohe Scores auf bestehenden Benchmarks oft Sättigung und nicht robuste Aufgabenlösungsfähigkeiten widerspiegeln. Indem sie zeigen, dass State-of-the-Art-Modelle mit den von TASTE generierten Aufgaben signifikant zu kämpfen haben, argumentieren die Autoren, dass aktuelle Benchmarks die volle Komplexität von Werkzeugnutzungsmustern nicht erfassen.

Die Bedeutung von TASTE liegt in seiner Fähigkeit, die Generierung schwieriger, hoch abdeckender Benchmarks zu automatisieren, was eine kontinuierliche und skalierbare Evaluierung zukünftiger Agenten ermöglicht. Durch die Umkehrung des Erstellungsprozesses, um Werkzeugsequenzen zu priorisieren, stellt TASTE sicher, dass Benchmarks die strukturelle Vielfalt des Agentenverhaltens erkunden, anstatt sich auf willkürliche Autorenentscheidungen zu verlassen. Die Autoren positionieren diese Arbeit als notwendigen Schritt, um eine Evaluierungsstagnation zu verhindern, während die Fähigkeiten von Agenten weiter fortschreiten.