🤖 AI

ACE-Bench: Agent Configurable Evaluation with Scalable Horizons and Controllable Difficulty under Lightweight Environments

ACE-Bench ist ein neuartiger Benchmark für Agenten, der durch eine einheitliche gitterbasierte Planungsaufgabe in einer leichten Umgebung mit statischen JSON-Dateien hohe Evaluierungseffizienz sowie eine präzise, kontrollierbare Steuerung von Aufgabenhorizont und Schwierigkeitsgrad ermöglicht, um zuverlässige und interpretierbare Ergebnisse für das Agenten-Reasoning zu liefern.

Ursprüngliche Autoren: Wang Yang, Chaoda Song, Xinpeng Li, Debargha Ganguly, Chuang Ma, Shouren Wang, Zhihao Dou, Yuli Zhou, Vipin Chaudhary, Xiaotian Han

Veröffentlicht 2026-04-08

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Wang Yang, Chaoda Song, Xinpeng Li, Debargha Ganguly, Chuang Ma, Shouren Wang, Zhihao Dou, Yuli Zhou, Vipin Chaudhary, Xiaotian Han

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stell dir vor, du möchtest herausfinden, wie gut verschiedene KI-Assistenten (wie ein digitaler Butler) komplexe Aufgaben lösen können. Bisher gab es dafür zwei große Probleme:

Der Test war zu langsam und teuer: Viele Tests mussten die KI in einer simulierten Welt herumlaufen lassen (z. B. durch eine Webseite klicken oder mit einem anderen KI-Modell sprechen). Das war wie ein Marathon, bei dem 40 % der Zeit nur für das Anziehen der Laufschuhe und das Finden des Startpunkts draufgingen, bevor der eigentliche Lauf begann.
Die Aufgaben waren unfair: Manche Aufgaben waren kinderleicht, andere unmöglich schwer. Wenn man den Durchschnitt nahm, sah es so aus, als wäre die KI gut, obwohl sie bei den wirklich schwierigen Dingen versagte. Es war wie ein Schüler, der alle Matheaufgaben mit 1+1 löste, aber bei der Integralrechnung durchfiel – und trotzdem eine gute Note bekam, weil die einfachen Aufgaben gezählt wurden.

Die Lösung: ACE-Bench

Die Forscher haben einen neuen Test namens ACE-Bench entwickelt. Man kann sich das wie ein perfekt konstruiertes Puzzle-Spiel vorstellen, bei dem man die Schwierigkeit und die Länge des Spiels genau einstellen kann.

Hier ist die einfache Erklärung, wie es funktioniert:

1. Das Spiel: Der Terminkalender

Stell dir einen leeren Wochenplan vor (z. B. für einen Uni-Kursplan oder eine Reise). Einige Termine sind schon fest eingeplant, aber es gibt geheime Lücken (die "Hidden Slots"), die die KI füllen muss.

Die Aufgabe: Die KI muss passende Kurse, Mahlzeiten oder Reiseziele in diese Lücken einfügen.
Die Regeln: Es gibt lokale Regeln (z. B. "Der Kurs darf nicht zu schwer sein") und globale Regeln (z. B. "Die gesamte Woche darf nicht mehr als 30 Stunden dauern").

2. Der Trick: Die zwei Schalter

Das Geniale an ACE-Bench ist, dass die Forscher zwei Schalter haben, mit denen sie das Spiel genau steuern können:

Schalter 1: Die Länge des Spiels (Horizont)
Stell dir vor, du hast einen Schalter für die Anzahl der geheimen Lücken.
- Schalter auf 1: Die KI muss nur eine Lücke füllen. Einfach!
- Schalter auf 17: Die KI muss 17 Lücken füllen, wobei jede Entscheidung die nächsten beeinflusst. Das ist wie ein langer, komplexer Schachzug.
- Vorteil: Man kann genau sehen, ab wann die KI bei langen Aufgaben die Fassung verliert.
Schalter 2: Die Schwierigkeit (Die "Falschspieler")
Hier kommt der lustige Teil: Die Decoy Budgets (Täuschungs-Budgets).
Stell dir vor, die KI sucht nach dem richtigen Schlüssel für ein Schloss.
- Schwierigkeitsgrad 0: Es gibt nur den richtigen Schlüssel und viele, die offensichtlich nicht passen.
- Schwierigkeitsgrad 10: Die KI bekommt viele Schlüssel, die auf den ersten Blick perfekt aussehen (sie passen in das Loch), aber wenn sie alle zusammensteckt, klappt das Schloss trotzdem nicht, weil sie sich gegenseitig blockieren.
- Vorteil: Die KI muss nicht nur "sehen", sondern wirklich "denken" und planen, um die Falle zu erkennen.

3. Warum ist das so schnell? (Die "Leichte Umgebung")

Früher musste die KI oft auf echte Server zugreifen oder Webseiten simulieren. Das war wie ein Koch, der erst den Ofen anmachen, den Wasserhahn aufdrehen und den Supermarkt aufsuchen musste, bevor er kochen konnte.

Bei ACE-Bench ist alles in einer einfachen JSON-Datei gespeichert (wie eine Textliste). Die KI muss nicht warten, bis ein Server antwortet. Es ist, als würde der Koch alle Zutaten schon auf dem Tisch haben und muss nur noch das Rezept abarbeiten. Das macht den Test extrem schnell und billig, sodass man ihn sogar während des Trainings der KI nutzen kann.

Was haben sie herausgefunden?

Sie haben 13 verschiedene KI-Modelle getestet (von kleinen "Zwergen" bis zu riesigen "Riesen").

Kleine KIs scheiterten oft schon bei einfachen Aufgaben.
Große KIs waren besser, aber auch sie wurden langsamer und machten mehr Fehler, sobald die Lücken zahlreicher wurden und die "Falschspieler" (die Täuschungen) hinzukamen.
Das Wichtigste: Der Test zeigte genau, wo die Grenze jedes einzelnen Modells liegt. Man sieht nicht nur eine Zahl, sondern ein Wärmebild, das zeigt: "Bei 5 Lücken und 2 Täuschern ist diese KI noch stark, aber bei 15 Lücken und 10 Täuschern gibt sie auf."

Fazit:
ACE-Bench ist wie ein maßgeschneiderter Fitness-Test für KIs. Statt sie in einem chaotischen, langsamen Dschungel laufen zu lassen, gibt man ihnen eine Laufbahn, deren Länge und Hindernisse man genau einstellen kann. So weiß man genau, ob die KI fit ist oder ob sie noch mehr Training braucht.

1. Problemstellung

Bestehende Benchmarks für LLM-basierte Agenten leiden unter zwei wesentlichen Mängeln, die die Effizienz und Zuverlässigkeit der Evaluierung beeinträchtigen:

Hoher Overhead durch Umgebungsinteraktion: Viele aktuelle Benchmarks (z. B. WebArena, TAU2-Bench) erfordern komplexe Umgebungen wie Web-Simulatoren oder „LLM-as-User"-Setups. Dies führt dazu, dass ein erheblicher Teil der Evaluierungszeit (bis zu 41 %) für die Umgebungskommunikation und nicht für das eigentliche Modell-Reasoning aufgewendet wird. Dies macht groß angelegte Tests oder Validierungen während des Trainings prohibitiv teuer.
Ungleichgewichtige Verteilung von Horizont und Schwierigkeit: Die Aufgaben in bestehenden Benchmarks weisen stark variierende Interaktionsschritte auf (von wenigen bis über 100 Schritten) und unterschiedliche Schwierigkeitsgrade über verschiedene Domänen hinweg. Eine einfache Durchschnittsbildung über Domänen hinweg führt zu irreführenden Ergebnissen, da Modelle, die einfache Aufgaben gut lösen, als stark eingestuft werden können, obwohl sie bei komplexen, langfristigen Aufgaben versagen.

2. Methodik: ACE-Bench

Die Autoren schlagen ACE-Bench vor, ein Benchmark-Framework, das auf einer einheitlichen, rasterbasierten Planungsaufgabe (Grid-based Planning Task) basiert. Das Ziel des Agenten ist es, versteckte Slots in einem teilweise ausgefüllten Zeitplan (z. B. Kursplanung, Einkaufsliste) zu füllen, wobei sowohl lokale Slot-Beschränkungen als auch globale Constraints über das gesamte Raster eingehalten werden müssen.

Das Framework zeichnet sich durch drei Hauptmerkmale aus:

Skalierbarer Horizont (Scalable Horizons):
Der Aufgabenhorizont wird durch die Anzahl der versteckten Slots ( $H$ ) gesteuert. $H$ kann von 1 (eine einzelne unabhängige Entscheidung) bis zu 17 (lange Reasoning-Ketten) variiert werden. Dies ermöglicht eine systematische Evaluierung der Fähigkeit des Agenten, über lange Entscheidungsserien hinweg konsistent zu bleiben.
Steuerbare Schwierigkeit (Controllable Difficulty):
Die Schwierigkeit wird unabhängig durch ein Decoy-Budget ( $B$ ) reguliert. $B$ bestimmt die Anzahl der „Decoy"-Kandidaten (irreführende Optionen), die die lokalen Slot-Beschränkungen erfüllen, aber bei jeder gültigen Vervollständigung des restlichen Plans zu einem Verstoß gegen die globalen Constraints führen.
- $B=0$ : Reine lokale Filterung.
- $B>0$ : Erfordert tiefgreifendes globales Reasoning, um Decoys von der wahren Lösung zu unterscheiden.
Leichte Umgebungen (Lightweight Environments):
Im Gegensatz zu umgebungsintensiven Benchmarks werden alle Tool-Aufrufe über statische JSON-Dateien gelöst. Es werden keine laufenden Dienste oder externen Abhängigkeiten benötigt. Der Agent interagiert über eine einheitliche Tool-Schnittstelle (z. B. Query_attribute, Set_slot, Check_constraints), was die Evaluierung extrem schnell, reproduzierbar und für Validierungen während des Trainings geeignet macht.

3. Wichtige Beiträge

Neues Evaluierungsparadigma: Einführung eines Benchmarks, der Horizont und Schwierigkeit orthogonal und feingranular steuerbar macht, anstatt sich auf unkontrollierbare, reale Umgebungen zu verlassen.
Effizienzsteigerung: Durch die Eliminierung von Simulations-Overhead wird die Evaluierungszeit drastisch reduziert, was eine hohe Durchsatzrate ermöglicht.
Umfassende Validierung: Das Paper validiert, dass $H$ und $B$ zuverlässige Kontrollparameter für den Aufgabenhorizont und die Schwierigkeit sind. Es zeigt zudem eine starke Domänenkonsistenz und eine hohe Diskriminierungsfähigkeit zwischen Modellen unterschiedlicher Größenordnungen.
Robustheitsanalyse: Das Framework ermöglicht die Simulation von Tool-Fehlern (z. B. Netzwerk-Timeouts), um die Resilienz von Agenten zu testen.

4. Ergebnisse

Die Autoren führten umfassende Experimente mit 13 verschiedenen Modellen (verschiedene Größen und Architekturen, darunter Qwen3.5, MiniMax, GLM-4.7, MiroThinker) über 6 Domänen (Kursplanung, Mahlzeiten, PC-Bau, Einkaufen, Reisen, Personalplanung) durch.

Diskriminierungsfähigkeit: Die Ergebnisse zeigen eine klare Trennung der Leistung basierend auf der Modellgröße. Größere Modelle (z. B. Qwen3.5-397B-A17B) erreichen deutlich höhere Scores (bis zu 84,9 %) als kleinere Modelle (z. B. Qwen3.5-0.8B mit 0,6 %).
Kontrollierbarkeit:
- Mit steigender Anzahl versteckter Slots ( $H$ ) nimmt die Anzahl der Interaktionsschritte linear zu, und die Scores sinken konsistent.
- Mit steigendem Decoy-Budget ( $B$ ) sinken die Scores ebenfalls, was bestätigt, dass die Aufgabe für den Agenten schwieriger wird, da globale Reasoning-Fähigkeiten gefordert sind.
Domänenunabhängigkeit: Die Leistung der Modelle ist über die verschiedenen Domänen hinweg konsistent, was darauf hindeutet, dass der Benchmark keine systematischen Domänen-Bias einführt.
Robustheit: Simulationen von Tool-Fehlern (bis zu 30 % Ausfallrate) zeigen, dass die Leistung von Agenten signifikant abnimmt, insbesondere bei komplexeren Aufgaben (hohe $H$ und $B$ ).

5. Bedeutung und Fazit

ACE-Bench adressiert kritische Lücken in der aktuellen Agenten-Evaluierung. Es bietet einen interpretierbaren und kontrollierbaren Rahmen, der es Forschern ermöglicht, die Reasoning-Fähigkeiten von Agenten präzise zu messen, ohne durch Umgebungs-Overhead behindert zu werden.

Die Fähigkeit, Schwierigkeit und Horizont unabhängig zu variieren, erlaubt ein tiefgreifendes Verständnis der Grenzen von Modellen (Capability Boundaries). Da das Benchmark-Design auf statischen Daten basiert, ist es besonders wertvoll für die Validierung während des Trainings, wo schnelle Iterationen notwendig sind. Der Code ist öffentlich verfügbar, was die Reproduzierbarkeit und Weiterentwicklung des Feldes fördert.