🤖 AI

Anchor: Mitigating Artifact Drift in Agent Benchmark Generation

Dieser Beitrag stellt Anchor vor, eine Pipeline zur Aufgabengenerierung, die Artefakt-Drift mindert, indem sie Geschäftsworkflows in Constraint-Optimierungsprogramme formalisiert, um überprüfbare, verifizierbare und skalierbare Evaluierungsumgebungen zu schaffen, was durch die Veröffentlichung von ERP-Bench, einem Benchmark mit 300 Aufgaben mit langer Zeithorizont in einem produktionsreifen ERP-System, demonstriert wird.

Ursprüngliche Autoren: Maksim Ivanov, Abhijay Rana

Veröffentlicht 2026-05-27

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Maksim Ivanov, Abhijay Rana

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen einem Roboter beizubringen, eine Fabrik zu leiten. Sie möchten ihm einen Test geben, um zu prüfen, ob er intelligent genug ist, um echte Geschäftsaufgaben wie die Bestellung von Vorräten, die Herstellung von Produkten und das Versenden von Rechnungen zu bewältigen.

Das Problem, so besagt diese Arbeit, besteht darin, dass die meisten dieser Tests fehlerhaft sind. Sie leiden unter dem, was die Autoren als „Artifact Drift" bezeichnen.

Das Problem: Das „kaputte Rezept"

Stellen Sie sich vor, einen Test für einen KI-Agenten zu erstellen, ist wie das Schreiben eines Rezepts für einen Kuchen. Um einen fairen Test zu erstellen, müssen vier Dinge perfekt übereinstimmen:

Die Anweisungen: „Backen Sie einen Schokoladenkuchen."
Die Küche (Umgebung): Der Ofen, die Schüsseln und die Zutaten, die Sie dem Roboter geben.
Der Lösungsleitfaden (Oracle): Der perfekte Kuchen, den Sie am Ende erwarten.
Der Richter (Verifizierer): Die Person, die den Kuchen probiert und entscheidet, ob er gut ist.

Bei den meisten aktuellen KI-Tests werden diese vier Teile von verschiedenen Personen geschrieben oder von verschiedenen Werkzeugen generiert, die nicht miteinander kommunizieren.

Die Anweisungen könnten sagen: „Verwenden Sie 2 Tassen Zucker."
Aber die Küche hat nur 1 Tasse Zucker.
Der Lösungsleitfaden geht davon aus, dass der Roboter 3 Tassen verwendet hat.
Der Richter könnte eine bestandene Note geben, selbst wenn der Kuchen verbrannt ist, nur weil er wie ein Kuchen aussieht.

Wenn diese vier Teile nicht übereinstimmen, ist der Test unfair. Der Roboter könnte scheitern, weil der Test unmöglich war, oder er könnte „betrügen" (die Belohnung hacken), indem er eine Lücke findet, die der Testersteller nicht beabsichtigt hat. Die Autoren nennen dieses Durcheinander Artifact Drift.

Die Lösung: „Anchor"

Die Autoren haben ein neues System namens Anchor entwickelt, um dies zu beheben.

Stellen Sie sich vor, anstatt vier separate Dokumente zu schreiben, schreiben Sie ein einziges, perfektes mathematisches Bauplan (ein „Constraint-Programm"). Dieser Bauplan ist wie ein Master-Rezept, das genau definiert, wie der Kuchen hergestellt werden soll, welche Zutaten verfügbar sind und welche Regeln gelten.

Wenn Sie einen Test erstellen möchten:

Sie passen den Bauplan leicht an (z. B. „Machen Sie es schwieriger, indem Sie mehr Kunden hinzufügen" oder „Machen Sie es einfacher, indem Sie mehr Lagerbestand geben").
Ein computergestützter Löser liest diesen Bauplan und sagt: „Okay, hier ist die exakte perfekte Art, diese spezifische Version zu lösen."
Anchor übersetzt dann diese eine perfekte Lösung automatisch in alle vier Teile des Tests:
- Es schreibt die Anweisungen in einfacher Sprache.
- Es richtet die Küche mit den richtigen Zutaten ein.
- Es erstellt den Lösungsleitfaden basierend auf der Mathematik des Löser.
- Es programmiert den Richter, um genau gegen dieselben Regeln zu prüfen.

Da alles aus diesem einen Bauplan stammt, können sie niemals uneinig sein. Die Anweisungen, die Umgebung, die Antwort und der Richter sind alle perfekt aufeinander abgestimmt.

Das Ergebnis: ERP-Bench

Mithilfe dieses Systems erstellten die Autoren eine neue Testserie namens ERP-Bench.

Was ist das? Es ist eine Sammlung von 300 realistischen Geschäftsaufgaben, die den Kauf von Teilen, die Herstellung von Produkten und das Management von Lagerbeständen umfassen, alles innerhalb eines realen Geschäftssoftwaresystems namens Odoo.
Warum ist es besonders? Es ist „verifizierbar". Das System kennt die mathematisch perfekte Antwort für jede einzelne Aufgabe. Es kann Ihnen genau sagen, wie nah die KI an die perfekte Lösung herangekommen ist, nicht nur, ob sie „richtig aussah".

Was sie herausfanden

Sie testeten fünf der intelligentesten heute verfügbaren KI-Modelle an diesen 300 Aufgaben. Hier ist, was passierte:

Die Schwierigkeitsskala funktioniert: Sie konnten die Aufgaben „Einfach", „Mittel" oder „Schwer" machen, indem sie einfach Zahlen in ihrem Bauplan änderten. Die KI-Modelle wurden schlechter, je schwieriger die Aufgaben wurden, genau wie vorhergesagt.
Die Lücke zwischen „Gut genug" und „Perfekt": Die KI-Modelle waren in Ordnung beim Befolgen der Grundregeln (wie „nicht den Lagerbestand aufbrauchen"). Sie bekamen die grundlegenden Einschränkungen etwa 26 % der Zeit richtig. Allerdings waren sie schrecklich darin, die beste mögliche Lösung zu finden (wie die Ausgabe des geringsten Geldbetrags). Sie fanden die perfekte, optimale Lösung nur 17 % der Zeit.
Die Schnittstelle ist entscheidend: Die KI-Modelle schnitten viel besser ab, wenn sie direkt „mit" der Software „sprechen" konnten (wie ein Programmierer, der Code verwendet), im Vergleich zu Situationen, in denen sie wie ein Mensch „Tasten" auf einem Bildschirm drücken mussten (mit einer Maus oder einem Browser). Die „Klick"-Methoden waren viel langsamer und machten mehr Fehler.

Das Fazit

Die Arbeit argumentiert, dass wir, um KI zu entwickeln, die tatsächlich echte Geschäftsarbeit leisten kann, aufhören müssen, Tests mit nicht übereinstimmenden Teilen zu erstellen. Indem wir eine „einzige Quelle der Wahrheit" (das Anchor-System) verwenden, können wir faire, überprüfbare und realistische Tests erstellen, die uns genau sagen, wie gut ein KI-Agent wirklich darin ist, komplexe Geschäftsprobleme zu lösen.

Technische Zusammenfassung: Anchor – Minderung von Artefakt-Drift bei der Generierung von Agenten-Benchmarks

Problemstellung

Aktuelle Benchmarks für Enterprise-KI-Agenten leiden unter einem grundlegenden Konstruktionsmangel, der als Artefakt-Drift bezeichnet wird. Bei der traditionellen Benchmark-Generierung werden die vier kritischen Komponenten einer Aufgabe – die Anweisung ( $I$ ), die Umgebung ( $E$ ), die Orakellösung ( $x^*$ ) und der Verifizierer ( $V$ ) – häufig durch lose gekoppelte Prozesse erstellt. Diese Entkopplung führt zu Inkonsistenzen, bei denen Artefakte in Bezug auf die Aufgabenanforderungen voneinander abweichen. Beispielsweise kann eine Umgebung Daten fehlen, die von der Anweisung vorausgesetzt werden, ein Orakel kann von Zuständen abhängen, die von der Umgebung weggelassen wurden, oder ein Verifizierer kann Ergebnisse akzeptieren, die nicht von der Anweisung gefordert wurden. Diese Inkonsistenzen führen zu Umgebungen, die unlösbar sind, anfällig für Reward-Hacking oder schlicht inkonsistent sind, und schaffen so eine Lücke zwischen Benchmark-Scores und der Produktionsleistung in der realen Welt.

Methodik: Die Anchor-Pipeline

Um der Artefakt-Drift zu begegnen, stellen die Autoren Anchor vor, eine Pipeline zur Aufgabengenerierung, die alle vier Aufgabenteile aus einer einzigen, gelösten Spezifikation kompiliert. Die Pipeline arbeitet wie folgt:

Formalisierung: Ein Domänenexperte und ein Ingenieur formalisieren einen Geschäftsprozess (z. B. Priorisierung von Rechnungen, Produktionsplanung) als parametrisches Constraints-Programm mit OR-Tools CP-SAT. Diese Spezifikation umfasst Entscheidungsvariablen, Geschäftsregel-Constraints und eine Zielmetrik.
Lösen: Für einen gegebenen Parametersatz ( $\theta$ ) lehnt der CP-SAT-Löser die Instanz entweder als nicht machbar ab oder zertifiziert eine optimale Lösung ( $x^*_\theta$ ). Dieses Ergebnis, kombiniert mit den Parametern und Constraints, bildet eine gelöste Spezifikation ( $S_\theta$ ).
Deterministische Kompilierung: Vier Translationsschichten projizieren $S_\theta$ $S_{θ}$ deterministisch in die Aufgabenteile:
- Anweisungs-Generator: Rendert Parameter, Constraints und Ziele in natürlicher Sprache.
- Setup-Generator: Schreibt gesampelte Anfangsdatensätze in den Umgebungscontainer.
- Orakel-Generator: Schreibt die vom Löser zertifizierte Lösung als Referenz-Zielzustand.
- Verifizierer-Generator: Bewertet Zielzustände anhand der Constraints und des Ziels des Programms.

Da alle Artefakte deterministische Projektionen derselben gelösten Spezifikation sind, werden Inkonsistenzen durch Konstruktion gemindert. Die Pipeline umfasst fünf End-to-End-Checks (Bewertung durch einen No-Op-Agenten, Orakel-Wiedergabe, LLM-Konsistenzurteil, Reward-Hacking-Canaries und Experten-Stichproben), um verbleibende Mängel aufzudecken.

Hauptbeiträge

1. Die Anchor-Pipeline

Ein neuartiges Framework zur Aufgabenerstellung, das die Generierung von Anweisung, Umgebung, Orakel und Verifizierer aus einem einzigen Constraints-Programm vereint. Dieser Ansatz stellt sicher, dass die Schwierigkeit über Parameter einstellbar ist und optimale Lösungen mathematisch zertifiziert sind, was überprüfbare Trainingscurricula ermöglicht.

2. ERP-Bench

Ein Benchmark mit 300 Langzeit-Aufgaben, die Beschaffungs- und Fertigungsworkflows innerhalb von Odoo 19, einem produktionsreifen Open-Source-ERP-System, abdecken.

Umfang: Deckt 29 Workflow-Muster ab, darunter routinemäßige Nachbestellung, Störungswiederherstellung sowie Produktions- und Erfüllungs-Szenarien.
Komplexität: Aufgaben beinhalten strukturierte Daten (Verkaufsaufträge, Bestellaufträge, Fertigungsaufträge, Stücklisten) und erfordern von Agenten die Navigation durch komplexe Geschäftsregeln (Durchlaufzeiten, Mindestbestellmengen, Kapazitätsbeschränkungen).
Verifizierung: Der Verifizierer verwendet ein gewichtetes Punktesystem (25 % Constraint-Erfüllung, 60 % Optimalität, 15 % Nachverfolgbarkeit) mit harten Null-Schwellenwerten für kritische Fehler.

3. Umfassende Evaluation

Die Autoren evaluierten fünf Frontier-Modelle (GPT-5.5, Claude Opus 4.7, GLM-5.1, GLM-5V-Turbo, Kimi K2.5) über drei Harnesses (Coding, Browser, Computer-Use) hinweg bei 18.000 Versuchen.

Harnesses: Basieren auf dem Open-Source-Toolkit pi-mono, um reale Gerüste widerzuspiegeln, anstatt benchmarkspezifische Wrapper.
Metriken: Evaluiert wurden Pass@1, Pass@5, Durchschnittswerte und die Machbarkeits-Optimalitäts-Lücke.

Ergebnisse

1. Schwierigkeitskorrelation

Die parametrische Schwierigkeitsintervention sagt die realisierte Leistung erfolgreich voraus. Über alle Modelle und Harnesses hinweg sinken die Pass@5-Werte monoton von einfachen zu schwierigen Stufen:

Coding: 70,5 % $\to$ 22,3 %
Browser: 46,5 % $\to$ 7,7 %
Computer-Use: 56,0 % $\to$ 9,5 %

Aufgabenparameter wie die Anzahl der Arbeitszentren, Fertigungsaufträge und unterschiedlicher Lieferanten zeigen starke negative Korrelationen mit Pass@1.

2. Die Machbarkeits-Optimalitäts-Lücke

Es besteht eine signifikante Lücke zwischen der Erfüllung von Constraints und dem Erreichen von Optimalität. Über alle Modelle hinweg erfüllen Agenten in 26,1 % der Versuche explizite Aufgaben-Constraints, erreichen aber nur in 17,4 % eine vollständig optimale Lösung. Das stärkste Modell (GPT-5.5 im Coding-Bereich) weist eine Lücke von 23,4 Punkten auf. Die Verschlechterung der Scores wird primär durch gebrochene explizite Constraints (Machbarkeit) getrieben und nicht durch suboptimale Kompromisse zwischen machbaren Plänen.

3. Harness-Leistung

Modelle performen im Coding-Harness (API-gesteuert) signifikant besser als im Browser- oder Computer-Use-Harness.

GUI-Harnesses lösen 16–56 Prozentpunkte weniger Aufgaben als der Coding-Harness.
GUI-Harnesses kosten pro versuchter Aufgabe 3,1–14,3-mal mehr aufgrund höherer Turn-Zahlen (Einschränkungen beim Batchieren von Aktionen in UI im Vergleich zur API).
Während der Evaluation wurden keine Fälle von Reward-Hacking beobachtet.

4. Zuverlässigkeit

Aktuelle Frontier-Agenten sind noch nicht zuverlässig genug für den unbeaufsichtigten Einsatz. Während Pass@5 (mindestens ein Erfolg in fünf Versuchen) messbar ist, liegt Pass5 (alle fünf Versuche erfolgreich) etwa um eine Größenordnung niedriger (z. B. 9,8 % im Coding-Bereich), was auf eine hohe Varianz in der Agentenleistung hinweist.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass Anchor und ERP-Bench ein konkretes Rezept für den Aufbau auditierbarer Evaluierungsumgebungen für wirtschaftlich wertvolle Agentenarbeit liefern. Durch die Formalisierung von Geschäftsworkflows in Constraints-Optimierungsprogramme demonstrieren die Autoren, dass es möglich ist, realistische, überprüfbare und skalierbare Benchmarks zu generieren, die die Artefakt-Drift, die aktuelle Evaluierungen plagt, mindern.

Die Autoren positionieren diese Arbeit als einen Schritt zur Überbrückung der Lücke zwischen Benchmark-Scores und Produktionsleistung. Sie stellen fest, dass das Framework zwar machbare, reproduzierbare und exakt bewertbare Aufgaben priorisiert, es sich natürlich für Unternehmensarbeit eignet, die in Terminal-Zuständen sichtbar ist (wie ERP-Operationen), aber weniger für Workflows geeignet ist, die auf implizitem Urteilsvermögen oder Verhandlungen beruhen. Die Veröffentlichung des Aufgabengenerators und des Datensatzes unter erpbench.ai soll weitere Forschung zur überprüfbaren Agenten-Training und -Evaluation unterstützen.