🤖 AI

Anchor: Mitigating Artifact Drift in Agent Benchmark Generation

Dit artikel introduceert Anchor, een pijplijn voor taakgeneratie die artefactdrift mitigeert door bedrijfsworkflows te formaliseren tot beperkingenoptimalisatieprogramma's om controleerbare, verifieerbare en schaalbare evaluatieomgevingen te produceren, wat wordt aangetoond door de release van ERP-Bench, een benchmark van 300 taken met een lange horizon in een ERP-systeem van productiekwaliteit.

Oorspronkelijke auteurs: Maksim Ivanov, Abhijay Rana

Gepubliceerd 2026-05-27

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Maksim Ivanov, Abhijay Rana

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een robot te leren een fabriek te runnen. Je wilt het een test geven om te zien of het slim genoeg is om echte bedrijfsmatige taken aan te kunnen, zoals het bestellen van voorraad, het produceren van producten en het verzenden van facturen.

Het probleem, volgens dit paper, is dat de meeste van deze tests defect zijn. Ze lijden aan wat de auteurs "Artifact Drift" noemen.

Het Probleem: Het "Gebroken Recept"

Stel je het maken van een test voor een AI-agent voor als het schrijven van een recept voor een taart. Om een eerlijke test te maken, moeten vier dingen perfect overeenkomen:

De Instructies: "Maak een chocoladetaart."
De Keuken (Omgeving): De oven, kommen en ingrediënten die je de robot geeft.
Het Antwoordenboek (Oracle): De perfecte taart die je aan het einde verwacht te zien.
De Rechter (Verifier): De persoon die de taart proeft en beslist of deze goed is.

Bij de meeste huidige AI-tests zijn deze vier dingen geschreven door verschillende mensen of gegenereerd door verschillende tools die niet met elkaar communiceren.

De Instructies kunnen zeggen: "Gebruik 2 koppen suiker."
Maar de Keuken heeft slechts 1 kop suiker.
Het Antwoordenboek gaat ervan uit dat de robot 3 koppen heeft gebruikt.
De Rechter kan een voldoende geven, zelfs als de taart verbrand is, alleen omdat het eruit ziet als een taart.

Wanneer deze vier onderdelen het niet met elkaar eens zijn, is de test oneerlijk. De robot kan falen omdat de test onmogelijk was, of het kan "spelen" (de beloning hacken) door een loophole te vinden die de testmaker niet bedoeld heeft. De auteurs noemen deze rommel Artifact Drift.

De Oplossing: "Anchor"

De auteurs hebben een nieuw systeem gebouwd, genaamd Anchor, om dit op te lossen.

Stel je in plaats van het schrijven van vier aparte documenten, dat je één enkel, perfect wiskundig blauwdruk schrijft (een "constraint program"). Deze blauwdruk is als een meesterrecept dat precies definieert hoe de taart gemaakt moet worden, welke ingrediënten beschikbaar zijn en wat de regels zijn.

Wanneer je een test wilt maken:

Pas je de blauwdruk lichtjes aan (bijvoorbeeld: "Maak het moeilijker door meer klanten toe te voegen" of "Maak het makkelijker door meer voorraad te geven").
Een computerauflöser leest deze blauwdruk en zegt: "Oké, hier is de exacte perfecte manier om deze specifieke versie op te lossen."
Anchor vertaalt vervolgens die ene perfecte oplossing automatisch naar alle vier onderdelen van de test:
- Het schrijft de Instructies in platte taal.
- Het stelt de Keuken in met de juiste ingrediënten.
- Het creëert het Antwoordenboek op basis van de wiskunde van de solver.
- Het programmeert de Rechter om te controleren tegen die exacte regels.

Omdat alles uit die ene blauwdruk komt, kunnen ze nooit het oneens zijn. De instructies, de omgeving, het antwoord en de rechter zijn allemaal perfect op elkaar afgestemd.

Het Resultaat: ERP-Bench

Met behulp van dit systeem hebben de auteurs een nieuwe testsuite gemaakt, genaamd ERP-Bench.

Wat is het? Het is een set van 300 realistische bedrijfsmatige taken die het kopen van onderdelen, het maken van producten en het beheren van voorraad omvatten, allemaal binnen een real-world business software-systeem genaamd Odoo.
Waarom is het speciaal? Het is "verifieerbaar". Het systeem kent het wiskundig perfecte antwoord voor elke enkele taak. Het kan je precies vertellen hoe dicht de AI bij de perfecte oplossing kwam, niet alleen of het er "goed uitzag".

Wat Ze Vonden

Ze testten vijf van de slimste AI-modellen die vandaag beschikbaar zijn op deze 300 taken. Dit is wat er gebeurde:

De Moeilijkheidsschaal Werkt: Ze konden de taken "Makkelijk", "Gemiddeld" of "Moeilijk" maken door simpelweg getallen in hun blauwdruk te wijzigen. De AI-modellen werden slechter naarmate de taken moeilijker werden, precies zoals voorspeld.
De Kloof tussen "Voldoende" en "Perfect": De AI-modellen waren oké in het volgen van de basisregels (zoals "raak de voorraad niet op"). Ze kregen de basisbeperkingen ongeveer 26% van de tijd goed. Ze waren echter verschrikkelijk in het vinden van de beste mogelijke oplossing (zoals het uitgeven van het minste geld). Ze vonden slechts 17% van de tijd de perfecte, optimale oplossing.
De Interface Maakt Uit: De AI-modellen deden het veel beter wanneer ze direct met de software konden "praten" (zoals een programmeur die code gebruikt) in vergelijking met wanneer ze knoppen op een scherm moesten "klikken" zoals een mens (met een muis of browser). De "klik"-methoden waren veel trager en maakten meer fouten.

De Conclusie

Het paper betoogt dat we, om AI te bouwen die echt bedrijfswerk kan doen, moeten stoppen met het bouwen van tests met niet-overeenkomende onderdelen. Door een "single source of truth" te gebruiken (het Anchor-systeem), kunnen we eerlijke, controleerbare en realistische tests creëren die ons precies vertellen hoe goed een AI-agent echt is in het oplossen van complexe bedrijfsmatige problemen.

Technische Samenvatting: Anchor – Het Mitigeren van Artifactdrift bij de Generatie van Agent-benchmarks

Probleemstelling

Huidige benchmarks voor enterprise-AI-agents lijden aan een fundamentele constructiefout die artifactdrift wordt genoemd. Bij traditionele benchmarkgeneratie worden de vier kritieke componenten van een taak—de instructie ( $I$ ), de omgeving ( $E$ ), de orakeloplossing ( $x^*$ ) en de verificateur ( $V$ )—vaak gecreëerd via losjes gekoppelde processen. Deze ontkoppeling leidt tot inconsistenties waarbij artifacten het oneens zijn over de taakeisen. Bijvoorbeeld: een omgeving kan gegevens missen die door de instructie worden verondersteld, een orakel kan afhankelijk zijn van een staat die door de omgeving wordt weggelaten, of een verificateur kan uitkomsten accepteren die niet door de instructie worden gevraagd. Deze inconsistenties resulteren in omgevingen die onoplosbaar zijn, vatbaar voor beloningshacking, of simpelweg inconsistent, waardoor er een kloof ontstaat tussen benchmarkscores en prestaties in de echte productieomgeving.

Methodologie: De Anchor-pijplijn

Om artifactdrift aan te pakken, introduceren de auteurs Anchor, een taakgeneratiepijplijn die alle vier taakartifacten compileert vanuit één enkele, opgeloste specificatie. De pijplijn werkt als volgt:

Formalisatie: Een domeinexpert en een ingenieur formaliseren een bedrijfsworkflow (bijvoorbeeld prioritering van facturen, productieschema's) als een parametrisch constraintprogramma met behulp van OR-Tools CP-SAT. Deze specificatie omvat besluitvariabelen, zakelijke regelconstraints en een objectivemetric.
Oplossen: Voor een gegeven set parameters ( $\theta$ ) verwerpt de CP-SAT-oplosser het geval als onuitvoerbaar of certificeert een optimale oplossing ( $x^*_\theta$ ). Dit resultaat, gecombineerd met de parameters en constraints, vormt een opgeloste specificatie ( $S_\theta$ ).
Deterministische Compilatie: Vier vertaallagen projecteren $S_\theta$ $S_{θ}$ deterministisch naar de taakartifacten:
- Instructiegenerator: Maakt parameters, constraints en doelen om naar natuurlijke taal.
- Setupgenerator: Schrijft gesamplede initiële records in de omgevingscontainer.
- Orakelgenerator: Schrijft de gecertificeerde oplossing van de solver als de referentiestaat aan het einde.
- Verificateurgenerator: Beoordeelt staten aan het einde tegen de constraints en het doel van het programma.

Omdat alle artifacten deterministische projecties zijn van dezelfde opgeloste specificatie, worden inconsistenties door constructie gemitigeerd. De pijplijn omvat vijf end-to-end checks (scoring van een no-op-agent, orakelherhaling, beoordeling van LLM-consistentie, kanaries voor beloningshacking en steekproeven door experts) om resterende gebreken aan het licht te brengen.

Belangrijkste Bijdragen

1. De Anchor-pijplijn

Een nieuw raamwerk voor taakcreatie dat de generatie van instructie, omgeving, orakel en verificateur verenigt vanuit één enkel constraintprogramma. Deze aanpak zorgt ervoor dat de moeilijkheidsgraad via parameters instelbaar is en dat optimale oplossingen wiskundig gecertificeerd zijn, wat verifieerbare trainingscurricula mogelijk maakt.

2. ERP-Bench

Een benchmark van 300 taken met een lange horizon die inkoop- en productieprocessen bestrijken binnen Odoo 19, een productieklaar open-source ERP-systeem.

Scope: Bestrijkt 29 workflowpatronen, waaronder routinematige aanvulling, herstel na verstoringen en scenario's voor productie en vervulling.
Complexiteit: Taken omvatten gestructureerde gegevens (verkooporders, inkooporders, productieorders, stuklijsten) en vereisen dat agents complexe zakelijke regels navigeren (doorlooptijden, minimale bestelhoeveelheden, capaciteitsconstraints).
Verificatie: De verificateur gebruikt een gewogen scoresysteem (25% constraintvoldoening, 60% optimaliteit, 15% traceerbaarheid) met harde nul-poorten voor kritieke fouten.

3. Omvattende Evaluatie

De auteurs evalueerden vijf frontiermodellen (GPT-5.5, Claude Opus 4.7, GLM-5.1, GLM-5V-Turbo, Kimi K2.5) over drie harnessen (coderen, browser, computer-gebruik) tijdens 18.000 trials.

Harnessen: Gebouwd op de open-source pi-mono-toolkit om real-world scaffolds weer te geven in plaats van benchmark-specifieke wrappers.
Metrics: Beoordeeld Pass@1, Pass@5, gemiddelde scores en de haalbaarheid-optimaliteitskloof.

Resultaten

1. Correlatie met Moeilijkheid

De parametrische moeilijkheidsinterventie voorspelt succesvol de gerealiseerde prestaties. Bij alle modellen en harnessen dalen Pass@5-scores monotoon van makkelijke naar moeilijke niveaus:

Coderen: 70,5% $\to$ 22,3%
Browser: 46,5% $\to$ 7,7%
Computer-gebruik: 56,0% $\to$ 9,5%

Taakparameters zoals het aantal werkcentra, productieorders en verschillende leveranciers tonen sterke negatieve correlaties met Pass@1.

2. De Haalbaarheid-Optimaliteitskloof

Er bestaat een significante kloof tussen het voldoen aan constraints en het bereiken van optimaliteit. Bij alle modellen voldoen agents aan expliciete taakconstraints in 26,1% van de trials, maar bereiken ze een volledig optimale oplossing slechts in 17,4%. Het sterkste model (GPT-5.5 bij coderen) toont een kloof van 23,4 punten. Scoredegradatie wordt voornamelijk gedreven door gebroken expliciete constraints (haalbaarheid) in plaats van suboptimale afwegingen tussen haalbare plannen.

3. Harnessprestaties

Modellen presteren aanzienlijk beter in het coder-harness (API-gestuurd) in vergelijking met browser- of computer-gebruik harnessen.

GUI-harnessen lossen 16–56 procentpunten minder taken op dan het coder-harness.
GUI-harnessen kosten 3,1–14,3× meer per geprobeerde taak vanwege hogere aantal beurten (beperkingen in batchverwerking van acties in UI versus API).
Er werden tijdens de evaluatie geen gevallen van beloningshacking waargenomen.

4. Betrouwbaarheid

Huidige frontier-agents zijn nog niet betrouwbaar genoeg voor onbeheerde implementatie. Hoewel Pass@5 (minimaal één succes in vijf trials) meetbaar is, is Pass5 (alle vijf trials slagen) ongeveer een orde van grootte lager (bijvoorbeeld 9,8% bij coderen), wat wijst op hoge variantie in agentprestaties.

Betekenis en Claims

Het artikel claimt dat Anchor en ERP-Bench een concreet recept bieden voor het bouwen van auditabele evaluatieomgevingen voor economisch waardevol agentwerk. Door bedrijfsworkflows te formaliseren tot constraintoptimalisatieprogramma's, tonen de auteurs aan dat het mogelijk is om realistische, verifieerbare en schaalbare benchmarks te genereren die de artifactdrift mitigeren die huidige evaluaties teisteren.

De auteurs positioneren dit werk als een stap richting het dichten van de kloof tussen benchmarkscores en prestaties in productie. Zij merken op dat hoewel het raamwerk prioriteit geeft aan haalbare, reproduceerbare en exact te graden taken, het van nature geschikt is voor enterprise-werk dat zichtbaar is in terminalsysteemstaten (zoals ERP-operaties), maar minder geschikt voor workflows die vertrouwen op impliciete oordeelsvorming of onderhandeling. De release van de taakgenerator en het dataset op erpbench.ai is bedoeld om verder onderzoek te ondersteunen naar verifieerbare agenttraining en -evaluatie.