🤖 machine learning

Offline Preference-Based Trajectory Evaluation

Dit artikel stelt een op voorkeuren gebaseerde methode voor voor de evaluatie van trajecten die agentische systemen vergelijkt via temporele voortgang en tijd-tot-terugkeer-profielen, wat het aantal gelijke vergelijkingen aanzienlijk vermindert en de statistische efficiëntie verbetert in vergelijking met traditionele metrieken voor eindsucces die vaak leiden tot benchmarkverzadiging.

Oorspronkelijke auteurs: Fernando Diaz

Gepubliceerd 2026-06-17

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Fernando Diaz

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een coach bent die moet beslissen welke van twee atleten beter is in het lopen van een marathon.

De Oude Manier (Succespercentage)
Momenteel worden de meeste AI-systemen zo beoordeeld: je kijkt hoe ze de race lopen, en aan het einde van de rit vraag je: "Hebben ze de finishlijn overschreden?"

Als Atleet A de lijn passeert in 2 uur en Atleet B in 4 uur, zegt de oude methode: "Beiden zijn winnaars. Ze staan gelijk."
Als Atleet C halverwege struikelt en valt, en Atleet D op het allerlaatste moment struikelt en valt, zegt de oude methode: "Beiden zijn verliezers. Ze staan gelijk."

Het artikel betoogt dat deze "Hebben ze het gehaald?"-benadering kapot is. Het gooit een enorme hoeveelheid nuttige informatie weg. Het is alsoals een leerling beoordelen enkel op het feit of hij zijn huiswerk heeft ingeleverd, zonder te kijken of hij de stof daadwerkelijk begreep of hoe hard hij heeft geprobeerd. Omdat veel systemen eindigen met dezelfde "Winst" of "Verlies" label, wordt het onmogelijk om te zien wie er echt verbetert. De auteurs noemen dit "benchmark verzadiging" (benchmark saturation): de test is zo bot dat het niet meer tussen goed en geweldig kan onderscheiden.

De Nieuwe Manier (Preferentie-gebaseerde Trajectevaluatie)
De auteurs stellen een nieuwe manier voor om deze systemen te beoordelen. In plaats van alleen naar de finishlijn te kijken, kijken ze naar de gehele reis en vragen ze: "Wie kwam er sneller bij het doel?"

Ze gebruiken drie creatieve manieren om de hardlopers te vergelijken:

De "Eerste bij de Mijlpaal"-regel (Lexicografische Return): Stel je voor dat de race controlepunten heeft. Als Hardloper A de 10-mijl markering bereikt in 1 uur en Hardloper B in 2 uur, dan is Hardloper A beter, zelfs als ze beiden uiteindelijk finishen. Deze methode kijkt naar het eerste moment waarop de één de ander voorbijstreeft.
De "Cumulatieve Snelheid"-regel (Return-Gepaarde Preferentie): Deze kijkt naar de hele race. Het vraat: "Wie was er op elk enkel punt in de race voor?" Als Hardloper A de eerste helft iets voorop loopt, en Hardloper B de tweede helft, berekent deze methode het totale tijdsvoordeel. Het behandelt de race als een continue stroom van progressie in plaats van een enkel ja/nee evenement.
De "Stap-voor-stap"-regel (Interval-Gepaarde Preferentie): Deze focust op de inspanning tussen de controlepunten. Als Hardloper A een lange tijd nodig heeft om van mijl 1 naar 2 te gaan, maar dan razendsnel gaat van mijl 2 naar 3, terwijl Hardlooper B de hele weg gestaag maar langzaam is, beloont deze methode de specifieke uitbarstingen van snelheid. Het vraagt: "Wie was sneller in het bereiken van het volgende kleine doel?"

Wat gebeurde er toen ze het probeerden?
De onderzoekers testten deze nieuwe methode op veel verschillende AI-"spellen" en taken. Dit is wat ze vonden:

Minder Gelijkspel: Onder de oude "Hebben ze het gehaald?"-methode eindden twee verschillende AI-systemen in 7{?} van de gevallen in een gelijkspel. Onder de nieuwe "Bekijk de hele reis"-methode daalde het aantal gelijkspelen naar ongeveer 35%. Dit betekent dat de nieuwe methode veel vaker het verschil tussen systemen kan zien.
Meer Data-efficiëntie: Omdat de nieuwe methode meer informatie haalt uit elke enkele run, heb je minder tests nodig om te weten welke AI beter is. Het is als het krijgen van een foto met een hoge resolutie in plaats van een wazige foto; je hebt minder foto's nodig om de details te zien.
Stabiliteit: De ranglijsten die door de nieuwe methode werden geproduceerd, waren stabieler. Als je één test uit de resultaten zou verwijderen, veranderde de winnaar bij de oude methode soms van kant, maar de nieuwe methode bleef consistent.

De Belangrijkste Conclusie
Het artikel concludeert dat de reden waarom AI-benchmarks "vastgelopen" lijken (waarbij geen enkel systeem beter lijkt te worden) misschien niet komt door de moeilijkheid van de problemen of de slechte kwaliteit van de data. Het kan zijn dat de liniaal die we gebruiken om ze te meten te bot is.

Door over te schakelen van een simpele "Winst/Verlies" score naar een gedetailleerde vergelijking van "Wie kwam er sneller en hoe?", kunnen we weer echte progressie zien zonder dat we meer data hoeven te verzamelen of de AI-systemen zelf hoeven te veranderen. We moeten simpelweg naar de reis kijken, niet alleen naar de bestemming.

Technische Samenvatting: Offline Preferentie-gebaseerde Trajectevaluatie

Probleemstelling

Het artikel behandelt de groeiende inefficiëntie en gevoeligheid van offline evaluatiemetrieken voor agentische systemen. De huidige standaardpraktijken, met name de Success Rate (SR), reduceren complexe multi-step trajecten tot een enkele binaire terminale waarde (succes/falen). Deze aanpak creëert twee primaire problemen:

Informatieverlies: Het verwerpt granulair signaal met betrekking tot gede progreso en de temporele dynamiek van hoe een taak wordt opgelost. Twee trajecten met zeer verschillende prestatieprofielen (bijv. één die een taak snel oplost versus één die het langzaam oplost, of één die aanzienlijke gedeeltelijke progressie maakt versus geen enkele) worden als identiek behandeld als ze dezelfde terminale uitkomst delen.
Statistische Inefficiëntie: De binaire aard van SR induceert een hoog aantal "gelijkstanden" (ononderscheidbare vergelijkingen). De auteurs observeren dat in diverse benchmarks ongeveer 75% van de instantie-gebaseerde vergelijkingen resulteert in gelijkstanden onder SR. Dit vermindert de effectieve steekproefomvang drastisch, wat de statistische kracht verzwakt, systeemrangschikkingen destabiliseert en bijdraagt aan het fenomeen van "benchmark verzadiging", waarbij benchmarks er niet in slagen om steeds even capabele systemen van elkaar te onderscheiden.

Het artikel betoogt dat benchmark verzadiging niet uitsluitend een resultaat is van slechte datacolectie of taakmoeilijkheid, maar aanzienlijk wordt verergerd door de keuze van de evaluatiemaatstaf.

Methodologie

De auteurs stellen Preferentie-gebaseerde Trajectevaluatie voor, een framework dat verschuift van het toekennen van scalaire waarden aan individuele trajecten naar het toekennen van gesigneerde preferenties aan paren van trajecten op basis van temporele preferentie.

Kernconcept: Temporele Preferentie

In plaats van temporele verdiscontering (wat vereist dat een specifieke, vaak arbitraire relatie tussen tijd en nut wordt aangenomen via hyperparameters), hanteren de auteurs temporele preferentie. Dit principe stelt: Gegeven twee systemen die dezelfde taakprogressie bereiken, heeft het systeem dat dit sneller bereikte de voorkeur. Dit vereist geen extra hyperparameters en maakt minder aannames over het domein.

Voorgestelde Maatstaven

Het artikel introduceert drie specifiean preferentie-gebaseerde metrieken die opereren door trajecten $f$ en $f'$ te vergelijken over return-niveaus $R \in [0, 1]$ :

Lexicografische Return (LR): Een conservatieve aanpak die prioriteit geeft aan het hoogste return-niveau waar de trajecten verschillen. Als één traject slaagt ( $R=1$ ) en de andere niet, krijgt de geslaagde de voorkeur. Als beide slagen (of beide falen), breekt het de gelijkstand door de tijd-tot-return te vergelijken op het hoogste niveau van verschil. Dit sluit nauw aan bij SR, maar voegt temporele resolutie toe voor gelijkstanden.
Return-Paired Preference (RPP): Deze metriek integreert de tijd-tot-return over alle return-niveaus. Het scant uniform door alle bereikte return-niveaus en vergelijkt de benodigde tijd om elk niveau te bereiken voor beide trajecten. Het aggregeert deze vergelijkingen gewogen door de segmentbreedte, wat effectief de cumulatieve temporele voorsprong meet.
Interval-Paired Preference (IPP): Deze metriek focust op lokale temporele efficiëntie. In plaats van de absolute tijd-tot-return, vergelijkt het de tijdsintervallen ( $\delta$ ) die nodig zijn om van het ene return-niveau naar het volgende te gaan. Dit vangt de consistentie van progressie bij sub-doelovergangen op.

Evaluatieframework

De auteurs evalueren deze methoden tegen standaard baselines (SR, Partial Return (PR), en Success weighted by Path Length (SPL)) over vijf benchmark-families (AgentBoard, OpenHands-Index, TheAgentCompany, TALES, en een synthetische SGRL-dataset).

De evaluatie steunt op meta-evaluatiecriteria:

Validiteit: Gemeten via inter-maatstaf gelijkenis (convergente validiteit) en overeenstemming met een "oracle" grondwaarheid (criteriumvaliditeit) met behulp van de SGRL-oracle dataset.
Betrouwbaarheid: Beoordeeld via split-half betrouwbaarheid en leave-one-out stabiliteit om de consistentie van de rangschikking onder datapersurbatie te bepalen.
Sensitiviteit: Gemeten via de tie rate (reductie van ononderscheidbare paren) en discriminatieve kracht (het vermogen om statistisch significante verschillen tussen systemen te detecteren).
Data-efficiëntie: Geanalyseerd door te meten hoe snel een metriek convergeert naar een stabiele rangschikking naarmate het aantal evaluatie-samples afneemt.

Belangrijkste Resultaten

De empirische resultaten over diverse agentische en interactieve benchmarks laten zien dat traject-bewuste preferenties de scalaire metrieken overtreffen in alle meta-evaluatie dimensies:

Reductie in Gelijkstanden: Preferentie-gebaseerde methoden reduceren de gelijkstand van ongeveer 75% (onder SR) naar ongeveer 35%. Hiermee wordt een aanzienlijk deel van het voorheen weggegooide signaal herwonnen.
Oracle Overeenstemming: In de SGRL-oracle dataset, waar de grondwaarheid van de rangschikking bekend is, behaalden SR en PR slechts 12,8% nauwkeurigheid in het herstellen van ware preferenties. In tegenstelling hiertoe overschreden de traject-preferentie maatstaven (LR, RPP, IPP) de 94% nauwkeurigheid. RPP detecteerde in het bijzonder 63,2% van de ware preferenties als statistisch significant (onder FDR-correctie), vergeleken met 48,1% voor SPL en 0% voor SR/PR.
Betrouwbaarheid: Traject-preferentie methoden (LR, RPP) vertoonden een hogere split-half betrouwbaarheid (correlatie ~0,83–0,85) vergeleken met scalaire metrieken (0,70–0,75). Ze vertoonden ook een grotere stabiliteit onder leave-one-out perturbaties.
Sensitiviteit en Discriminatieve Kracht: Preferentie-gebaseerde metrieken behielden een hoge discriminatieve kracht over het volledige bereik van taakmoeilijkheden, inclusief domeinen waar modellen uniform succesvol of uniform falend waren. In contrast bezweek de discriminatieve kracht van SR bij deze extremen.
Data-efficiëntie: Preferentie-gebaseerde maatstaven bereikten stabiele systeemrangschikkingen met minder evaluatie-instanties. Bijvoorbeeld, RPP bereikte significante nauwkeurigheid met slechts 50–60% van de data die SPL nodig had voor volledige prestaties.

Betekenis en Claims

Het artikel claimt dat de keuze van de evaluatiemaatstaf een kritische, vaak over het hoofd geziene factor is voor de bruikbaarheid van benchmarks. De primaire betekenis van dit werk omvat:

Herformulering van Benchmark Verzadiging: De auteurs suggereren dat de waargenomen verzadiging van benchmarks deels een artefact is van het gebruik van ongevoelige metrieken (zoals SR) die onderscheidbare trajecten in gelijkstanden reduceren, in plaats van een inherente beperking van de taken of data.
Efficiëntie zonder Nieuwe Data: De voorgestelde methoden herwinnen verloren signaal en verbeteren de statistische kracht met bestaande traject-logs, zonder dat er extra datacollectie, herweging of hyperparameter-tuning nodig is.
Offline Preferentie-evaluatie: Het werk vestigt een rigoureus framework voor offline preferentie-gebaseerde evaluatie, wat de voordelen biedt van arena-stijl vergelijkingen (variantiereductie, verbeterde sensitiviteit) terwijl de veiligheid, snelheid en contrafeitelijke analyse-mogelijkheden van offline evaluatie behouden blijven.
Methodologische Verschuiving: Door over te stappen van temporele verdiscontering (die een vaste tijd-nut relatie veronderstelt) naar temporele preferentie, biedt de aanpak een meer principiële en robuuste manier om agentische systemen te evalueren die over tijd met omgevingen interageren.

De auteurs concluderen dat de verschuiving naar preferentie-gebaseerde vergelijkingen over de structuur van trajecten een meer betrouwbare, gevoelige en data-efficiënte evaluatie van agentische systemen mogelijk maakt, waarmee direct wordt ingegaan op de statistische inefficiënties die inherent zijn aan de huidige success-rate gebaseerde paradigma's.