One-Eval: An Agentic System for Automated and Traceable LLM Evaluation

Dit paper introduceert One-Eval, een agentisch systeem dat natuurlijke taalverzoeken omzet in traceerbare en aanpasbare evaluatieworkflows voor grote taalmodellen, waardoor de handmatige inspanning voor benchmarkselectie, dataverwerking en rapportage aanzienlijk wordt verminderd.

De kern

Stel je voor dat je een nieuwe auto wilt kopen. Je wilt weten of hij goed is, maar in plaats van zelf naar de garage te gaan, de motor te openen, de banden te meten en een proefrit te maken, zeg je gewoon tegen een slimme assistent: "Ik wil een auto die goed is op sneeuw en veilig voor mijn gezin."

De assistent pakt dan zijn eigen gereedschapskist, zoekt de juiste testbanen op, rijdt zelf de auto uit, meet alles op en geeft je een duidelijk rapport: "Deze auto is geweldig op sneeuw, maar de remmen zijn een beetje zacht."

One-Eval is precies zo'n slimme assistent, maar dan voor grote taalmodellen (zoals de AI die je nu gebruikt).

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Doe-het-zelf" Chaos

Vroeger (en vaak nog steeds) moest een expert die een AI wilde testen, als een timmerman zonder blauwdruk aan de slag.

• Ze moesten zelf zoeken naar de juiste "proefvragen" (benchmarks).
• Ze moesten zelf de software installeren en configureren.
• Ze moesten zelf beslissen welke cijfers belangrijk waren.
• Als er iets misging, was het heel lastig om te zien waar het fout zat.

Het was als proberen een huis te bouwen terwijl je zelf de bakstenen moet zoeken, de cement moet mixen en de blauwdrukken moet tekenen, terwijl je ook nog moet raden of het huis veilig is.

2. De Oplossing: One-Eval (De Slimme Bouwmeester)

One-Eval is een agent (een slimme digitale werknemer) die dit hele proces overneemt. Je geeft het gewoon een zinnetje in gewone taal, en het doet de rest.

Het proces bestaat uit drie stappen, die we kunnen vergelijken met het plannen van een reis:

Stap 1: De Reisplanner (NL2Bench)

• Wat je zegt: "Ik wil testen of mijn AI goed kan rekenen en logisch redeneren."
• Wat One-Eval doet: Het vertaalt jouw zin naar een strak plan. Het zoekt in zijn enorme bibliotheek naar de perfecte "rekenproblemen" en "logica-puzzels" (zoals GSM8K of MATH).
• De analogie: Het is alsof je tegen een reisbureau zegt: "Ik wil een strandvakantie." Zij zoeken niet alleen het strand, maar kiezen ook de beste hotels, boeken de vluchten en zorgen dat alles past bij je budget. Ze vragen je zelfs: "Zeker weten dat je geen skivakantie wilt?" (dit is de mens-in-de-lus stap, waar jij nog even kunt checken of het plan klopt).

Stap 2: De Logistiek (BenchResolve)

• Het probleem: Soms zijn de proefvragen op verschillende plekken op het internet te vinden, in verschillende formaten.
• Wat One-Eval doet: Het downloadt automatisch de juiste bestanden, zet ze in een standaardformaat en zorgt dat ze direct klaar zijn om te gebruiken.
• De analogie: Stel je voor dat je ingrediënten koopt bij drie verschillende winkels. De ene verkoopt bloem in zakken, de andere in blikken, en de derde in dozen. One-Eval is de kok die alles uitpakt, in dezelfde bakken doet en klaarzet op het aanrecht, zodat je alleen maar hoeft te bakken. Het zorgt ervoor dat er geen "gemiste ingrediënten" zijn.

Stap 3: Het Rapport (Metrics & Reporting)

• Het oude probleem: Vroeger kreeg je alleen een cijfer: "85% goed." Dat zegt weinig. Is die 85% goed voor wiskunde of voor poëzie? Waar ging het fout?
• Wat One-Eval doet: Het maakt een verdiepend rapport. Het zegt niet alleen "85% goed", maar ook: "De AI is geweldig in optellen, maar hij maakt veel fouten bij breuken. Hier zijn drie voorbeelden van fouten, en hier is een tip om het te verbeteren."
• De analogie: In plaats van alleen je schoolcijfer te krijgen, krijg je een gedetailleerd advies van je leraar: "Je bent goed in algebra, maar je moet meer oefenen met geometrie. Kijk hier naar deze drie sommen die je fout had."

Waarom is dit belangrijk?

One-Eval maakt het testen van AI sneller, betrouwbaarder en begrijpelijker.

• Minder gedoe: Je hoeft geen programmeur te zijn om een AI te testen.
• Traceerbaar: Je kunt altijd terugkijken hoe het testresultaat tot stand is gekomen (alsof je de video-opname van de proefrit terugkijkt).
• Beslissingen: Bedrijven kunnen hierop echt beslissingen nemen: "Deze AI is klaar om te lanceren, want we weten precies waar hij goed en slecht in is."

Kortom: One-Eval is de vertaler en de regisseur die zorgt dat je niet zelf hoeft te bouwen aan de testapparatuur, maar gewoon je vraag kunt stellen en een helder antwoord krijgt.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "One-Eval: An Agentic System for Automated and Traceable LLM Evaluation" in het Nederlands.

Probleemstelling

De snelle adoptie van Large Language Models (LLM's) en multimodale modellen in industriële systemen heeft model-evaluatie tot een kritieke fase in de levenscyclus gemaakt. Echter, de huidige evaluatiepraktijken kampen met aanzienlijke beperkingen:

• Hoge manuele inspanning: Practici moeten handmatig geschikte benchmarks identificeren, heterogene codebases reproduceren, dataset-schema's mappen en geaggregeerde metrieken interpreteren.
• Rigiditeit en complexiteit: Bestaande frameworks (zoals lm-eval-harness of OpenCompass) vereisen expliciete configuratie van modellen, datasets en parameters. Ze behandelen benchmarks als statische configuraties in plaats van dynamische, intentie-gedreven processen.
• Gebrek aan actiekracht: Resultaten worden vaak beperkt tot geïsoleerde scalair scores, wat onvoldoende is voor complexe industriële besluitvorming (zoals risicobeoordeling of implementatiebereidheid).
• Moeilijk reproduceerbaar: Het ontbreken van traceerbare workflows maakt het lastig om fouten te debuggen of evaluaties te auditeren.

Methodologie: Het One-Eval Systeem

One-Eval is een agentisch evaluatiesysteem dat natuurlijke taal-evaluatieverzoeken omzet in uitvoerbare, traceerbare en aanpasbare workflows. Het systeem volgt een end-to-end, modulaire pijplijn bestaande uit drie hoofdfasen, ondersteund door een "Human-in-the-loop" (HITL) mechanisme.

1. NL2Bench (Intent Structurering en Benchmark Planning)

Dit is het instappunt dat een natuurlijk taalverzoek omzet in een gestructureerd evaluatieplan.

• Intent Structurering: Het vertaalt het verzoek naar een gestructureerde intentie (doelgebied, specifieke benchmarks, uitvoeringsbeperkingen).
• Kandidaat Retrieval: Het zoekt in twee bronnen: een lokaal gecureerd galerij van 77 benchmarks en live zoekopdrachten op HuggingFace Hub. Het gebruikt zowel embedding-based retrieval (voor semantische gelijkenis) als TF-IDF (voor trefwoord-overlap).
• Selectie en Normalisatie: Het selecteert een compacte subset van benchmarks die past bij de intentie en normaliseert deze naar een canoniek formaat.
• HITL Integratie: Gebruikers kunnen het gegenereerde plan bekijken, bewerken of goedkeuren voordat het wordt uitgevoerd.

2. BenchResolve (Benchmark Resolutie en Configuratie)

Deze module zorgt ervoor dat het geplande plan daadwerkelijk uitvoerbaar is, ondanks de heterogeniteit van datasets.

• Hiërarchische Resolutie: Het gebruikt een "local-first" strategie. Eerst wordt gezocht in een lokaal register met expert-gevalideerde configuraties. Als dit faalt, wordt dynamisch gezocht op HuggingFace.
• Schema Normalisatie: Het converteert heterogene datasetstructuren (verschillende kolomnamen, splits) naar een uniforme interne interface (BenchInfo). Dit omvat het automatisch downloaden van datasets en het mappen van kolommen (bijv. question -> input, answer -> target).
• Validatie: Het valideert configuraties om te garanderen dat de evaluatie zonder handmatige tussenkomst kan draaien.

3. Metrics & Reporting (Metriekselectie en Rapportage)

Deze fase transformeert ruwe modeluitvoer in actieerbare beslissingsignalen.

• Dual-Track Metriek Aanbeveling:
  1. User Override: Gebruikers kunnen expliciete metrieken specificeren.
  2. Knowledge-Augmented Reasoning: Een agent analyseert de dataset-context (prompttemplates, few-shot voorbeelden) en raadpleegt een gedecentraliseerd register van metrieken om de meest geschikte metrics te selecteren.
• Gedecentraliseerd Register: Nieuwe metrieken kunnen eenvoudig worden toegevoegd via semantische metadata.
• Hiërarchisch Diagnostisch Rapport: In plaats van alleen een score, genereert het systeem:
  • Macro View: Radar- en zonnestralen-grafieken voor algehele capaciteitsprofielen.
  • Diagnostic View: Analyse van foutmodi (bijv. hallucinaties vs. instructievolgfouten) en blinde vlekken.
  • Micro View: Case-studies die aggregate scores koppelen aan specifieke mislukte voorbeelden.

Belangrijkste Bijdragen

1. End-to-End Agentische Workflow: One-Eval is het eerste systeem dat evaluatie behandelt als een volledig agent-gedreven proces, van intentie-interpretatie tot rapportage, in plaats van alleen uitvoering.
2. NL2Bench Framework: Een innovatieve aanpak voor het vertalen van natuurlijke taal naar uitvoerbare benchmarkplannen met ondersteuning voor interactieve verfijning.
3. Traceerbaarheid en Auditability: Het systeem behoudt een volledige "evidence trail" (tussenresultaten, configuraties, schema-mappings), wat debugging en auditing in industriële omgevingen mogelijk maakt.
4. Decision-Oriented Reporting: Het verschuift de focus van statische scores naar gestructureerde, taakgerichte rapporten die direct bruikbaar zijn voor besluitvorming.

Resultaten

De auteurs hebben One-Eval geëvalueerd aan de hand van industriële bruikbaarheid en betrouwbaarheid:

• End-to-End Succes: Op een dataset van 100 natuurlijke taalverzoeken (over 6 domeinen zoals redeneren, wiskunde, code) behaalde One-Eval een 99% succesrate voor het genereren van een uitvoerbaar plan.
• Automatisering: 85% van de verzoeken slaagde in het automatisch afleiden van correcte splits, subsets en schema-mappings zonder menselijke correctie.
• Efficiëntie: De volledige pijplijn (van intentie tot plan) werd gemiddeld voltooid in ongeveer 13 minuten per verzoek.
• Vergelijking: In vergelijking met bestaande frameworks (zoals lm-eval-harness, OpenCompass, HELM) biedt One-Eval als enige systeem native ondersteuning voor custom benchmarks, end-to-end automatisering, benchmark-aanbevelingen en metriek-aanbevelingen.

Betekenis en Impact

One-Eval adresseert een kritieke kloof in de LLM-ontwikkelcyclus. Door evaluatie te transformeren van een handmatige, statische taak naar een geautomatiseerde, agentische workflow, maakt het:

• Efficiëntere iteratie: Practici kunnen sneller nieuwe modellen testen op specifieke domeinen zonder diepgaande technische kennis van benchmark-configuratie.
• Betere besluitvorming: De focus op diagnostische rapporten en foutanalyse helpt teams niet alleen te weten hoe een model presteert, maar ook waarom het faalt, wat essentieel is voor veilige implementatie.
• Reproduceerbaarheid: De traceerbare aard van de workflows maakt het mogelijk om evaluaties exact te reproduceren, wat cruciaal is voor compliance en auditing in de industrie.

Het systeem is open source beschikbaar en stelt organisaties in staat om hun evaluatieprocessen te schalen en te professionaliseren.