💬 NLP

CoEval: Ranking Language Models for Custom Tasks Without Labeled Data or Trustworthy Benchmarks

CoEval is een open-source framework dat contaminatievrije, attribuutgestuurde benchmarks genereert en een divers ensemble van beoordelingsmodellen inzet om taalmodellen voor specifieke taken betrouwbaar te rangschikken zonder dat er gelabelde data nodig zijn of vertrouwd hoeft te worden op publieke benchmarks.

Oorspronkelijke auteurs: Alexander Apartsin, Yehudit Aperstein

Gepubliceerd 2026-06-03

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Alexander Apartsin, Yehudit Aperstein

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een hiring manager bent die de beste werknemer probeert te kiezen voor een heel specifieke baan, zoals "het organiseren van een chaotische loods" of "het schrijven van grappige grappen over tuinieren." Je hebt een probleem: je hebt geen eerdere prestatiebeoordelingen (gelabelde data) en de standaardtests die iedereen gebruikt (publieke benchmarks) zijn nutteloos omdat de kandidaten de antwoorden al hebben geleerd door ze van tevoren te bestuderen.

Dit is precies het probleem dat CoEval oplost. Het is een nieuwe, open-source tool die je helpt om AI-modellen te rangschikken voor jouw specifieke behoeften, zonder dat je menselijke experts nodig hebt om te beoordelen of je je zorgen hoeft te maken over valsspelen.

Zo werkt het, uitgelegd aan de hand van eenvoudige analogieën:

1. De "Verse Test" Generator (Geen valsspelen toegestaan)

Normaal gesproken maken AI-modellen dezelfde oude tests (zoals de SATs of de GRE) die al jaren bestaan. Omdat deze tests zo populair zijn, hebben de AI-modellen de vragen waarschijnlijk gezien tijdens hun training en hebben ze de antwoorden gewoon uit het hoofd geleerd. Het is alsof een student de antwoordsleutel uit het hoofd leert in plaats van de wiskunde echt te leren.

CoEval verandert de regels. In plaats van oude vragen te gebruiken, gebruikt het een "Teacher AI" om ter plekke gloednieuwe vragen te bedenken, gebaseerd op alleen een beschrijving van jouw taak.

De Analogie: Stel je een docent voor die een wiskundetoets maakt terwijl de student in de kamer is. De student had de antwoorden niet kunnen uit het hoofd leren omdat de vragen pas op dat moment bestonden.
Het Resultaat: Het paper bewijst dat deze nieuwe vragen 100% vers zijn. Ze delen geen enkele reeks van 13 woorden met grote publieke testbanken, wat betekent dat de AI niet kan valsspelen door oude data op te roepen.

2. De "Jury" van Rechters (Diversiteit boven aantallen)

Zodra de AI-modellen deze verse vragen beantwoorden, moet er iemand zijn om ze te beoordelen. Je zou één superintelligente AI kunnen vragen om ze te beoordelen, maar dat is riskant. Die enkele rechter kan vreemde vooroordelen hebben, zoals een voorkeur voor lange antwoorden boven korte, goede antwoorden, of een voorkeur voor antwoorden die lijken op die van zijn eigen familie van modellen.

CoEval gebruikt een "Jury"-aanpak. Het verzamelt een kleine groep rechters van verschillende bedrijven (bijv. één van OpenAI, één van Anthropic, één van Google).

De Analogie: Denk aan een rechtszaal. Als je één rechter hebt die bekend staat als chagrijnig, kan het vonnis onrechtvaardig zijn. Maar als je een jury hebt van drie mensen met verschillende achtergronden, vallen hun individuele eigenaardigheden elkaar tegen. Als de ene rechter van lange antwoorden houdt en de andere ervan een hekel heeft, wordt het gemiddelde cijfer eerlijk.
De Grote Ontdekking: Het paper vond dat wie er in de jury zit belangrijker is dan hoeveel mensen erin zitten. Het toevoegen van meer rechters van hetzelfde bedrijf vergroot alleen maar hun gedeelde vooroordeel. Een kleine, diverse groep rechters is daarentegen ontzettend betrouwbaar. Sterker nog, een enkele rechter kan soms "anti-gecorreleerd" zijn (het verkeerde antwoord geven), maar een diverse jury doet dat bijna nooit.

3. De "Geen-Mens" Fabriek

Normaal gesproken heb je mensen nodig om vragen te schrijven en antwoorden te beoordelen om een goede test te bouwen. Dit is traag en duur.

De Analogie: CoEval is als een volledig geautomatiseerde fabriek. Je geeft het een blauwdruk (een beschrijving van jouw taak) en het doet automatisch:
1. Ontwerpt de testvragen.
2. Laat de AI-kandidaten de test maken.
3. Stelt de diverse jury samen om de antwoorden te beoordelen.
4. Spuugt een definitieve ranglijst uit.
De Kosten: De auteurs hebben een enorme studie uitgevoerd met bijna 8.000 evaluaties voor de prijs van een kop koffie ($5,89). Het is zo goedkoop dat je elke keer dat er een nieuw AI-model uitkomt, een nieuwe test kunt draaien.

4. Waarom dit ertoe doet

Het paper testte CoEval in drie real-world scenario's waarvoor geen "juiste" antwoorden bestonden:

Medicijninteracties: Uitzoeken of twee medicijnen met elkaar botsen.
Klinische Redenering: Het diagnosticeren van symptomen van patiënten.
Juridische Analyse: Het interpreteren van wetten.

In deze gebieden zijn er geen standaard "gouden standaarden" voor tests. CoEval slaagde erin de modellen te rangschikken en liet zien welke het beste waren voor deze specifieke taken. Het merkte zelfs op dat een kleiner, goedkoper model eigenlijk slechter was dan een grotere, iets wat een enkele bevooroordeelde rechter misschien gemist zou hebben.

De Kernboodschap

CoEval is een tool die zegt: "Vertrouw de oude, uit het hoofd geleerde tests niet. Vertrouw niet op een enkele rechter die bevooroordeeld kan zijn. Genereer in plaats daarvan een verse test voor jouw specifieke baan en laat een divers, klein team van AI-rechters deze beoordelen."

Het verandert het rommelige, dure proces van het testen van AI in een goedkoop, herhaalbaar en eerlijk proces dat elk team kan gebruiken om de juiste AI voor hun specifieke behoeften te vinden.

Technische Samenvatting: CoEval

Probleemstelling

Praktijczvoerders worden geconfronteerd met een kritieke flessenhals bij het selecteren van taalmodellen voor specifieke, aangepaste toepassingen (bijv. het samenvatten van klinische aantekeningen of het triageren van ondersteuningsverzoeken). Deze uitdaging komt voort uit twee samenvallende condities:

Afwezigheid van gelabelde data: Het handmatig opbouwen van een representatieve, taakspecifieke benchmark is traag, kostbaar en vaak onmogelijk voor nieuwe of propriëtaire domeinen.
Onbetrouwbare publieke benchmarks: Standaard statische benchmarks zijn steeds vaker gecontamineerd. Testitems lekken vaak in pretraining-corpora, waardoor hoge scores een reflectie zijn van memorisatie in plaats van generalisatie of geschiktheid voor de specifieke use case.

Bestaande oplossingen zoals statische benchmarks lijden aan rigiditeit (niet-uitbreidbaarheid), contaminatiegevoeligheid en generiekheid (mismatch in inputdistributies). Ondertussen introduceren "LLM-as-judge"-benaderingen kosten en uitbreidbaarheid, maar brengen ze nieuwe biases met zich mee, waaronder positionele bias, verbositeitsbias en zelfvoorkeur (rechters die de voorkeur geven aan outputs van hun eigen modelfamilie).

Methodologie: Het CoEval-framework

CoEval is een open-source, declaratief framework ontworig om een verse, contaminatievrije evaluatiepipeline te genereren en kandidaat-modellen te rangschikken zonder menselijke labels. Het werkt via een vijffasen-pipeline die wordt aangestuurd door één enkel configuratiebestand, waarbij drie verschillende modelrollen worden gescheiden: Teacher (Docent), Student en Judge (Rechter).

1. Rolseparatie

Teacher: Synthetiseert domeinspecifieke benchmark-items (prompts en referentieantwoorden) geconditioneerd op verklaarde doelattributen.
Student: De kandidaat-modellen die onder evaluatie staan, produceren antwoorden op de gegenereerde prompts.
Judge: Scoort de antwoorden van de student tegen een automatisch gegenereerd rubric.
Ontwerpprincipe: De set van judges is expliciet van een andere vendor-familie dan de onder test staande student. Deze structurele scheiding voorkomt dat een model zijn eigen familie beoordeelt, waardoor de zelfvoorkeurs-channel bij ontwerp wordt geëlimineerd.

2. Attribuut-gestratificeerde Generatie

In plaats van uniforme sampling, definieert CoEval een set doelattributen (bijv. moeilijkheidsgraad, onderwerp, type redenering) en stratificeert de generatie over hun kruisproduct. De sampler garandeert een minimaal aantal items per stratum ( $n_s \ge \lfloor N/|S| \rfloor$ ), wat ervoor zorgt dat edge cases en minderheidsregio's van de deployment-distributie worden gedekt. Omdat items bij elke run vers worden gesynthetiseerd vanuit de attribuutspecificatie, zijn ze structureel resistent tegen contaminatie; ze kunnen niet eerder zijn verschenen in de pretraining-data van een student.

3. Cross-Family Judge Ensemble en Aggregatie

Antwoorden worden gescoord door een panel van judges afkomstig van verschillende model-vendors (bijv. OpenAI, Anthropic, Google, open-weight modellen).

Compositie boven Grootte: Het framework stelt dat betrouwbaarheid wordt gedreven door vendor-diversiteit (compositie) in plaats van de grootte van het panel. Een groot panel van dezelfde familie versterkt gedeelde biases, terwijl een klein, divers panel deze biases neutraliseert.
Bias-annulering: Individuele judges dragen vaak biases van gemengde tekens met zich mee (bijv. de ene rechter beloont verbositeit terwijl de andere het bestraft). Het middelen van scores over een vendor-divers panel annuleert deze biases.
Aggregatie: De standaard aggregator is een ongewogen gemiddelde. CoEval biedt ook een unsupervised reliability-weighted aggregator die judges weegt op basis van hun gemiddelde overeenstemming met de consensus van het panel, waardoor uitschieters worden afgewogen zonder dat er ground truth nodig is.

Belangrijkste Bijdragen

Zelfgenererende, contaminatie-resistente Benchmarks: CoEval genereert verse, attribuut-gecontroleerde benchmarks per run, wat garandeert dat items nooit gezien zijn tijdens de pretraining van de student.
Compositie-gedreven Betrouwbaarheid: Het paper stelt vast dat de compositie van het judge-panel (vendor-diversiteit), en niet de grootte, de beslissende factor is voor betrouwbaarheid. Een klein, goed gekozen cross-family panel is betrouwbaarder dan een groot, homogeen panel.
Bias-cancellerende Aggregatie: Het framework sluit zelfvoorkeur binnen dezelfde familie structureel uit en annuleert empirisch verbositeitsbias door middel van diverse panel-aggregatie.
Herbruikbaar, Label-vrij Framework: Het biedt een declaratieve, model-agnostische pipeline die voor elk domein of modelrelease tegen lage kosten kan worden geregenereerd, waardoor statische leaderboards worden vervangen door vernieuwbare, applicatiespecifieke evaluaties.

Empirische Resultaten

Het framework werd gevalideerd via een vier-taken medium-scale studie (samenvatting, QA, code generatie, redeneren) met 7.978 evaluaties.

Ground-Truth Correlatie: Bij exact-match QA-taken (SciQ, ARC-Challenge) waar ground truth bestaat, volgen de label-vrije scores van CoEval de correctheid met een Spearman-correlatie van $\rho = 0,86$ . Het reproduceert succesvol de ware modelrangschikking (bijv. $gpt\text{-}4o\text{-}mini > gpt\text{-}3.5\text{-}turbo > llama\text{-}3.2\text{-}3b$ ).
Ensemble Betrouwbaarheid: Betrouwbaarheid (gemeten door ICC(3,k)) is niet-monotoon met de panelgrootte. Een geselecteerd twee-judge cross-family panel bereikte een ICC = 0,70, terwijl het willekeurig toevoegen van judges met een lage overeenstemming de betrouwbaarheid verminderde tot 0,40.
Judge-Choice Regret: Het selecteren van een enkele judge zonder labels is riskant; kandidaat-judges varieerden van anti-gecorreleerd ( $\rho = -0,04$ ) tot positief gecorreleerd ( $\rho = 0,31$ ), een regret van 0,35. Het cross-family ensemble is nooit anti-gecorreleerd.
Bias-annulering: Individuele judges vertoonden verbositeitsbiases variërend van $r = -0,177$ tot $r = +0,234$ . Het ensemble reduceerde de gemiddelde absolute bias met 93%, wat resulteerde in een lengte-score correlatie van $r = +0,010$ (het betrouwbaarheidsinterval bevat nul).
Contaminatie Resistentie: Door CoEval gegenereerde items vertoonden nul verbatim 13-gram overlap met vijf belangrijke publieke benchmarks. Een gecontroleerde studie toonde aan dat statische benchmarks een memoriserend 0,5B model boven een frontier model konden rangschikken, terwijl verse CoEval-items het frontier model correct hoger rangschikten.
Kosten-efficiëntie: De gehele studie van 7.978 evaluaties kostte USD 5,89 (ongeveer $0,00074 per evaluatie), wat het haalbaar maakt om dit bij elke modelrelease opnieuw uit te voeren.
Domein Case Studies: Toegepast op drie aangepaste verticale sectoren (drug-interactie, klinisch, juridisch) zonder gelabelde data, produceerde CoEval verdedigbare rangschikkingen waarbij judges ofwel unaniem instemden, ofwel genuante meningsverschillen naar boven brachten die een enkele judge verborgen zou hebben.

Betekenis en Claims

Het paper claimt dat CoEval het "geen-data, onbetrouwbare-benchmark" dilemma oplost door een vernieuwbaar, contaminatievrij en bias-gehard evaluatie-instrument te bieden. De primaire betekenis ligt in de verschuiving van het paradigma van statische, door mensen gecureerde benchmarks naar dynamische, declaratieve pipelines.

De auteurs benadrukken dat compositie boven grootte een fundamenteel ontwerpprincipe is voor LLM-judging: een divers, cross-family panel is de low-regret default die zelfvoorkeur neutraliseert en gemengde tekens-biases annuleert zonder menselijke kalibratie. Door de loop van itemgeneratie tot scoring te sluiten, zorgt CoEval ervoor dat zowel de evaluatie-items als de judges robuust zijn tegen de specifieke faalmodi (memoratie en bias) die de huidige evaluatiepraktijken teisteren. Het framework wordt gepresenteerd niet als een eenmalige benchmark, maar als een herbruikbare tool voor teams om hun eigen applicatiespecifieke leaderboards te regenereren.