🤖 machine learning

CELEUS: Certifiable and Efficient LLM Evaluation via E-Processes

Dit artikel introduceert CELEUS, een framework dat E-processen benut om certificeerbare, op elk moment geldige betrouwbaarheidsintervallen te bieden voor LLM-evaluatie, terwijl het het aantal vereiste monsters aanzienlijk vermindert door onzekerheidsgestuurde sampling en surrogaat-ondersteunde benaderingen.

Oorspronkelijke auteurs: Zhijian Zhou, Zesheng Ye, Zhaorun Chen, Bo Li, Feng Liu

Gepubliceerd 2026-06-23

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Zhijian Zhou, Zesheng Ye, Zhaorun Chen, Bo Li, Feng Liu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme pot hebt met 100.000 knikkers. Sommige zijn rood (dit staat voor een fout die de AI heeft gemaakt) en sommige zijn blauw (dit staat voor een correct antwoord). Je wilt het exacte percentage rode knikkers in de hele pot weten om te beslissen of de AI goed genoeg is om in de echte wereld te gebruiken.

Het probleem? Elke knikker controleren is traag, duur en vereist soms zelfs een mens om ernaar te kijken. Als je gewoon een handvol pakt en een gokje waagt, heb je misschien geluk of pech, maar je weet ook niet hoe dicht je schatting bij de waarheid ligt.

Dit artikel introduceert CELEUS, een slimme, wiskundig gegarandeerde manier om dat percentage snel en veilig te achterhalen.

Zo werkt het, met behulp van eenvoudige analogieën:

1. Het Probleem: "Stop en Ga" versus "Blijven Controleren"

Traditioneel gezien, om zeker van je zaak te zijn, controleer je misschien een vast aantal knikkers (bijvoorbeeld 1.000) en stop je dan. Maar wat als de eerste 1.000 allemaal blauw waren? Dan zou je denken dat de pot perfect is, maar je hebt misschien gewoon geluk gehad.

Sommige nieuwere methoden proberen knikkers één voor één te controleren en te stoppen zodra ze "zeker genoeg" zijn. Echter, het artikel stelt dat deze methoden een fout hebben: als je je voortgang blijft controleren en besluit te stoppen op basis van wat je op dit moment ziet, kun je jezelf per ongeluk voorliegen door te denken dat je zekerder bent dan je in werkelijkheid bent. Het is als een gokker die steeds zijn wedstrategie aanpast op basis van de laatste paar overwinningen; uiteindelijk denkt hij misschien dat hij een "gegarandeerd" systeem heeft, maar hij is in werkelijkheid gewoon gelukkig geweest.

CELEUS lost dit op. Het biedt een "certificeerbare" garantie. Ongeacht wanneer je besluit te stoppen, garandeert de wiskunde dat je antwoord binnen een specifieke marge van de waarheid ligt (zoals zeggen: "We zijn voor 95% zeker dat het aantal rode knikkers tussen de 10% en 12% ligt").

2. Het Geheim: De "Glazen Bol" (Surrogaten)

Het controleren van een knikker is duur (zoals het vragen aan een mens om een essay te beoordelen). CELEUS gebruikt een truc om geld te besparen.

Stel je voor dat je een Glazen Bol hebt (een "surrogaatmodel"). Het is een kleinere, goedkopere AI die naar een knikker kijkt en raadt of deze rood of blauw is.

De keerzijde: De Glazen Bol is niet perfect. Soms raadt hij het fout.
De CELEUS-strategie: In plaats van elke knikker met een dure mens te controleren, vraagt CELEUS de Glazen Bol eerst om voor alle knikkers een gok te doen.
- Als de Glazen Bol zeer zelfverzekerd en consistent is, vertrouwt CELEUS erop en verspilt het geen tijd aan het controleren van die knikker met een mens.
- Als de Glazen Bol verward is of de gok riskant lijkt, zegt CELEUS: "Hé, ik moet deze met de mens controleren om er zeker van te zijn."

Dit wordt Surrogate-Assisted Approximation genoemd. Het stelt het systeem in staat om de dure controles op de makkelijke knikkers over te slaan en zich te concentreren op de lastige exemplaren.

3. De "Onzekerheidsdetective" (Sampling)

CELEUS kiest niet zomaar willekeurig knikkers uit. Het gedraagt zich als een detective die op zoek is naar de meest verwarrende aanwijzingen.

Het maakt gebruik van Uncertainty-Guided Sampling. Als de Glazen Bol zegt dat een knikker "Rood" is, maar de wiskunde suggereert dat het eigenlijk "Blauw" zou kunnen zijn (een grote onenigheid), geeft CELEUS prioriteit aan het controleren van die specifieke knikker met de mens. Het negeert de knikkers waar iedereen het over eens is. Dit is als een docent die een stapel toetsen nakijkt: ze besteden de meeste tijd aan de essays die moeilijk te beoordelen zijn, niet aan de essays die overduidelijk perfect of overduidelijk slecht zijn.

4. Het "Magische Grootboek" (E-Processen)

Hoe weet CELEUS dat het niet heeft valsgespeeld door naar de gokken van de Glazen Bol te kijken?

Het gebruikt een wiskundig hulpmiddel genaamd een E-Process. Denk aan dit als een magisch grootboek of een "eerlijkheidsmeter".

Elke keer dat CELEUS een knikker controleert, wordt het grootboek bijgewerkt.
Het grootboek is zo ontworpen dat als het systeem liegt of vals speelt (door te vroeg te stoppen of slechte gokken te gebruiken), de "eerlijkheidsmeter" een fluit zal laten horen en een rood vlaggetje zal tonen.
Omdat het grootboek op deze manier is gebouwd, kan het systeem zijn betrouwbaarheidsinterval continu bijwerken zonder ooit de regels te breken. Het is als een rechter die een rechtszaak op elk gewenst moment kan pauzeren, naar het verzamelde bewijs kan kijken en kan zeggen: "We hebben genoeg om 95% zeker te zijn," zonder dat de rechtszaak ooit onrechtvaardig wordt.

De Resultaten: Sneller en Goedkoper

Het artikel testte dit op echte AI-modellen (zoals Llama en DeepSeek) met behulp van standaard benchmarks (zoals sentimentanalyse en algemene kennisvragen).

De claim: CELEUS bereikte hetzelfde niveau van zekerheid als oudere methoden, maar gebruikte 54% tot 62% minder menselijke controles.
De analogie: Als een oude methode een mens nodig had om 10.000 essays te laten beoordelen om zeker te zijn, had CELEUS er slechts ongeveer 4.000 nodig, omdat het de "Glazen Bol" gebruikte om de rest af te handelen.
De garantie: Ondanks dat het minder essays controleerde, bewijst het artikel wiskundig dat de uiteindelijke score nog steeds betrouwbaar is en niet "breekt" alleen omdat ze eerder stopten.

Samenvatting

CELEUS is een nieuwe manier om AI te testen die:

Geld bespaart door een goedkope "Glazen Bol" (surrogaat) te gebruiken om de antwoorden voor de meeste items te raden.
Efficiëntie focust door alleen mensen te vragen om de items te controleren waar de Glazen Bol van in de war is.
Veiligheid garandeert door een speciaal wiskundig "Grootboek" (E-Process) te gebruiken dat ervoor zorgt dat de resultaten accuraat zijn, ongeacht wanneer je besluit te stoppen met controleren.

Het stelt onderzoekers in staat om te zeggen: "We zijn statistisch zeker dat deze AI goed is," zonder dat ze tijd en geld hoeven te verspillen aan het controleren van elk afzonderlijk voorbeeld.

Technische Samenvatting: CELEUS

Probleemstelling

De evaluatie van Large Language Models (LLM's) leunt steeds vaker op sequentiële curatie van samples om prestatie-indicatoren te schatten. Echter, standaard evaluatiepraktijken kampen met een kritieke kloof tussen theoretische strengheid en praktische toepassing. Bestaande methoden die betrouwbaarheidsintervallen (CI's) sequentieel bijwerken, falen vaak in het zijn van anytime-valid. Dit betekent dat wanneer een evaluator herhaaldelijk CI's bijwerkt en deze gebruikt om te beslissen wanneer gestopt moet worden (bijv. wanneer de breedte van het interval een doelprecisie bereikt), de geclaimde dekking waarschijnlijkheid (bijv. 95%) kan falen door "double dipping"—het gebruik van dezelfde data om zowel de evaluatiestrategie te selecteren als de onzekerheid te kwantificeren. Bovendien garandeert het simpelweg verzamelen van meer samples niet dat de schatting nauwkeurig genoeg is voor besluitvorming, waardoor er geen statistisch onderbouwd stopcriterium overblijft.

Huidige benaderingen zoals Cer-Eval proberen dit aan te pakken via adaptieve partitionering, maar vertrouwen op vaste-partitie-aannames die niet standhouden wanneer partities adaptief van de data worden geleerd, wat kan leiden tot verlies van dekking. Daarnaast wordt efficiënte evaluatie gehinderd door de hoge kosten van het verkrijgen van grondwaarheid-labels of menselijke oordelen, wat strategieën noodzakelijk maakt die het aantal geëvalueerde samples minimaliseren terwijl de statistische validiteit behouden blijft.

Methodologie

Het artikel stelt CELEUS voor (Certifiable and Efficient LLM Evaluation via E-Processes), een framework dat de kloof tussen theoretische strikte garanties en praktische efficiëntie overbrugt door gebruik te maken van E-processes.

Kernframework

Anytime-Valid Betrouwbaarheidsintervallen: CELEUS construeert CI's met behulp van E-processes, die garanties bieden die standhouden bij elke stoppertijd (stopping time). In tegen tegenstelling tot traditionele methoden, rusten E-processes enkel op de aanname dat evaluatiescores begrensd zijn (gewaarborgd via normalisatie of clipping), wat ze robuust maakt tegen adaptieve stopregels.
Sequentieel Procedure: De methode werkt op een eindige datapool $D_N$ . In elke ronde $t$ selecteert het een niet-geëvalueerd sample, observeert de werkelijke risico, en werkt de CI bij. Het proces stopt wanneer de CI-breedte een doelprecisie $\epsilon$ bereikt.

Belangrijke Technische Componenten

Om efficiëntie en validiteit onder niet-uniforme sampling te waarborgen, construeert CELEUS inferentiële signalen met behulp van twee primaire ingrediënten:

Onzekerheid-gestuurde Sampling: In plaats van uniforme random sampling, geeft CELEUS prioriteit aan samples die naar verwachting de schattingsvariantie zullen verminderen. De sampling-waarschijnlijkheid $q_t$ is ontworpen om proportioneel te zijn aan de grootte van het verschil tussen het geobserveerde risico en een surrogaatscore. Dit komt overeen met de variantie-optimale samplingregel die theoretisch is afgeleid.
Surrogaat-ondersteunde Approximaties: Voor niet-geëvalueerde samples gebruikt CELEUS scores van een kleiner, vooraf getraind surrogaatmodel (bijv. een 7–8B model) om het werkelijke risico te benaderen. Dit stelt het framework in staat om informatie uit de volledige pool te extraheren zonder elk sample met het doelmodel te hoeven evalueren.

Signaalconstructie

Het framework construeert een per-ronde signaal $\hat{S}_t$ dat conditioneel onbevooroordeeld is voor het risico van de eindige pool $R_N$ . Het signaal combineert:

Een surrogaat-voltooide schatting van het risico van de pool (met gebruikte risico's voor geëvalueerde samples en surrogaatscores voor de rest).
Een inverse-probability-weighted correctie voor het residu van het nieuw geëvalueerde sample (het verschil tussen het werkelijke risico en de surrogaatscore).

Deze conditionele onbevooroordeeldheid is het centrale mechanisme dat de constructie van valide E-processes mogelijk maakt. Het framework tilt de CI vervolgens van het risico van de eindige pool $R_N$ naar het populatierisico $R$ met behulp van een Hoeffding-stijl correctie, die afhankelijk is van de volledige poolgrootte $N$ .

Theoretische Garanties

Anytime-Valid Dekking: De resulterende CI's dekken het werkelijke populatierisico met een waarschijnlijkheid van ten minste $1-\alpha$ bij elke stoppertijd.
Shrinkage Rate: De breedte van de CI's krimpt met een bijna-parametrische snelheid van $O(\sqrt{\log t \log \log t / t})$ , exclusief logaritmische factoren.
Variantiereductie: Het artikel bewijst dat de voorgestelde onzekerheid-gestuurde sampling en surrogaat-assistentie de conditionele variantie van de signalen verminderen, wat de krimp van de betrouwbaarheidsintervallen direct versnelt.

Belangrijkste Bijdragen

Overbruggen van de Kloof tussen Rigor en Praktijk: CELEUS biedt het eerste framework voor LLM-evaluatie dat zowel statistisch rigoureus (anytime-valid) als praktisch efficiënt is, waarmee het de dekking-fouten van bestaande adaptieve methoden zoals Cer-Eval oplost.
Nieuwe Signaalconstructie: Het artikel introduceert een conditioneel onbevooroordeigd signaal dat surrogaat-ondersteunde approximaties integreert met inverse-probability weighting, wat de constructie van valide E-processes mogelijk maakt onder niet-uniforme, adaptieve sampling.
Theoretische Analyse: De auteurs leveren bewijzen voor de onbevooroordeeldheid van de estimator, de validiteit van de anytime-valid CI's, en de variantie-optimale eigenschappen van hun samplingstrategie. Ze karakteriseren de convergentiesnelheid van de CI-breedte.
Empirische Validatie: Uit uitgebreide experimenten blijkt dat CELEUS de doelprecisie bereikt met 54–62% minder geëvalueerde samples dan baselines (zoals uniforme sampling met E-processes), terwijl de nominale dekking behouden blijft. Het gebruik van kleine surrogaatmodellen (7–8B parameters) zonder taakspecifieke fine-tuning verbetert de efficiëntie bovendien met een extra 10–23% vergeleken met de variant zonder surrogaat.

Resultaten

Experimenten werden uitgevoerd op drie benchmarks (SST-2, AG News, MMLU) met diverse doelmodellen (bijv. Llama-3-70B, DeepSeek-67B, Mixtral-8×7B) en surrogaat-doelparen.

Dekking: In diagnostische settings waar Cer-Eval faalde om dekking te handhaven (miscoveringspercentage van 16,1% versus nominaal 5%), behielden CELEUS en andere E-process-gebaseerde methoden miscoveringspercentages onder het nominale niveau (0,021–0,030).
Efficiëntie: CELEUS bereikte de doelprecisie ( $\epsilon=0,05$ ) met aanzienlijk minder labels. Op MMLU vereiste het bijvoorbeeld 3.242 samples vergeleken met 8.144 voor de baseline (EVALUE), een reductie van 60%.
Impact van Surrogaat: De surrogaat-ondersteunde variant presteerde consequent beter dan de versie zonder surrogaten, wat aantoont dat het benutten van kleinere pre-trained modellen de variantie van het schattingssignaal effectief vermindert.

Betekenis en Claims

Het artikel claimt dat CELEUS een statistisch onderbouwde criterium biedt voor het besluit wanneer voldoende samples zijn geëvalueerd, waarbij men verder gaat dan eenvoudige punt-schattingen naar gecertificeerde betrouwbaarheidsintervallen. Door anytime-validity te garanderen, stelt het evaluatoren in staat om voortgang te monitoren en vroegtijdig te stoppen zonder de Type I-foutratio op te blazen.

De auteurs benadrukken dat hun methode bijzonder waardevol is in scenario's waar evaluatie afhankelijk is van dure menselijke annotatie of sterke LLM-judges, omdat het het aantal dergelijke evaluaties drastisch vermindert. Ze merken op dat hoewel de methode de statistische onzekerheid in de evaluatie aanpakt, het andere deployment-risico's (bijv. veiligheid, bias) niet oplost, noch het garandeert dat de benchmark zelf representatief is voor de werkelijkheid. De computationele kosten van surrogaat-scoring worden erkend, maar worden als verwaarloosbaar beschouwd vergeleken met de besparingen door het verminderen van het aantal doelmodel-evaluaties.

Toekomstig werk dat door de auteurs wordt gesuggereerd, omvat het uitbreiden van het framework naar evaluatiescenario's die zich bewust zijn van distributieverschuivingen (distribution-shift-aware).