🤖 machine learning

A Theoretical Framework for Statistical Evaluability of Generative Models

Dit paper introduceert een theoretisch raamwerk voor de statistische evaluatie van generatieve modellen, waarin wordt aangetoond dat Integral Probability Metrics (IPMs) betrouwbaar kunnen worden geschat uit eindige steekproeven, terwijl Rényi- en KL-divergenties dat niet kunnen vanwege hun afhankelijkheid van zeldzame gebeurtenissen.

Oorspronkelijke auteurs: Shashaank Aiyer, Yishay Mansour, Shay Moran, Han Shao

Gepubliceerd 2026-04-08

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Shashaank Aiyer, Yishay Mansour, Shay Moran, Han Shao

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een nieuwe chef-kok hebt aangenomen die fantastische gerechten kan maken. Je wilt weten of deze chef echt goed is. Hoe meet je dat?

In de wereld van kunstmatige intelligentie (AI), en dan specifiek bij generatieve modellen (zoals chatbots of beeldgeneratoren), is dit een enorm lastig probleem. Dit artikel van Shashaank Aiyer en collega's probeert precies dat vraagstuk op te lossen: Hoe kunnen we wiskundig bewijzen of een AI-model echt goed presteert, als we maar een beperkt aantal voorbeelden (data) hebben om het te testen?

Hier is een uitleg in simpele taal, met een paar creatieve vergelijkingen.

1. Het Probleem: De "Onzichtbare" Fouten

Bij traditionele AI (zoals een spamfilter) is het makkelijk: je kijkt of de mail "spam" of "geen spam" was. Als het fout is, telt dat als één foutje. Je kunt dit makkelijk tellen.

Maar bij generatieve AI (die teksten of plaatjes maakt) is het anders. De AI kan een heel mooi verhaal schrijven, maar misschien verzonnen het een feitje dat niemand in de testset heeft gezien. Of het maakt een plaatje met een rare, onmogelijke hand.

De uitdaging: Hoe meet je of de AI "echt" goed is, als je niet elke mogelijke fout kunt zien? En als je een fout meet, is die dan betrouwbaar?

2. De Twee Manieren om te Meten

De auteurs kijken naar twee soorten meetinstrumenten (metrieken):

A. De "Test-lijst" (IPMs)

Stel je voor dat je de chef laat koken en je hebt een lijst met specifieke tests:

"Is het eten warm?"
"Is het zout genoeg?"
"Ziet het er lekker uit?"

Als je een beperkte lijst hebt met duidelijke vragen (bijv. alleen ja/nee vragen), dan kun je de chef goed beoordelen. De wiskundigen zeggen: als je lijst niet te complex is, kun je met een redelijk aantal proefproeven zeker weten hoe goed de chef is.

De conclusie: Als je testvragen simpel en overzichtelijk zijn, werkt statistische evaluatie prima.

B. De "Zeldzame Ramp" (Rényi-divergenties & KL-divergentie)

Nu stel je een andere test voor: "Wat gebeurt er als er een extreem zeldzame situatie optreedt?"
Stel, de chef moet een gerecht maken dat alleen perfect is als er een heel specifieke, zeldzame kruidenmix in zit die maar één keer per jaar beschikbaar is.

Als de chef die kruiden mist, is het gerecht een ramp.
Maar als je maar 100 keer kookt, zie je die specifieke kruidenmissie misschien nooit.

De auteurs tonen aan dat metrics die gebaseerd zijn op deze "zeldzame rampen" (zoals de KL-divergentie en Rényi-divergentie) onmogelijk betrouwbaar te meten zijn met een eindige hoeveelheid data. Je kunt niet weten of de chef die ene, cruciale fout maakt, omdat je die fout simpelweg niet ziet in je testset. Het is alsof je probeert te voorspellen of er morgen een meteoriet inslaat door de afgelopen 100 dagen te bekijken.

3. De "Perplexity" (De Populaire, maar Gevaarlijke Score)

In de AI-wereld gebruiken ze vaak een maatstaf die Perplexity heet. Dit is een soort "verwarringsscore". Hoe lager, hoe beter.

De metafoor: Stel je voor dat je een gokspel speelt. Perplexity straft je enorm hard als je op één enkel moment een verkeerde gok doet, zelfs als je de rest van de tijd perfect speelt.
Het probleem: Als de AI één heel zeldzaam woord verkeerd voorspelt, explodeert de score. De auteurs laten zien dat deze score vaak misleidend is. Hij straalt een beeld uit van "perfectie" terwijl de AI misschien juist faalt bij de rare, zeldzame situaties die het belangrijkst zijn.
De les: Je kunt Perplexity niet blindelings vertrouwen. Het werkt alleen als je zeker weet dat de AI geen rare, extreme fouten maakt.

4. De Grootste Leerlessen (Samengevat)

Niet alles is meetbaar: Sommige manieren om te zeggen "deze AI is goed" (zoals het meten van zeldzame fouten) zijn wiskundig onmogelijk betrouwbaar te doen met een eindige dataset. Je ziet de fouten gewoon niet.
Hoe complexer de test, hoe moeilijker het is: Als je de AI test met heel complexe, creatieve vragen, is het moeilijker om een betrouwbaar oordeel te vellen dan met simpele ja/nee vragen.
De "Perplexity" valkuil: De populaire score die veel bedrijven gebruiken, is gevoelig voor extreme uitschieters. Hij is niet goed in het meten van de algemene kwaliteit, maar wel heel streng op de ergste fout.
De oplossing: Je moet je meetinstrumenten (tests) afstemmen op wat je wilt meten. Als je wilt weten of de AI "veilig" is, moet je testen op veiligheid, niet op een score die reageert op rare woorden.

Conclusie in het Kort

Dit artikel zegt eigenlijk: "We moeten stoppen met blindelings vertrouwen op de huidige meetlaten voor AI."

Het is alsof je een auto test door alleen te kijken of hij op een rechte weg rijdt. Dat zegt niets over hoe hij zich gedraagt in een storm of op een ijsbaan. De auteurs geven ons de wiskundige regels om te bepalen welke tests wel werken en welke tests ons een vals gevoel van veiligheid geven. Ze waarschuwen dat we voorzichtig moeten zijn met metrics die gevoelig zijn voor "zeldzame rampen", want die kunnen we met een eindige dataset simpelweg niet zien.

Probleemstelling

Statistische evaluatie van generatieve modellen (zoals taalmodellen) is fundamenteel anders en uitdagender dan in het toezicht op leerprocessen (supervised learning). In supervised learning is de prestatie (bijv. foutpercentage) goed gedefinieerd en kan deze betrouwbaar worden geschat met een eindige dataset via een testset. Bij generatieve modellen is dit echter niet het geval vanwege hun open-ended aard:

Onduidelijke metrieken: Het is niet altijd duidelijk welke metrieken geschikt zijn om de kwaliteit van een generatief model te meten.
Eindige steekproeven: Zelfs als een metriek wordt gedefinieerd, is het onzeker of deze betrouwbaar kan worden geëvalueerd op basis van een eindige steekproef uit de ware verdeling ( $q^*$ ).
Voorbeelden van mislukking:
- Perplexiteit: Deze is gebaseerd op cross-entropy. Omdat $\log q(x)$ onbeperkt kan zijn (zeldzame gebeurtenissen met zeer kleine $q(x)$ leiden tot enorme verliezen), kan perplexiteit sterk variëren en de ware cross-entropy systematisch verkeerd weergeven, zelfs bij grote datasets.
- Totale Variatie Afstand (TV): Hoewel TV een natuurlijke maatstaf is voor de afstand tussen verdelingen, is deze niet schatbaar als het domein enorm groot is; men kan niet bepalen welk model dichter bij de waarheid ligt, zelfs niet met veel data.

De centrale vraag van het paper is: Kan de prestatie van generatieve modellen statistisch worden geëvalueerd vanuit een eindige steekproef?

Methodologie en Kader

De auteurs introduceren een theoretisch kader om evalueerbaarheid (evaluability) formeel te definiëren. Ze onderscheiden twee niveaus van evalueerbaarheid voor een evaluatiemetriek $f$ :

Sterk evalueerbaar (Strongly evaluable): De metriek kan met willekeurige precisie worden geëvalueerd vanuit een eindige steekproef. Dit betekent dat een scorefunctie $s$ de ware waarde van $f$ willekeurig nauwkeurig benadert.
Zwak evalueerbaar (Weakly evaluable): De metriek kan worden geëvalueerd met multiplicatieve en additieve benaderingsfouten. Dit betekent dat als model $q_1$ een betere score krijgt dan $q_2$ , de ware metriek van $q_1$ binnen een factor $c$ en een kleine $\epsilon$ van $q_2$ ligt.

Het paper analyseert twee hoofdcatagorieën van metrieken:

Op tests gebaseerde metrieken (Test-based metrics): Inclusief Integral Probability Metrics (IPMs) en vaste statistische tests.
Rényi-divergenties: Inclusief KL-divergentie en de Coverage Profile.

Belangrijkste Bijdragen en Resultaten

1. Op Tests Gebaseerde Metrieken (IPMs)

IPMs meten het maximale verschil in verwachte testresultaten tussen de ware verdeling en het model, over een klasse van testfuncties $\mathcal{F}$ .

Binair geval (VC-dimensie): Er is een strikte dichotomie:
- Als de testklasse $\mathcal{F}$ een eindige VC-dimensie heeft, is de IPM sterk evalueerbaar.
- Als de VC-dimensie oneindig is, is de IPM niet sterk evalueerbaar, maar wel 3-zwak evalueerbaar. Dit betekent dat men modellen nog steeds grof kan rangschikken, maar niet met hoge precisie.
Reële geval (Fat-shattering dimensie): Voor begrenste reële testfuncties geldt een vergelijkbaar resultaat gebaseerd op de $\gamma$ -fat-shattering dimensie. Als deze dimensie voor alle $\gamma$ eindig is, is de IPM sterk evalueerbaar.
Sample Complexity: De auteurs tonen aan dat er geen "eindige taxonomie" van sample-complexiteit bestaat voor IPMs. Anders dan in supervised learning (waar VC-dimensie de sample-complexiteit bepaalt), kunnen estimable IPMs willekeurig complexe sample-vereisten hebben die niet door een enkele parameter worden vastgelegd.

2. Rényi-Divergenties en Coverage Profile

De auteurs tonen negatieve resultaten voor metrieken die direct verdelingsgelijkenis meten:

$\alpha$ -Rényi divergentie ( $\alpha > 1$ ) en KL-divergentie: Deze zijn niet zwak evalueerbaar. Hun waarden kunnen kritisch worden bepaald door zeldzame gebeurtenissen (rare events) die in een eindige steekproef niet voorkomen. Als een model zelfs maar één punt heeft met verwaarloosbare massa ten opzichte van de waarheid, kan de divergentie onbeperkt worden.
Coverage Profile: Een poging om Rényi-divergenties te "trunceren" (afkappen) om zeldzame gebeurtenissen te negeren, leidt ook niet tot evalueerbaarheid. De metriek is discontinu rond de drempelwaarde; modellen die net onder de drempel vallen, worden niet bestraft, terwijl modellen die er net boven zitten, wel worden bestraft, wat leidt tot onbetrouwbare ranking.

3. Analyse van Perplexiteit (NLL-score)

Perplexiteit (of negatieve log-likelihood, NLL) is een veelgebruikte score, maar de auteurs tonen aan dat deze fundamenteel misaligneert met veel distributie-metrieken:

Misalignement: NLL is extreem gevoelig voor het "worst-case" scenario (één punt met lage waarschijnlijkheid). Metrieken zoals TV-afstand of beperkte KL-divergentie zijn robuust tegen kleine massa's.
Resultaat: NLL kan TV-afstand en $\beta$ -beperkte KL-divergentie niet zwak evalueren zonder extra aannames.
Voorwaarde voor succes: NLL kan alleen TV-afstand evalueren onder de strenge aanname dat de verhouding tussen de modelverdeling en de ware verdeling begrensd is ( $\Delta$ -closeness). Zonder deze aanname faalt de ranking.

Significantie en Conclusie

Dit paper biedt een fundamentele theoretische basis voor het begrijpen van de beperkingen van de huidige evaluatiepraktijken bij generatieve AI:

Fundamentele Grenzen: Het bewijst dat bepaalde veelgebruikte metrieken (zoals KL-divergentie en Rényi-divergenties) principieel niet betrouwbaar kunnen worden geschat vanuit eindige data, ongeacht de grootte van de dataset, vanwege de invloed van zeldzame gebeurtenissen.
Rol van Complexiteit: Voor test-gebaseerde metrieken (IPMs) is de evalueerbaarheid direct gekoppeld aan de statistische complexiteit (VC-dimensie, fat-shattering) van de testklasse.
Waarschuwing voor Perplexiteit: De studie ondermijnt het blind vertrouwen in perplexiteit als een universele maatstaf voor modelkwaliteit. Perplexiteit is niet goed uitgelijnd met de geometrische eigenschappen van veel relevante distributiemetrieken en kan modellen verkeerd rangschikken.
Richting voor de Toekomst: Het paper benadrukt dat voor betrouwbare evaluatie de scorefunctie moet "alignen" met de meetbare eigenschappen van de gewenste metriek. Als een metriek tolerant is voor zeldzame fouten, mag de scorefunctie deze niet versterken.

Kortom, het paper verschuift de discussie van "welke metriek gebruiken we?" naar "is deze metriek überhaupt statistisch evalueerbaar vanuit de data die we hebben?", en biedt wiskundige criteria om dit te bepalen.