🤖 AI

Estimating Uncertainty in Classifier Performance with Applications to Large Language Models and Nested Data

Dit artikel evalueert methoden voor betrouwbaarheidsintervallen voor prestatie-indicatoren van classificatie onder omstandigheden die typerend zijn voor tekstclassificatie in de sociale wetenschappen — zoals kleine steekproefgroottes en genestelde data — waarbij wordt aangetoond dat standaardbenaderingen vaak onnauwkeurige dekking opleveren, terwijl superieure alternatieven zoals Agresti-Coull, Wilson en hiërarchisch bootstrappen worden aanbevolen om de transparantie en validatie in machine learning-toepassingen te verbeteren.

Oorspronkelijke auteurs: Kylie Anglin

Gepubliceerd 2026-06-26

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Kylie Anglin

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een chef-kok bent die zojuist een nieuw recept heeft uitgevonden voor de "Perfecte Chocoladetaart". Je wilt de wereld vertellen hoe goed deze is. Je zegt niet alleen: "Hij is 90% heerlijk." Je moet het bewijzen. Daarom nodig je 20 mensen uit om de taart te proeven. 18 van hen zeggen: "Ja, dit is geweldig!"

In de wereld van computerwetenschappen en Large Language Models (LLM's) is dit precies wat onderzoekers doen. Ze trainen computers om tekst te lezen en deze in categorieën in te delen (zoals "boos", "blij" of "spam"). Om te bewijzen dat hun computer slim is, laten ze de computer een steekproef van tekst beoordelen die door mensen al is gegradeerd, en ze berekenen een score, zoals "Recall" (hoeveel van de "boze" teksten heeft de computer gevonden?).

Het Probleem: Het "Gokspelletje" van Zelfvertrouwen
Het artikel betoogt dat onderzoekers momenteel een gevaarlijk "Gokspelletje" spelen. Ze rapporteren hun score (bijv. "90% nauwkeurigheid!"), maar ze rapporteren zelden hoe zeker ze zijn van dat getal.

Denk aan een weersvoorspelling. Als een meteoroloog zegt: "Er is 90% kans op regen," dan is dat nuttig. Maar als ze alleen maar zeggen: "Het gaat regenen," zonder te vertellen of dat gebaseerd is op een satellietbeeld of een gok, kun je hen niet vertrouwen.

In dit artikel zegt de auteur, Kylie Anglin, dat wanneer onderzoekers kleine groepen mensen gebruiken om hun computers te testen, of wanneer de "regen" (de specifieke tekst waar ze naar zoeken) heel zeldzaam is, de standaardmanieren om te berekenen "hoe zeker we zijn" (wat betrouwbaarheidsintervallen wordt genoemd) vaak kapot zijn. Ze zijn als een liniaal die onvoorspelbaar krimpt en uitrekt.

De "Kapotte Linialen" (Oude Methoden)
Het artikel test verschillende manieren om deze zekerheid te meten. Het stelt vast dat de twee meest gebruikte methoden van vandaag de dag lijken op het gebruik van een liniaal gemaakt van rubber:

Het Wald-interval: Dit is de "schoolboekmethode". Het werkt prima als je een enorme menigte hebt en gemiddelde resultaten. Maar als je een kleine groep hebt of een zeer hoge score (zoals 95%), krimpt deze liniaal te veel. Het vertelt je: "We zijn 95% zeker dat de score tussen 94% en 96% ligt," terwijl in werkelijkheid de echte score ergens tussen de 80% en 100% kan liggen. Het geeft een vals gevoel van precisie.
De Basis Bootstrap: Dit is een methode waarbij je de experiment op duizenden keren simuleert op een computer om te zien wat er gebeurt. Het artikel stelt vast dat de standaardversie hiervan ook "wiebelig" is en vaak het risico onderschat, vooral bij kleine groepen.

De "Betere Linialen" (Nieuwe Aanbevelingen)
Het artikel suggereert om die rubberen linialen te vervangen door stevigere linialen die niet zo uitrekken.

Voor Onafhankelijke Teksten (De "Solo" Test): Als elke tekst van een ander persoon komt en volledig uniek is, raadt de auteur de Agresti-Coull-methode aan. Denk hierbij aan het toevoegen van een klein beetje "veiligheidsbuffer" aan je berekening. Het is eenvoudig, makkelijk te berekenen en het voorkomt dat de liniaal te veel krimpt.
Voor Lastige Metrieken (Zoals F1): Sommige scores zijn complexe combinaties van verschillende zaken (zoals de F1-score). Je kunt niet de eenvoudige formules voor deze scores gebruiken. De auteur stelt een nieuwe truc voor genaamd Pseudo-Count Regularization. Stel je voor dat je een taart bakt, maar je bent bezorgd dat je niet genoeg ingrediënten hebt. Je voegt een "geest-ingrediënt" toe (een nep-ei en een nep-kop meel) aan je mengsel voordat je begint. Dit stabiliseert het recept, zodat je eindresultaat niet instort als je slechts een paar echte ingrediënten hebt. Deze methode maakt de computersimulaties veel betrouwbaarder.

Het "Echochamber"-Probleem (Geneste Data)
Hier wordt het lastig. In het echte leven schrijven mensen niet slechts één zin; ze schrijven er veel. Een therapeut schrijft misschien 30 aantekeningen; een student schrijft misschien 20 essays. Deze teksten zijn "genest" binnen de persoon. Ze zijn niet onafhankelijk; ze delen dezelfde stem, stijl en eigenaardigheden.

Deze teksten zijn niet onafhankelijk; ze delen dezelfde stem, stijl en eigenaardigheden.

Het artikel legt uit dat als je 30 aantekeningen van één persoon behandelt alsof het 30 aantekeningen van 30 verschillende mensen zijn, je bedriegt. Je bedriegt jezelf door te denken dat je meer data hebt dan je in werkelijkheid hebt. Het is alsof je één vriend 30 keer je taart laat proeven en dat telt als 30 verschillende meningen. Je krijgt niet 30 meningen; je krijgt één mening die 30 keer wordt herhaald.

Wanneer je dit "echochamber"-effect negeert:

Worden je betrouwbaarheidsintervallen te smal. Je denkt dat je 95% zeker bent, maar je bent misschien slechts 65% zeker.
De Oplossing: Het artikel stelt twee belangrijke manieren voor om dit te herstellen:
1. Pas de Wiskunde Aan: Gebruik een formule die je "effectieve steekproefomvang" aanpast om rekening te houden met het feit dat de teksten aan elkaar gerelateerd zijn. Het is alsof je zegt: "We hebben 30 aantekeningen, maar omdat ze allemaal van dezelfde persoon zijn, tellen ze slechts als 10 onafhankelijke meningen."
2. De Hiërarchische Bootstrap: In plaats van alleen individuele aantekeningen rond te schudden in een computersimulatie, schud je eerst de mensen door elkaar, en daarna de aantekeningen binnen hen. Dit respecteert het feit dat de aantekeningen bij een specifiek persoon horen.

De Grote Conclusie
De belangrijkste boodschap van het artikel is een oproep tot eerlijkheid in de rapportage.

Rapporteer niet alleen de score. Als je zegt dat je computer 90% nauwkeurig is, moet je ook zeggen: "We zijn 95% zeker dat het echte getal tussen X en Y ligt."
Gebruik de juiste instrumenten. Gebruik niet de oude, rubberen linialen (Wald of basis Bootstrap) voor kleine of hoogpresterende datasets. Gebruik de stevigere varianten (Agresti-Coull of de nieuwe Pseudo-Count methode).
Let op clusters. Als je data afkomstig is van dezelfde mensen die meerdere keren schrijven, moet je je wiskunde aanpassen om overmoed te voorkomen.

Door deze betere methoden te gebruiken, kunnen onderzoekers stoppen met pretenderen dat ze meer weten dan ze doen. Het helpt hen te beseffen wanneer ze meer data moeten verzamelen (meer mensen, meer teksten) om een echt betrouwbaar resultaat te krijgen, in plaats van alleen maar te hopen dat hun kleine steekproefomvang voldoende is.

Technische Samenvatting: Het schatten van onzekerheid in de prestaties van classificatie met toepassingen voor Large Language Models en geneste data

Probleemstelling
Onderzoekers maken steeds vaker gebruik van tekstclassificatie — via gesuperviseerde modellen of Large Language Models (LLM's) — om constructen uit natuurlijke taalgegevens te extraheren. Hoewel prestatiemetrieken zoals recall, precisie en F1 routinematig worden gerapporteerd om deze modellen te valideren, worden ze vaak gepresenteerd als puntinschattingen zonder begeleidende maten van statistische onzekerheid (bijv. betrouwbaarheidsintervallen of standaardfouten). Wanneer onzekerheid wordt gerapporteerd, zijn de gebruikte methoden vaak ongepast voor de specifieke condities die typerend zijn voor tekstclassificatie in de sociale wetenschappen: kleine tot matige steekproefomvang, zeldzame constructen (wat leidt tot een laag aantal positieve gevallen), hoge prestatieniveaus (veelvoorkomend bij LLM's) en geneste datastructuren (teksten geclusterd binnen individuen). Standaardmethoden, zoals het Wald-interval en de basis percentile bootstrap, blijken onjuiste dekking te leveren, waarbij ze vaak aanzienlijk onder het nominale niveau van 95% liggen, vooral wanneer de steekproefomvang klein is of de proporties extreem zijn. Bovendien gaan standaard procedures voor intervalestimatie uit van onafhankelijke en identiek verdeelde (i.i.d.) waarnemingen, een aanname die wordt geschonden wanneer teksten genest zijn binnen individuen, wat leidt tot een onderschatting van de onzekerheid en te nauwe betrouwbaarheidsintervallen.

Methodologie
Het artikel maakt gebruik van een reeks simulatiestudies om de dekking en breedte van verschillende betrouwbaarheidsintervalmethoden te evalueren onder condities die typerend zijn voor tekstclassificatie.

Simulaties met onafhankelijke data: De auteurs simuleren binomiale proporties ( $p$ ) variërend van 0,5 tot 0,95 en steekproefomvang ( $n$ ) van 10 tot 500. Ze vergelijken analytische intervallen (Wald, Wilson, Agresti-Coull, Clopper-Pearson) met gebootstrapte intervallen (percentile, BCa, en een nieuwe pseudo-count geregulariseerde bootstrap).
- Nieuwe methode: Een "pseudo-count geregulariseerde bootstrap" wordt voorgesteld. Dit houdt in dat de oorspronkelijke steekproef wordt aangevuld met pseudo-observaties (bijv. het toevoegen van één succes en één mislukking voor proporties, of het toevoegen van pseudo-observaties aan elk kwadrant van de confusion matrix voor F1) voordat er wordt geresampled. Dit bootst het gedrag van het analytische Agresti-Coull interval na binnen een bootstrap-framework.
- F1 Evaluatie: Specifieke simulaties beoordelen de F1-score dekking door de ware precisie en recall te variëren over ongebalanceerde populaties (prevalentie = 0,10).
Simulaties met geneste data: Om niet-onafhankelijkheid aan te pakken, simuleren de auteurs hiërarchische data waarbij teksten genest zijn binnen individuen.
- Ontwerp: Een populatie van 2000 individuen, die elk 60 teksten produceren, wordt gegenereerd. De bemonsteringsschema's variëren tussen een "kleine corpus" (gemiddeld ~3 teksten per individu) en een "matig corpus" (gemiddeld ~30 teksten per individu).
- Geteste methoden: De studie vergelijkt ongecorrigeerde analytische intervallen, analytische intervallen gecorrigeerd voor effectieve steekproefomvang ( $n_{eff}$ ) en design vrijheidsgraden ( $df_{design}$ ), en gebootstrapte intervallen (cluster bootstrap versus hiërarchische bootstrap).
- Correcties: De studie test correcties met behulp van de design effect (DEFF) gebaseerd op de intra-class correlatie (ICC) en het gebruik van $t$ -kwantielen in plaats van $z$ -kwantielen om rekening te houden met de verminderde vrijheidsgraden.

Kernbijdragen

Systematische Vergelijking: Het artikel biedt een systematische evaluatie van betrouwbaarheidsintervaldekking die specifelijk is afgestemd op de hoge prestatie-, kleine steekproef- en geneste data-condities die gangbaar zijn in de sociale wetenschappelijke tekstclassificatie.
Identificatie van Standaard Falen: Het toont aan dat het Wald-interval en de basis percentile bootstrap de minst accurate methoden zijn, en vaak de laagste dekkingspercentages van 0,40–0,66 produceren in scenario's met kleine steekproeven en hoge prestaties (bijv. $p=0,95$ ).
Nieuwe Regularisatie: De auteurs introduceren en valideren een pseudo-count geregulariseerde bootstrap. Deze methode verbetert de dekking voor zowel proporties als niet-proportionele metrieken (zoals F1) in kleine steekproeven en hoge prestatie-regimes, waarmee het grillige gedrag van standaard bootstrapping wordt aangepakt.
Guidance voor Geneste Data: De studie verduidelijkt dat voor geneste data het simpelweg vergroten van het aantal teksten onvoldoende is; aanpassingen voor effectieve steekproefomvang en design vrijheidsgraden zijn noodzakelijk. Het vergelijkt cluster versus hiërarchische bootstrapping en stelt vast dat hiërarchische bootstrapping over het algemeen nauwkeuriger is, maar te conservatief kan zijn wanneer individuen zeer weinig teksten produceren.
Steekproefomvang Planning: Het artikel biedt tabellen en visualisaties die de relatie tussen steekproefomvang, prestatieniveau en de breedte van het betrouwbaarheidsinterval illustreren, waarbij de hoge kosten worden benadrukt voor het bereiken van smalle intervallen wanneer de prestaties hoog zijn of de steekproeven klein zijn.

Resultaten

Onafhankelijke Data: De Agresti-Coull, Wilson en Clopper-Pearson analytische intervallen bereiken consistent een dekking nabij of boven het nominale niveau van 0,95, zelfs met kleine steekproeven. De pseudo-count geregulariseerde bootstrap presteert vergelijkbaar goed voor proporties en is de enige robuuste optie voor F1-scores in kleine steekproeven. De Wald en de basis percentile bootstrap vertonen consequent een te lage dekking.
Geneste Data: Ongecorrigeerde intervallen (die teksten als onafhankelijk behandelen) vertonen een ernstige onderdekking (bijv. ~65% dekking wanneer 95% verwacht wordt) wanneer teksten genest zijn.
- Correcties: Intervallen gecorrigeerd voor $n_{eff}$ en $df_{design}$ (specifiek door de Agresti-Coull of Wilson formules met deze aanpassingen te gebruiken) bieden een accurate dekking.
- Bootstrap Prestaties: De pseudo-count geregulariseerde hiërarchische bootstrap biedt een accurate dekking onder diverse condities. De cluster bootstrap is nauwkeuriger (smallere intervallen) maar loopt het risico op onderdekking, vooral wanneer het aantal teksten per individu groot is (~30) en het aantal individuen klein is.
Steekproefomvang Gevoeligheid: De breedte van betrouwbaarheidsintervallen is sterk gevoelig voor het aantal individuen in geneste designs, in plaats van alleen het totale aantal teksten. Het vergroten van het aantal individuen levert een grotere statistische precisie op dan het vergroten van het aantal teksten per individu.

Betekenis en Claims
Het artikel betoogt dat de grootte van een prestatiemetriek onvoldoende is zonder een maat voor de precisie ervan. De afwezigheid van accurate betrouwbaarheidsintervallen bedreigt de transparantie van machine learning-toepassingen in de sociale wetenschappen, wat potentieel kan leiden tot overmoed in modelgebaseerde inferenties.

De auteurs beweren dat hun werk bewijs geleverde aanbevelingen biedt om rapportagestandaarden te verbeteren:

Voor onafhankelijke data wordt het Agresti-Coull interval aanbevolen als standaard vanwege de eenvoud en nauwkeurigheid, met de pseudo-count geregulariseerde bootstrap als het voorkeursalternatief voor niet-proportionele metrieken zoals F1.
Voor geneste data moeten analisten corrigeren voor effectieve steekproefomvang en vrijheidsgraden. De pseudo-count geregulariseerde hiërarchische bootstrap wordt aanbevolen wanneer analytische aanpassingen niet haalbaar zijn.
Het artikel benadrukt dat onderzoekers de steekproefomvangvereisten moeten overwegen tijdens de ontwerpfase, waarbij specifiek wordt opgemerkt dat zeldzame constructen en hoge prestatieniveaus zorgvuldige planning vereisen om voldoende "analytische steekproefomvang" (bijv. het aantal positieve gevallen, niet alleen het totaal aantal teksten) te garanderen om betrouwbare inferentie te ondersteunen.

De auteurs merken bescheiden de beperkingen op, waaronder het feit dat hun geneste simulaties een enkele ICC-structuur aannemen en dat het artikel zich richt op de schatting van onzekerheid in plaats van de onbevooroordeelde schatting van de metrieken zelf. Ze pleiten voor toekomstig werk om benchmarks voor veelvoorkomende ICC-waarden en prestatiebereiken in de psychologie vast te stellen om het studieontwerp verder te ondersteunen.

Technische Samenvatting: Het schatten van onzekerheid in de prestaties van classificatie met toepassingen voor Large Language Models en geneste data

Meer zoals dit