📊 statistics

The Exceedance Design Effect: Effective Sample Size for Thresholds under Clustering

Dit artikel toont aan dat wanneer kalibratiedata geclusterd is in plaats van onafhankelijk, de effectieve steekproefomvang voor drempelgebaseerde machine learning-systemen varieert afhankelijk van het specifieke drempelniveau in plaats van een enkele vaste waarde te zijn, wat een nieuwe gesloten vorm van correctie noodzakelijk maakt om de dekking betrouwbaarheid nauwkeurig te voorspellen en de valkuilen van bestaande methoden te vermijden.

Oorspronkelijke auteurs: Adam Noonan

Gepubliceerd 2026-08-24

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Adam Noonan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In de wereld van moderne kunstmatige intelligentie worden systemen vaak geleerd om voorzichtig te zijn. Voordat een AI een moeilijke vraag beantwoordt of een stuk code genereert, voert het een veiligheidscontrole uit om te beslissen of het wel zelfverzekerd genoeg is om door te gaan. Om deze veiligheidscontrole in te stellen, verzamelen ingenieurs een grote collectie praktijkvoorbeelden, bekend als een kalibratieset. Ze kijken naar de scores die de AI aan deze voorbeelden geeft en kiezen een afkap punt, meestal op een specifiek punt in de rangschikking, zoals de bovenste negentig procent. De belofte is dat als de AI wordt gebruikt op nieuwe, ongeziene data, het negentig procent van de tijd binnen die veiligheidslimiet zal blijven. Deze belofte rust op een fundamentele aanname: dat elk praktijkvoorbeeld een onafhankelijke, unieke gebeurtenis is, zoals het werpen van een dobbelsteen waarbij het resultaat van de ene worp geen invloed heeft op de volgende.

Echter, in de complexe pijplijnen die de huidige taalmodellen aandrijven, is deze onafhankelijkheid vaak een illusie. Wanneer een AI over een probleem redeneert, kan het verschillende verschillende paden of "takken" van gedachten genereren vanuit hetzelfde startpunt. Deze takken delen een gemeenschappelijke geschiedenis, net zoals broers en zussen die een gemeenschappelijke familieachtergrond delen. Omdat ze uit dezelfde bron komen, bewegen hun scores samen. Als de ene tak zelfverzekerd is, zullen de andere dat waarschijnlijk ook zijn. Decennialang hebben statistici geweten hoe ze met dergelijke geclusterde data moeten omgaan bij het berekenen van eenvoudige gemiddelden, maar ze wisten niet hoe ze de regels moesten aanpassen wanneer het doel is om een drempelwaarde of een afkap punt in te stellen. Dit gat betekende dat AI-systemen werden gekalibreerd met een vals gevoel van veiligheid, in de veronderstelling dat ze over meer onafhankelijke data beschikten dan ze in werkelijkheid hadden.

Een nieuwe studie door onafhankelijk onderzoeker Adam Noonan onthult precies hoe deze gedeelde afstamming de veiligheidsgaranties van deze systemen verstoort. Het onderzoek toont aan dat de standaardmanier van het tellen van datapunten faalt wanneer de data in clusters komt. De studie laat zien dat het "effectieve" aantal onafhankelijke voorbeelden niet één enkel vast getal is voor een dataset. In plaats daarvan verandert het afhankelijk van waar de veiligheidsgrens wordt ingesteld. Een cluster van scores kan fungeren als één onafhankelijk punt als de grens hoog is, maar als twee aparte punten als de grens lager ligt. De gelijkenis van de scores als getallen doet er niet toe; wat ertoe doet is of ze aan dezelfde kant van de lijn vallen.

De onderzoekers bewezen een wiskundige wet die dit fenomeen beschrijft, die zij de "exceedance design effect" noemen. Ze ontdekten dat de gebruikelijke methode om te corrigeren voor geclusterde data, die kijkt naar hoe nauw de scores met elkaar gecorreleerd zijn, vaak foutief is. In veel real-world gevallen kunnen de scores ongecorreleerd lijken, terwijl de beslissing om de veiligheidscontrole te passeren of te falen sterk gecorreleerd is. Toen de onderzoekers dit testten op een gepubliceerde dataset van meer dan vijfentwintigduizend voorbeelden van een process-reward model, ontdekten ze een schokkende realiteit. Hoewel de dataset vijfentwintigduizend rijen bevatte, was de hoeveelheid onafhankelijke informatie die het daadwerkelijk bood equivalent aan slechts ongeveer drieduizendhonderd. Het systeem gedroeg zich alsof het twintig keer minder data had dan het spreadsheet suggereerde.

Deze discrepantie heeft serieuze gevolgen voor iedereen die deze systemen inzet. De gemiddelde prestatie van het systeem zal er over vele proeven correct uitzien, maar voor een enkele inzet is het risico op falen veel groter dan beloofd. De studie laat zien dat de veiligheidsmarge niet slechts iets afwijkt; deze is aanzienlijk breder dan verwacht, wat betekent dat het systeem in individuele gevallen veel minder betrouwbaar is dan de gemiddelde cijfers suggereren. Bovendien spreekt het onderzoek de gedachte tegen dat het simpelweg verzamelen van meer data uit dezelfde bronnen het probleem zal oplossen. Het vergroten van het aantal redeneertakken voor één enkele vraag levert een afnemend rendement op omdat de takken te veel op elkaar lijken. De enige manier om de betrouwbaarheid van de veiligheidscontrole werkelijk te vergroten, is door meer onderscheidende vragen te verzamelen, en niet meer variaties op dezelfde vraag.

Het artikel behandelt ook een veelvoorkomend misverstand dat het probleem kan worden opgelost door te kijken naar de correlatie tussen de scores zelf. De onderzoekers toonden aan dat deze benadering gevaarlijk misleidend kan zijn. In één geval, betreffende een standaard leesbegrip-dataset, was de correlatie tussen de scores zo dicht bij nul dat een praktijkbeoefenaar zou concluderen dat er geen correctie nodig was. Toch, toen zij naar de werkelijke pass-of-fail beslissingen keken, was de correlatie significant, en was het systeem in feite veel kleiner dan het leek. De studie biedt een nieuw recept voor beoefenaars: in plaats van elke rij in een dataset te tellen, moeten zij het aantal onafhankelijke bronnen tellen, zoals het aantal unieke vragen, en hun verwachtingen aanpassen op basis van hoe die bronnen geclusterd zijn.

Uiteindelijk biedt dit werk een heldere, gesloten wet om te begrijpen hoe geclusterde data veiligheidsdrempels beïnvloedt. Het gaat verder dan vage waarschuwingen en biedt een precieze meting van het risico. De bevindingen bevestigen dat de schade veroorzaakt door het negeren van deze afhankelijkheden onzichtbaar is in de gemiddelde resultaten, maar volledig voelbaar is voor de gebruiker die het systeem eenmalig inzet. Door te begrijpen dat een dataset een andere effectieve omvang heeft voor elk niveau van veiligheid dat het nastreeft, kunnen ingenieurs hun AI-systemen eindelijk kalibreren met een realistisch beeld van hun beperkingen, zodat de beloftes die aan gebruikers worden gedaan, ook daadwerkelijk worden nagekomen.

Technische Samenvatting: Het Exceedance Design Effect

1. Probleemstelling

Machine learning-systemen vertrouwen vaak op drempelwaarden die zijn ingesteld op specifieke kwantielen van een kalibratieset (bijv. conformale voorspellers die 90% dekking garanderen, abstentie-poorten of veiligheidsfilters). Deze garanties gaan ervan uit dat de kalibratievoorbeelden onafhankelijk en identiek verdeeld (i.i.d.) zijn. Echter, in moderne pipelines—zoals LLM-inferentie, beam search of redeneerpaden (reasoning traces)—delen kalibratie-eenheden vaak een gemeenschappelijke prompt, document of redeneergeschiedenis, wat clusters van afhankelijke data creëert.

Hoewel de enquetestatistiek al lang de reductie in effectieve steekproefomvang ( $n_{eff}$ ) voor gemiddelden onder clustering aanpakt via het design effect (Kish, 1965), betoogt dit artikel dat de standaardcorrectie ongepast is voor drempelwaarden (ordestatistieken). De standaard design effect is gebaseerd op de correlatie van ruwe scores. De auteur demonstreert dat voor een drempelwaarde de relevante correlatie niet tussen de scores zelf ligt, maar tussen de exceedance indicatoren (of een score boven of onder de drempelwaarde valt). Bovendien is deze correlatie niet constant; deze is afhankelijk van het specifieke niveau waarop de drempelwaarde is ingesteld.

2. Methodologie en Theoretisch Kader

Kerndefinities

Exceedance Indicator: Voor een drempelwaarde $q_p$ (het $p$ -kwantiel) is de indicator $I = \mathbb{1}\{S \le q_p\}$ .
Exceedance Correlatie ( $\rho_I(p)$ ): De intra-cluster correlatie van deze binaire indicatoren.
Exceedance Design Effect (DEFF): Gedefinieerd als $1 + (\tilde{m} - 1)\rho_I(p)$ , waarbij $\tilde{m}$ de grootte-gebiaste gemiddelde clustergrootte is.
Effectieve Steekproefomvang ( $n_{eff}$ ): $n / \text{DEFF}$ .

Theoretische Afleiding

Het artikel leidt een gesloten vormwet af voor de verdeling van de gerealiseerde dekking ( $C$ ) onder clustering.

Opzet: Kalibratiescores komen binnen in $b$ clusters van grootte $m$ (totaal $n=bm$). Clusters zijn i.i.d. en scores binnen een cluster zijn uitwisselbaar. De testscore is onafhankelijk van de kalibratieclusters.
Variantie van de Empirische CDF: De variantie van de empirische CDF bij het kwantiel wordt afgeleid door de cluster-niveau empirische CDF's te behandelen als i.i.d. gemiddelden. De variantie van de som van indicatoren binnen een cluster introduceert de term $1 + (m-1)\rho_I(p)$ .
Bahadur Representatie: Gebruikmakend van de Bahadur-representatie voor kwantielen, laat de auteur zien dat de dichtheid van de scoreverdeling wegvalt bij het in kaart brengen van de kwantielfout naar de dekking waarschijnlijkheid. Dit is een cruciale stap: het impliceert dat de spreiding van de dekking alleen afhangt van de correlatie van de indicatoren, en niet van de correlatie van de ruwe scores of de vorm van de onderliggende dichtheid.
Limietwet (Theorem 1): Naarmate $b \to \infty$ , convergeert de dekking $C$ in distributie naar een Normale verdeling (of een passende Beta-verdeling voor eindige steekproeven) met variantie:
$\text{Var}(C) \approx \frac{p(1-p)}{n_{eff}} = \frac{p(1-p)}{n / [1 + (m-1)\rho_I(p)]}$
Dit stelt vast dat het design effect fungeert als een reductie in steekproefomvang specifiek voor de spreiding van de dekking.

Uitbreidingen

Ragged Families (Proposition 2): Voor clusters van ongelijke grootte $m_j$ , houdt de stelling stand als $m$ wordt vervangen door de grootte-gebiaste gemiddelde $\tilde{m} = \frac{\sum m_j^2}{\sum m_j}$ .
Informative Sizes (Sectie 2.5): Het artikel waarschuwt dat als clustergroottes gecorreleerd zijn met de scores (bijv. moeilijkere vragen genereren langere redeneerpaden), de kalibratie-marginaal verschilt van de test-marginaal, wat een eerste-orde bias in het gemiddelde van de dekking introduceert die het design effect niet corrigeert.
Mean Drift (Conjecture 1): Onder clustering is de gemiddelde dekking niet exact het nominale niveau $p$ , maar drift het met een $O(1/b)$ term afhankelijk van de afgeleide van $\rho_I(p)$ .

3. Belangrijkste Bijdragen

Het Exceedance Design Effect: Het artikel bewijst dat de effectieve steekproefomvang voor een drempelwaarde wordt beheerst door de correlatie van exceedance indicatoren ( $\rho_I$ ), en niet door de correlatie van ruwe scores ( $\rho$ ).
Niveau-afhankelijkheid: Het demonstreert dat $\rho_I(p)$ een functie is van het drempelniveau $p$ . Een dataset heeft niet één enkele effectieve steekproefomvang; het heeft er één voor elk drempelniveau. In veel gevallen (bijv. Gaussische copula's) neemt $\rho_I(p)$ af in de staarten, wat betekent dat het design effect kleiner is bij striktere dekkingniveaus (bijv. 99%) dan bij lossere niveaus (bijv. 90%).
Falen van Standaardcorrecties: Het artikel toont aan dat het toepassen van de standaard Kish design effect met de ruwe scorecorrelatie $\rho$ incorrect is. In veel realistische scenario's is $\rho_I(p) < \rho$ , wat leidt tot een overschatting van het design effect (verspilling van data) of, in specifieke copula-structuren, een onderschatting (onveilige implementatie).
Ragged Cluster Correctie: Het biedt de juiste substitutie voor ongelijke clustergroottes met behulp van de grootte-gebiaste gemiddelde $\tilde{m}$ , waarbij wordt aangetoond dat het gemiddelde clustergrootte $\bar{m}$ de straf van raggedness aanzienlijk onderschat.
Empirische Validatie:
- Released PRM Dataset: Op een vrijgegeven process-reward model kalibratieset (25.028 voorbeelden) meet de auteur een effectieve steekproefomvang van $\approx 1.300$ . De standaard scorecorrelatie suggereerde een veel kleinere straf, terwijl de indicatorcorrelatie een design effect van $\approx 30.8$ onthulde (voordat er werd gecorrigeerd voor informatieve groottes).
- Generated Sweep: Gebruikmakend van beam search versus onafhankelijke sampling, isoleert de auteur het mechanisme van "gedeelde afstamming" (shared ancestry), waarbij beam search een hoge $\rho_I$ induceert terwijl onafhankelijke sampling dat niet doet, zelfs wanneer ze geconditioneerd zijn op dezelfde prompt.

4. Resultaten en Metingen

Spreiding vs. Gemiddelde: De primaire impact van clustering ligt op de spreiding van de gerealiseerde dekking (eerste-orde effect), niet op het gemiddelde (tweede-orde effect). Een systeem dat eenmaal wordt uitgerold, kan een dekking ervaren die ver onder de nominale garantie ligt, zelfs als het gemiddelde over vele runs correct lijkt te zijn.
Grootte van de Fout: Op de PRM-dataset was de gerealiseerde dekkingverdeling $4.46\times$ breder dan de i.i.d.-voorspelling. De kans dat een implementatie tekortschiet met 0,5 procentpunt steeg van 0,4 per 1.000 (i.i.d.) naar 284,5 per 1.000 (geclusterd).
Standaard vs. Correct: Het gebruik van de ruwe scorecorrelatie om het design effect te schatten resulteerde in fouten die tot $5.7\times$ slechter waren dan de correcte indicator-gebaseerde wet. In sommige gevallen (bijv. SQuAD 2.0) was de ruwe scorecorrelatie bijna nul, wat suggereerde dat er geen correctie nodig was, terwijl de indicatorcorrelatie positief was, wat een significante correctie vereiste.
Staartgedrag: Voor staai-onafhankelijke copula's (zoals Gaussisch) neemt het design effect af naarmate de drempelwaarde naar de staart beweegt. Voor staai-afhankelijke copula's (zoals Student-t of atom-mengsels) bereikt het design effect een bodem die bepaald wordt door de staai-afhankelijkheidscoëfficiënt.

5. Betekenis en Claims

Het artikel beweert de kloof te dichten tussen enquête-steekproeftheorie en conformale voorspelling. Hoewel de componenten (design effecten, indicatorcorrelaties, grootte-gebiaste gemiddelden) in aparte literatuur bestaan (enquête-steoring, econometrie, copula-theorie), is dit het eerste artikel dat ze samenvoegt tot een specifieke wet voor drempelwaarden geschat vanuit geclusterde data.

Bescheiden Claims:

Het artikel beweert niet het probleem van informatieve clustergroottes op te lossen (waar grootte correleert met score); het diagnosticeert het en merkt op dat dit een andere correctie vereist (gewogen conformale voorspelling).
De mean drift (Conjecture 1) wordt gepresenteerd als een goed geteste conjectuur met een gemeten restant, niet als een volledig bewezen stelling, hoewel de spreidingswet (Theorem 1) bewezen is.
Het artikel beweert niet dat alle clustering slecht is; het biedt de instrumenten om exact te kwantificeren hoeveel "informatie" een geclusterde set behoudt, waardoor gebruikers kunnen beslissen of de afweging de moeite waard is.

Praktische Implicaties:

Praktici moeten $\rho_I(p)$ direct schatten van paren binnen dezelfde cluster in plaats van te vertrouwen op ruwe scorecorrelaties.
Effectieve steekproefomvang moet worden gerapporteerd per dekkingniveau, niet als één enkel globaal getal.
"Diepte kopen" (meer samples per prompt) levert afnemende meeropbrengsten op vergeleken met "breedte kopen" (meer prompts), aangezien $n_{eff}$ begrensd wordt door het aantal clusters $b$ .
Het rapporteren van het aantal clusters $b$ en de effectieve steekproefomvang $n_{eff}$ is essentieel voor het interpreteren van de betrouwbaarheid van een enkele implementatie.

Het artikel concludeert dat de "schade" van clustering onzichtbaar is in gemiddelde dekkingmetingen, maar volledig voelbaar is bij individuele implementaties, en dat de standaardinstrumenten voor het middelen (Kish's formule op scores) onvoldoende zijn voor de op rang gebaseerde garanties van conformale voorspelling.