📊 statistics

Everywhere Valid Bounds on False Discovery Proportions in Conformal Inference

Dit artikel introduceert een koppelsteekproefvrije, verdelingsvrije raamwerk dat gelijktijdige, hoog-kans bovenste grenzen voor het proportie van valse ontdekkingen vaststelt voor alle mogelijke afwijzingstheresholds in conformale inferentie, waardoor flexibele post-hoc selectie mogelijk wordt terwijl strakkere garanties worden geboden dan bestaande methoden.

Oorspronkelijke auteurs: Ziang Song, Ying Jin, Emmanuel J. Candès

Gepubliceerd 2026-05-21

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ziang Song, Ying Jin, Emmanuel J. Candès

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een detective bent die probeert een paar zeldzame, speciale items te vinden die verborgen liggen in een enorm magazijn. Je hebt een "detector" (een machine learning-model) die elk item een "verdachtscore" geeft. Hoe lager de score, hoe waarschijnlijker het item een "nabootsing" of "uitbijter" is (zoals een valse biljet of een defect onderdeel).

Om de namaak te vangen, stel je een drempelwaarde in. Als de score van een item onder deze lijn ligt, markeer je het voor inspectie.

Het probleem: Als je de lijn te laag zet, mis je de namaak. Als je hem te hoog zet, verspil je tijd aan het inspecteren van echte items die geen namaak zijn.
De oude manier: Traditioneel zouden statistici zeggen: "Gemiddeld, als je deze test duizend keer uitvoert, maak je slechts 5% van de tijd een fout."
- De fout: Dit is als zeggen: "Gemiddeld zal je auto niet kapot gaan." Maar als je nu rijdt, helpt dat gemiddelde je niet. Je moet weten: "Is deze specifieke auto nu veilig?" Ook, als je naar je resultaten kijkt en besluit de drempelwaarde te veranderen omdat je niet genoeg namaak hebt gevonden, dan werkt de oude wiskunde helemaal niet meer.

Dit artikel introduceert een nieuwe, superbetrouwbare veiligheidsnet dat overal en gelijktijdig werkt.

De kernidee: Het "Alziende" Veiligheidsnet

De auteurs hebben een methode ontwikkeld die een "plafond" trekt boven je resultaten. Stel je voor dat je door een mistig bos loopt (je data). Je wilt weten hoeveel gevaarlijke dieren (vals alarm) er in het gebied zijn.

In plaats van te gokken naar het gemiddelde aantal dieren, bouwt de methode uit het artikel een transparante, hoogstwaarschijnlijke omheining die boven het werkelijke aantal gevaarlijke dieren ligt voor elk mogelijk pad dat je door het bos kunt nemen.

Gelijktijdige geldigheid: De omheining werkt niet alleen voor één specifiek pad (één specifieke drempelwaarde). Het werkt voor elk pad dat je zou kunnen kiezen, zelfs als je van gedachten verandert en na het bekijken van het bos een nieuw pad kiest.
De garantie: Het artikel bewijst dat met 90% (of 95%) zekerheid, het werkelijke aantal fouten dat je maakt, altijd onder deze omheining zal blijven.

Hoe ze de omheining bouwden (De "magische truc")

Het geheim zit hem in hoe ze deze omheining berekenen.

Het "Null"-universum: Ze realiseerden zich dat als de items die je markeert eigenlijk "normaal" zijn (geen namaak), hun verdachtscores een zeer specifiek, voorspelbaar patroon volgen, zoals een perfect geschud kaartspel.
De simulatie: In plaats van te proberen het patroon te raden met complexe wiskundige formules (wat vaak resulteert in een zeer losse, conservatieve omheining), simuleerden ze simpelweg miljoenen "wat-als"-scenario's. Ze schudden de "normale" kaarten keer op keer om te zien hoe hoog het aantal vals alarm mogelijk zou kunnen springen.
De vormveranderende omheining: Oude methoden gebruikten een rechte, vlakke plafond (een rechte lijn). Maar het artikel merkte op dat de "ruis" in de data niet vlak is; het is golvend. Dicht bij de randen (zeer lage of zeer hoge drempelwaarden) gedraagt de ruis zich anders.
- Hun nieuwe omheining is flexibel. Hij knijpt in waar de data stabiel is en zwelt uit waar de data wild is. Dit maakt de omheining veel strakker en nuttiger dan de oude, bulky rechte lijnen.

Wereldwijde voorbeelden uit het artikel

De auteurs testten dit op twee specifieke scenario's:

1. De Uitbijter-detective (Fraudeopsporing)

Scenario: Je hebt een stapel creditcardtransacties. De meeste zijn normaal; een paar zijn fraude. Je wilt de fraude markeren.
De winst: De nieuwe methode zegt je: "Ongeacht welke drempelwaarde je kiest om fraude te markeren, garanderen we dat in ten minste 90% van de gevallen het percentage onschuldige mensen dat je ten onrechte beschuldigt, onder deze lijn blijft." Dit is cruciaal omdat het beschuldigen van een onschuldig persoon duur en stressvol is.

2. De Drugjager (Medicijnontwikkeling)

Scenario: Een farmaceutisch bedrijf heeft een bibliotheek met duizenden chemische verbindingen. Ze willen de weinige vinden die een ziekte kunnen genezen. Ze gebruiken een computermodel om ze te rangschikken.
De winst: De onderzoekers willen de "top"-kandidaten kiezen om in een lab te testen (wat duur is). De nieuwe methode stelt hen in staat om te zeggen: "Als we de top 100 medicijnen kiezen op basis van deze score, zijn we 90% zeker dat ten minste X% van hen echt veelbelovend is."
De "Post-hoc"-magie: In het verleden, als een onderzoeker naar de data keek, zag dat ze slechts 2 medicijnen hadden gevonden, en besloot de "regels te versoepelen" om er 10 te vinden, dan zou de oude wiskunde hen liegen. Deze nieuwe methode zegt: "Het maakt niet uit of je de regels na het bekijken van de data verandert; de veiligheidsomheining blijft overeind."

Waarom dit belangrijk is

Geen "Gemiddelde" meer: Het geeft je een garantie voor de specifieke dataset die je in handen hebt, niet alleen een theoretisch gemiddelde.
Vrijheid om te verkennen: Wetenschappers kunnen naar hun data kijken, hun criteria aanpassen en verschillende drempelwaarden verkennen zonder angst de statistische regels te breken.
Strakkere grenzen: Omdat de omheining zich aanpast aan de vorm van de data, is hij niet zo overdreven voorzichtig (conservatief) als eerdere methoden, waardoor onderzoekers meer ware ontdekkingen kunnen doen zonder het risico op fouten te vergroten.

Kortom, het artikel biedt een universeel, flexibel en wiskundig bewezen veiligheidsnet dat ervoor zorgt dat je niet per ongeluk te veel onschuldige items markeert, ongeacht hoe je ervoor kiest om je data te bekijken.

Technische Samenvatting: Overal Geldende Grenzen voor de Proportie Valse Ontdekkingen in Conformale Inferentie

Probleemstelling
Moderne toepassingen van conformale inferentie, zoals outlier-detectie en kandidaat-selectie in de geneesmiddelenontwikkeling, houden vaak in dat testsamples worden geselecteerd op basis van of hun conformale $p$ -waarden onder een specifieke drempelwaarde vallen. De betrouwbaarheid van deze selecties wordt gekwantificeerd door de Proportie Valse Ontdekkingen (FDP), gedefinieerd als het fractie van onjuiste selecties onder alle geselecteerde eenheden.

Bestaande methoden, zoals de Benjamini–Hochberg (BH)-procedure, controleren voornamelijk de Fout Ontdekkingssnelheid (FDR), wat de verwachte waarde is van de FDP over herhaalde data-realiserings. Dit artikel identificeert twee kritieke beperkingen in de huidige stand van de techniek:

Gebrek aan Gerealiseerde Waarborgen: Het controleren van de verwachte FDP garandeert niet dat de FDP op een specifiek dataset klein is. De gerealiseerde FDP kan aanzienlijk de verwachte waarde overschrijden, waardoor er geen bescherming op individueel niveau is voor de praktijk.
Ondraaglijkheid voor Post Hoc Selectie: Bestaande waarborgen vereisen dat het significantieniveau $\alpha$ vooraf wordt vastgesteld. Als een practitioner de data inspecteert en de drempelwaarde aanpast (bijvoorbeeld om het aantal ontdekkingen te verhogen), wordt de FDR-controle ongeldig.

De auteurs streven naar het vaststellen van eindige-steekproef, distributie-vrije bovengrenzen voor de FDP die gelijktijdig gelden voor alle mogelijke afwijzingsdrempels $t \in [0, 1]$ . Dit maakt willekeurige post hoc selectie van de drempelwaarde mogelijk terwijl strenge statistische waarborgen worden behouden.

Methodologie
De kern van het voorgestelde raamwerk rust op de hanteerbare gezamenlijke verdeling van "null" conformale $p$ -waarden die worden geïnduceerd door de uitwisselbaarheidsaanname.

Conformale Uniforme Variabelen: De auteurs definiëren conformale uniforme variabelen $u_j$ als genormaliseerde rangen van testscores ten opzichte van een kalibratieset. Onder uitwisselbaarheid staat de vector van deze variabelen een bekende gezamenlijke verdeling $P_{n,m}$ toe die onafhankelijk is van het onderliggende datageneratiemechanisme.
Constructie van Omhullenden via Steekproeven: In plaats van te vertrouwen op concentratieongelijkheden (zoals Dvoretzky–Kiefer–Wolfowitz) die conservatieve, lineaire grenzen opleveren, stellen de auteurs voor om te steekproeven uit de gezamenlijke verdeling $P_{n,m}$ $P_{n, m}$ om een omhullende met hoge waarschijnlijkheid te construeren voor de empirische cumulatieve verdelingsfunctie (CDF) van de null $p$ $p$ -waarden.
- Zij definiëren een samenvattingsstatistiek $T(F)$ (bijvoorbeeld Kolmogorov–Smirnov, Higher-Criticism of Berk-Jones statistieken) die wordt toegepast op de empirische CDF.
- Door $B$ Monte Carlo-steekproeven te genereren uit $P_{n,m}$ , berekenen zij de $(1-\delta)$ -quantiel van de statistiek om een afsnijwaarde $\hat{T}$ te bepalen.
- Deze afsnijwaarde wordt omgekeerd om een omhullende functie $G(t)$ te produceren zodanig dat $P(\hat{F}_{n,m}(t) \leq G(t), \forall t) \geq 1-\delta$ .
Verfijningstrategieën voor Outlier-detectie: Voor outlier-detectie, waar het aantal ware nulls (inliers) onbekend is, integreren de auteurs twee aanscherpingstechnieken:
- Zelf-verfijning: Het aanpassen van een techniek uit [HSG19] om iteratief de grens voor het aantal valse ontdekkingen te verbeteren door gebruik te maken van de monotonie van de selectie-set.
- Null-Proportie Aanscherping: Het schatten van een bovengrens voor het aantal ware nulls ( $m_0$ ) en het construeren van de omhullende op basis van de verdeling $P_{n,m_0}$ in plaats van $P_{n,m}$ , wat de conservativering aanzienlijk vermindert.
Toepassing op Conformale Selectie: Voor conformale selectie (bijvoorbeeld geneesmiddelenontwikkeling) gebruiken de auteurs "orakel" conformale $p$ -waarden (die afhankelijk zijn van onbekende ware uitkomsten) om het aantal valse ontdekkingen te begrenzen. Zij bewijzen dat onder specifieke monotoon scorefuncties (bijvoorbeeld afgeknipte scores), het aantal valse ontdekkingen wordt begrensd door de empirische CDF van deze orakelvariabelen, waardoor de gelijktijdige omhullende-methode direct kan worden toegepast.

Belangrijkste Bijdragen

Nieuwe Bovengrenzen voor Empirische CDF's: Het artikel stelt een nieuwe bovengrens met hoge waarschijnlijkheid vast voor de empirische CDF van conformale uniforme variabelen. Empirisch is deze grens strakker dan bestaande grenzen gebaseerd op DKW-achtige ongelijkheden, met name door aan te passen aan de heteroskedasticiteit van de empirische CDF (die varieert met $t$ ).
Gelijktijdige FDP-grenzen voor Outlier-detectie: De auteurs ontwikkelen een methode om de FDP voor outlier-detectie gelijktijdig te begrenzen voor alle drempels. Dit combineert de verbeterde CDF-grens met zelf-verfijning en null-proportie aanscherpingstechnieken.
Eerste Eindige-steekproef FDP-grenzen voor Conformale Selectie: Het artikel biedt de eerste eindige-steekproef FDP-grenzen die uniform gelden voor alle afwijzingsdrempels voor problemen met conformale selectie.
Algemeen Raamwerk: Het werk introduceert een algemeen raamwerk voor het afleiden van grenzen met hoge waarschijnlijkheid voor willekeurige functies door te steekproeven uit de gezamenlijke verdeling van null $p$ -waarden, wat scherpere grenzen biedt dan benaderingen op basis van concentratieongelijkheden, terwijl eindige-steekproefvaliditeit behouden blijft.

Resultaten
De auteurs valideren hun raamwerk via synthetische en real-data experimenten:

Synthetische Outlier-detectie: Experimenten op Gaussische mengselmodellen tonen aan dat de voorgestelde FDP-grenzen (specifiek met gebruik van de Truncated Higher-Criticism statistiek) geldige dekking behouden (meer dan de beoogde 90% betrouwbaarheid) over 100 herhalingen. De grenzen blijken aanzienlijk minder conservatief dan de baselines lineaire grenzen, vooral voor kleine afwijzingsdrempels. De combinatie van zelf-verfijning en null-proportie aanscherping levert de strakste grenzen op.
Real-world Geneesmiddelenontwikkeling: Met behulp van het DAVIS-dataset voor voorspelling van geneesmiddel-doelwit-interacties, wordt de methode toegepast om veelbelovende geneesmiddelenkandidaten te selecteren. De resultaten tonen aan dat de gelijktijdige bovengrens consistent boven de ware FDP ligt voor alle selectiedrempels in 92% van de onafhankelijke runs.
Post Hoc Adaptiviteit: Het artikel demonstreert dat practitioners adaptief de selectiedrempel kunnen variëren (bijvoorbeeld $\alpha$ verhogen om meer kandidaten te vinden) terwijl de voorgestelde grens geldig blijft. Daarentegen falen standaard post hoc aanpassingen van het BH-niveau om de gerealiseerde FDP te begrenzen.

Betekenis en Claims
Het artikel claimt een oplossing te bieden voor het "gerealiseerde FDP"-probleem, waarbij practitioners waarborgen op individueel niveau worden geboden in plaats van alleen gemiddelde-waarde waarborgen. Door willekeurige post hoc drempelselectie mogelijk te maken, ondersteunt het raamwerk flexibele, datagedreven exploratie zonder afbreuk te doen aan de statistische strengheid. De auteurs benadrukken dat hun aanpak "aanzienlijk minder conservatieve" grenzen oplevert in vergelijking met bestaande methoden, waardoor conformale inferentie praktischer wordt voor toepassingen met hoge risico's zoals wetenschappelijke ontdekking en medische screening waar opvolgingskosten hoog zijn. Het werk wordt gepresenteerd als een geünificeerde strategie die toepasbaar is op elk probleem waarbij de gezamenlijke verdeling van null $p$ -waarden kan worden gesimuleerd, en gaat verder dan de specifieke voorbeelden van outlier-detectie en conformale selectie.

De kernidee: Het "Alziende" Veiligheidsnet

Hoe ze de omheining bouwden (De "magische truc")

Wereldwijde voorbeelden uit het artikel

Waarom dit belangrijk is

Technische Samenvatting: Overal Geldende Grenzen voor de Proportie Valse Ontdekkingen in Conformale Inferentie

Meer zoals dit