📊 statistics

Unified Conformalized Multiple Testing with Full Data Efficiency

Dit artikel stelt een unifyend raamwerk voor voor gekalibreerd meervoudig toetsen dat de data-efficiëntie maximaliseert door gebruik te maken van alle beschikbare data (nul, alternatief en ongelabeld) via een volledige permutatiestrategie om superieure scores te construeren en p-waarden te kalibreren, waardoor de statistische power aanzienlijk wordt verbeterd terwijl de false discovery rate strikt wordt gecontroleerd zonder dat er extra data-verdeling nodig is.

Oorspronkelijke auteurs: Yuyang Huo, Xiaoyang Wu, Changliang Zou, Haojie Ren

Gepubliceerd 2026-05-22

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yuyang Huo, Xiaoyang Wu, Changliang Zou, Haojie Ren

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een rechercheur bent die probeert een paar specifieke verdachten (de "non-nulls") te vinden, verborgen in een enorm volk van onschuldige omstanders (de "nulls"). Je doel is om de verdachten aan te wijzen zonder te veel onschuldigen vals te beschuldigen. In de statistiek heet dit meervoudig toetsen, en de regel die je moet volgen is om je "False Discovery Rate" (FDR) laag te houden—wat betekent dat je niet te veel onschuldigen mag beschuldigen om maar een paar echte verdachten te vangen.

Lange tijd hadden rechercheurs (statistici) een speciaal hulpmiddel genaamd Gecertificeerd Toetsen om hen te helpen. Het is als een magische vergrootglas dat garandeert dat je niet te veel fouten maakt, ongeacht hoe de menigte is gerangschikt. Er was echter een addertje onder het gras: om dit vergrootglas veilig te gebruiken, moesten rechercheurs een groot stuk van hun bewijsmateriaal weggooien. Ze moesten hun data splitsen in "trainings"- en "test"-hopen, waardoor veel bruikbare informatie onbenut bleef.

Dit artikel, getiteld "Gecentraliseerd Gecertificeerd Meervoudig Toetsen met Volledige Data-efficiëntie", stelt een nieuwe, slimmere manier voor om het vergrootglas te gebruiken. Hier is de uitleg in eenvoudige bewoordingen:

1. De Oude Manier: Het "Pizza Splitsen" Probleem

Stel je voor dat je een hele pizza hebt (je data) en je wilt de pepperonischeven (de verdachten) vinden.

Oude Methode: Je snijdt de pizza in tweeën. Je gebruikt de ene helft om te leren hoe pepperoni eruitziet, en je gebruikt de andere helft om te controleren of de schijven die je hebt gevonden echt pepperoni zijn.
Het Probleem: Je kunt slechts de helft van de pizza gebruiken om te leren en de andere helft om te controleren. Als de pizza klein is, kun je de pepperoni missen of in de war raken. Ook hadden verschillende rechercheurs verschillende manieren om de pizza te snijden, en het was moeilijk te vergelijken wie het beste werk leverde.

2. De Nieuwe Manier: Het "Volledige Permutatie" Feest

De auteurs, Huo, Wu, Zou en Ren, stellen een verenigd raamwerk voor genaamd ECOT (Enhanced COnformal Testing). In plaats van de pizza te snijden, zeggen ze: "Laten we naar de hele pizza kijken, maar we moeten een specifiek spel spelen om eerlijk te blijven."

Het Spel (Permutatie): Stel je voor dat je een deck kaarten hebt die je data vertegenwoordigen. Om te controleren of een specifieke kaart een "verdachte" is, schud je het deck op elke mogelijke manier (permutatie) terwijl je de regels van het spel strikt naleeft. Je vraagt: "Als ik de kaarten willekeurig schud, hoe vaak ziet deze kaart er dan uit als een verdachte in vergelijking met de anderen?"
De Magie: Door alle data te gebruiken (de verdachten die je al kent, de onschuldigen die je kent en het mysterieuze volk) om je "verdachtendetecteur" te bouwen, krijg je een veel scherper gereedschap. Omdat je het hele deck gebruikt om het schudspel te spelen, hoef je geen enkele data weg te gooien.

3. Drie Grote Overwinningen voor de Nieuwe Methode

A. Elk Kluifgebruiken (Volledige Data-efficiëntie)

In de oude tijden, als je een lijst had met bekende verdachten (positieve data) en een lijst met bekende onschuldigen (negatieve data), moest je vaak de bekende verdachten buiten de "leerfase" houden om veilig te blijven.

De Nieuwe Truc: ECOT laat je alles gebruiken. Je gebruikt de bekende verdachten om de detecteur te leren waar hij naar moet zoeken, en je gebruikt de bekende onschuldigen om het "alarm" te kalibreren. Dit maakt de detecteur veel slimmer en waarschijnlijker om de echte verdachten te vangen zonder valse alarmen te geven.

B. De "Autopiloot" Selecteur (Adaptieve Selectie)

Soms weet je niet welk type detecteur het beste werkt. Misschien is een "Binair Detecteur" (die zoekt naar verschillen tussen twee groepen) het beste voor één geval, maar is een "Eén-Klasse Detecteur" (die gewoon zoekt naar dingen die raar lijken) beter voor een ander.

Het Oude Probleem: Als je beide detecteurs op dezelfde data probeert om te zien welke beter is, "val je" door twee keer naar het antwoord te kijken, wat je veiligheids garantie verpest.
De Nieuwe Truc: ECOT heeft een ingebouwde "Autopiloot". Het probeert alle detecteurs binnen het schudspel. Het kiest de beste voor elke specifieke persoon in de menigte zonder ooit "te gluren" naar het uiteindelijke antwoord buiten de regels om. Het schakelt automatisch tussen strategieën om de beste resultaten te behalen, terwijl de veiligheids garantie intact blijft.

C. Eén Grote Regelboek (Verenigd Raamwerk)

Voor dit artikel waren er veel verschillende artikelen met verschillende namen voor vergelijkbare methoden (zoals "AdaDetect", "Integ", "FullND"). Het was alsof je vijf verschillende regelboeken had voor hetzelfde spel.

De Nieuwe Truc: De auteurs toonden aan dat al deze verschillende methoden eigenlijk gewoon speciale versies zijn van hun ene grote "Volledige Permutatie" spel. Als je hun regels volgt, kun je alle oude methoden nabouwen, maar kun je ook nieuwe, betere methoden bouwen die data efficiënter gebruiken.

4. Wat de Experimenten Toonden

De auteurs voerden duizenden simulaties uit en testten hun methode op real-world datasets (zoals het opsporen van creditcardfraude of satellietanomalieën).

Het Resultaat: Hun methode vond consequent meer "verdachten" (hogere power) dan de oude methoden, terwijl ze de valse beschuldigingen (FDR) onder controle hielden.
De Afweging: Het enige nadeel is dat het schudden van het deck op elke mogelijke manier iets meer computertijd kost. Ze hebben echter aangetoond dat zelfs met deze extra tijd, de methode snel genoeg is voor praktisch gebruik en veel sneller dan eerdere "volledige data" pogingen.

Samenvattende Analogie

Denk aan de oude methoden als een rechercheur die alleen mag werken met een zaklamp op de helft van de kamer om een dief te vinden, terwijl de andere helft donker is.
De nieuwe ECOT methode is als een rechercheur die het licht aandoet voor de hele kamer om de dief te vinden. Om ervoor te zorgen dat ze niet duizelig worden en de verkeerde persoon beschuldigen, gebruiken ze een speciale "schudtechniek" om te bewijzen dat hun bevindingen stevig zijn. Ze kunnen zelfs automatisch wisselen tussen verschillende soorten zaklampen om de dief sneller te vinden, allemaal terwijl ze zich houden aan één enkel, streng regelboek dat garandeert dat ze niet te veel fouten maken.

Kortom: Dit artikel geeft statistici een manier om alle hun data te gebruiken om betere beslissingen te nemen, zonder de veiligheidsregels te breken die valse beschuldigingen voorkomen.

Technische Samenvatting: Gecombineerde Geconformaliseerde Meervoudige Toetsing met Volledige Datadoelmatigheid

1. Probleemstelling

Geconformaliseerde meervoudige toetsing biedt een modelvrij kader voor het beheersen van de False Discovery Rate (FDR) bij het identificeren van testsamples met onbekende labels van belang (bijvoorbeeld outlierdetectie, sampleselectie). De standaardprocedure omvat het construeren van een niet-overeenstemmingsscore, het kalibreren daarvan tegen een set nul (negatieve) samples om geconformaliseerde p-waarden te genereren, en het toepassen van een meervoudige toetsingsregel (bijvoorbeeld Benjamini-Hochberg).

Bestaande methoden staan voor twee primaire beperkingen wat betreft datagebruik:

Gedeeltelijk Datagebruik: Veel benaderingen splitsen de beschikbare nuldata ( $D_0$ ) in trainings- en kalibratiesets, waardoor waardevolle informatie verloren gaat. Anderen maken geen gebruik van beschikbare niet-nul (positieve) gelabelde data ( $D_1$ ) of ongelabelde testdata ( $D_u$ ) tijdens de scoreconstructie.
Versnipperde Kaders: Verschillende methoden (bijvoorbeeld split conformal, integrative conformal, localised conformal) zijn ontwikkeld onder specifieke instellingen en datagebruiksschema's. Er bestaat geen verenigd theoretisch kader dat deze methoden omvat of een systematisch principe biedt voor het ontwerpen van nieuwe methoden die volledig gebruikmaken van alle beschikbare data ( $D_0, D_1, D_u$ ) terwijl de FDR strikt wordt gecontroleerd.

De centrale uitdaging is het ontwikkelen van een verenigde aanpak die de statistische power maximaliseert door alle beschikbare data te gebruiken voor zowel scoreconstructie als kalibratie, zonder de uitwisselbaarheidsaannames te schenden die nodig zijn voor FDR-controle in eindige steekproeven.

2. Methodologie: Het ECOT-kader

De auteurs stellen Enhanced COnformal Testing (ECOT) voor, een verenigd kader gebaseerd op een volledige permutatiestrategie. Het kerninzicht is om geconformaliseerde meervoudige toetsing te bekijken door de lens van permutatietoetsing, waarbij de p-waarde voor een testsample $j$ wordt berekend door zijn score te vergelijken met scores verkregen uit alle mogelijke permutaties van de data.

2.1 Kerncomponenten

De ECOT-procedure bestaat uit drie stappen:

Scoreconstructie: Voor elke testsample $j \in U$ wordt een geïndividualiseerde scorefunctie $S^{(j)}$ geconstrueerd met behulp van alle beschikbare data ( $D_0, D_1, D_u$ ). Een hogere score duidt op sterkere bewijzen tegen de nulhypothese.
Berekening van p-waarden: Een geconformaliseerde p-waarde wordt berekend via volledige permutatie:
$p_j = \frac{1}{|\Omega_j|} \sum_{\sigma \in \Omega_j} \mathbb{I}\{S^{(j)}(X_j) \le S^{(j)}_\sigma(X_{\sigma(j)})\}$
Hierbij is $\Omega_j$ de set permutaties van de kalibratieset $C \subseteq L_0$ en de testsample $j$ , terwijl indices buiten deze set gefixeerd blijven. $S^{(j)}_\sigma$ denotes de scorefunctie die is geconstrueerd op het gepermuteerde dataset.
Toetsingsprocedure: Om de afhankelijkheid tussen p-waarden die wordt veroorzaakt door datahergebruik en geïndividualiseerde scores aan te pakken, hanteert ECOT een conditionele kalibratiestap (geïnspireerd door Fithian en Lei, 2022). Dit omvat het definiëren van gemodificeerde p-waarden $\tilde{p}^{(j)}_\ell$ met behulp van een permutatie-invariante samenvatting (bijvoorbeeld de mediaan) van de scores, gevolgd door een afwijzingsprocedure die FDR-controle in eindige steekproeven garandeert.

2.2 Computatietechnische Vereenvoudigingen

Volledige permutatie is computatie intensief ( $O((|C|+1)!)$ ). Het kader identificeert twee symmetrievoorwaarden waaronder de procedure aanzienlijk vereenvoudigt:

Kalibratie-symmetrische Scores: Als $S^{(j)}$ invariant is onder permutaties van de kalibratieset en $j$ , reduceert de p-waarde tot een eenvoudige op rang gebaseerde berekening over $C \cup \{j\}$ , waardoor herhaaldelijk modelhertraining overbodig wordt.
Gecombineerd-symmetrische Scores: Als één enkele scorefunctie $S$ wordt gebruikt voor alle samples en symmetrisch is ten opzichte van alle nul- en testsamples, wordt de conditionele kalibratiestap overbodig, en is de standaard Benjamini-Hochberg (BH)-procedure toegepast op de vereenvoudigde p-waarden voldoende.

2.3 Verbeterde Benaderingen

Met behulp van het verenigde kader stellen de auteurs twee specifieke verbeterde methoden voor:

ECOT-bi (Binaire Classificatie): Gebruikt $D_0, D_1$ , en $D_u$ gezamenlijk om een binaire classifier te trainen. De classifier onderscheidt niet-nul samples ( $D_1$ ) van de gepoolde nul/ongelabelde samples ( $D_0 \cup D_u$ ). Dit benadert de optimale dichtheidsratio zonder $D_0$ te splitsen.
ECOT-oc (Eén-Klasse Classificatie): Ontworpen voor scenario's waar binaire classifiers inefficiënt zijn (bijvoorbeeld bij variantieverschillen). Het traint één-klasse classifiers op $D_0 \cup D_u$ (voor het nul) en $D_1$ (voor het alternatief), en integreert deze om de score te vormen.

2.4 Adaptieve Selectie

Het kader maakt Adaptieve Aanpakselectie (ECOT-as) mogelijk. In plaats van één enkele methode vast te leggen, evalueert het algoritme meerdere kandidaat-benaderingen (bijvoorbeeld ECOT-bi, ECOT-oc, FullND) en selecteert degene die de hoogste power (aantal afwijzingen) oplevert voor elke sample. Cruciaal is dat de selectiestap is ingebed in de scoreconstructie via de volledige permutatiestrategie. Dit behandelt de selectie als onderdeel van de scoregeneratie, behoudt uitwisselbaarheid en vermijdt het "double dipping"-probleem dat doorgaans de FDR inflatieert bij inferentie na selectie.

3. Belangrijkste Bijdragen

Verenigd Kader: Het artikel introduceert ECOT, een algemeen kader dat bestaande methoden voor geconformaliseerde meervoudige toetsing (bijvoorbeeld split conformal, integrative, localised) omvat als speciale gevallen onder specifieke symmetriestructuren.
Volledige Datadoelmatigheid: Het kader biedt een principieel ontwerpstategie om alle beschikbare data ( $D_0, D_1, D_u$ ) te gebruiken voor scoreconstructie terwijl de volledige nulset wordt behouden voor kalibratie. Dit blijkt de statistische power te verbeteren door de kwaliteit van de scores te verhogen en de grootte van de kalibratieset te maximaliseren.
Adaptieve Selectie met FDR-controle: De auteurs ontwikkelen een datagedreven strategie om automatisch de beste geconformaliseerde toetsingsbenadering te selecteren uit een set kandidaten. Door selectie te integreren in de op permutatie gebaseerde scoreconstructie, bereiken ze FDR-controle in eindige steekproeven zonder extra data-splitsing te vereisen.
Theoretische Waarborgen: Het artikel bewijst dat onder standaard aannames van data-uitwisselbaarheid, de ECOT-procedure de FDR controleert op het gewenste niveau $\alpha$ in eindige steekproeven, ongeacht de complexiteit van de gebruikte scorefuncties.

4. Experimentele Resultaten

Uitgebreide numerieke experimenten werden uitgevoerd op synthetische data en real-world datasets voor outlierdetectie (Credit Card, Satellite, Shuttle, CovType, Mammography).

Powerverbetering: In scenario's waar binaire classificatie optimaal is, presteerden ECOT-bi en ECOT-as consistent beter dan bestaande baselines (bijvoorbeeld AdaDetect, CP-bi, Integ) door hogere power te bereiken terwijl de FDR-controle werd behouden. Dit werd toegeschreven aan het volledige gebruik van $D_1$ en het vermijden van data-splitsing.
Robuustheid ten opzichte van Scenario: In instellingen waar één-klasse classificatie superieur is (bijvoorbeeld bij variantieschommelingen), presteerde ECOT-oc aanzienlijk beter dan integratieve methoden door gebruik te maken van $D_u$ in de scoreconstructie.
Adaptieve Selectie: ECOT-as slaagde erin de best presterende methode te volgen in diverse scenario's, en bereikte in veel gevallen power dicht bij de theoretische orakel.
Prestaties op Real-world Data: Op real-world datasets vertoonden de ECOT-methoden (met name ECOT-bi en ECOT-as) superieure power in vergelijking met baselines, die vaak leden aan lage power door beperkte gelabelde data of ongepaste scoreconstructies.
Computatiekosten: Hoewel de volledige permutatie-aanpak computatie intensiever is dan split-methoden, houden de aangepaste adaptieve selectie (Algoritme 3) en symmetrie-reducties de looptijden binnen praktische grenzen (ongeveer 1 minuut voor gematigde steekproefgroottes), aanzienlijk sneller dan volledige conformale implementaties van concurrerende kaders zoals OptCS.

5. Betekenis en Aanspraken

Het artikel stelt dat ECOT een aanzienlijke vooruitgang vertegenwoordigt door het versnipperde landschap van geconformaliseerde meervoudige toetsing te verenigen. De primaire betekenis ligt in:

Systematisch Ontwerp: Het bieden van een duidelijk, principieel pad voor het ontwerpen van nieuwe conformale procedures die datadoelmatigheid maximaliseren.
Automatische Adaptatie: Het oplossen van het probleem van het selecteren van de optimale toetsingsstrategie zonder de FDR-controle te compromitteren, een veelvoorkomende valkuil in inferentie na selectie.
Praktische Efficiëntie: Het aantonen dat volledig datagebruik leidt tot tastbare winsten in power in diverse real-world en synthetische scenario's, waardoor geconformaliseerde toetsing effectiever wordt voor toepassingen zoals outlierdetectie en sampleselectie.

De auteurs erkennen dat het kader afhankelijk is van data-uitwisselbaarheid en dat volledige permutatie computatie intensief kan zijn, en suggereren toekomstig werk gericht op het versoepelen van aannames (bijvoorbeeld niet-uitwisselbare data) en het versnellen van op permutatie gebaseerde inferentie.