📊 statistics

Collective Outlier Detection and Enumeration with Conformalized Closed Testing

Dit artikel introduceert een flexibel, verdelingsvrij raamwerk voor het detecteren en tellen van collectieve afwijkingen door conformale inferentie te integreren met meervoudig toetsen en adaptieve rangtoetsen, en beschikt over een principiële mechanisme om automatisch de optimale machine learning-classificatie en tweestalen-toetsprocedure voor een gegeven dataset te selecteren.

Oorspronkelijke auteurs: Chiara G. Magnani, Matteo Sesia, Aldo Solari

Gepubliceerd 2026-05-19

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Chiara G. Magnani, Matteo Sesia, Aldo Solari

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een rechercheur bent die probeert een paar slechte appels te vinden in een enorme krat met duizenden goede appels. Normaal gesproken zou je elke appel één voor één bekijken, op zoek naar blauwe plekken of rot. Als een appel er perfect uitziet, laat je hem gaan. Maar wat als de 'slechte' appels van buiten niet rot zijn? Wat als ze er precies hetzelfde uitzien als de goede, maar als je naar de hele groep slechte appels samen kijkt, ze zich vreemd gedragen? Misschien zijn ze allemaal iets te groen, of wegen ze allemaal een klein beetje minder dan het gemiddelde, maar individueel zijn die verschillen te klein om op te merken.

Dit is het probleem dat ACODE (Automatic Conformal Outlier Detection and Enumeration) oplost.

Hier is een eenvoudige uiteenzetting van wat het paper doet, met behulp van alledaagse analogieën:

1. Het Probleem: De "Naald in een Hooiberg" die Zich Verbergt in een Stapel

In het verleden probeerden statistische methoden "uitbijters" (de slechte appels) te vinden door ze één voor één te controleren.

De Tekortkoming: Als de slechte appels zeer zeldzaam of zeer subtiel zijn, faalt het controleren van ze individueel vaak. Je zou kunnen zeggen: "Deze appel ziet er prima uit," en hem missen.
Het Nieuwe Idee: In plaats van appels één voor één te bekijken, kijkt ACODE naar de hele groep verdachte appels om te zien of ze als menigte anders gedragen. Het vraagt zich af: "Is er hier een verborgen groep slechte appels, zelfs als we niet precies kunnen aangeven welke het zijn?"

2. De Oplossing: Een Slimme, Aanpasbare Rechercheur

Het paper introduceert een methode genaamd ACODE. Denk aan ACODE als een super-slimme rechercheur die niet slechts één gereedschap gebruikt; hij heeft een hele gereedschapskist en weet precies welk gereedschap hij voor de klus moet kiezen.

De "Black Box" Classificatie: Eerst gebruikt de methode krachtige computerprogramma's (Machine Learning) om elke appel een "verdachte score" te geven. Een hoge score betekent dat de appel een beetje raar lijkt; een lage score betekent dat hij normaal lijkt.
De "Gereedschapskist" met Tests: Zodra de appels scores hebben, moet de rechercheur beslissen: "Is deze groep appels met hoge scores echt een groep slechte appels?"
- Soms zijn de slechte appels zeldzaam maar zeer duidelijk (zoals een rode appel in een stapel groene appels).
- Soms zijn de slechte appels veelvoorkomend maar zeer subtiel (zoals iets kleinere appels).
- Verschillende wiskundige tests werken het beste voor verschillende situaties.
De Magische Truc (Automatische Selectie): Het genie van ACODE is dat het niet gokt welke wiskundige test het moet gebruiken. Het probeert verschillende tests op de gegevens en kiest automatisch diegene die het beste werkt voor die specifieke dataset. Het is als een kok die de soep proeft en direct weet of hij zout, peper of citroensap moet toevoegen om het perfect te maken.

3. Het Veiligheidsnet: Geen Valsspelen Toegestaan

Je zou kunnen denken: "Als de rechercheur tien verschillende gereedschappen probeert en de beste kiest, valsspelen ze dan niet? Ze hebben misschien gewoon geluk gehad."

Het paper gebruikt een slimme statistische truc genaamd Closed Testing om dit te voorkomen.

De Analogie: Stel je een spel voor waarin je een getal moet raden. Als je een miljoen gokken probeert en degene kiest die goed was, dan heb je valsgespeeld. Maar als je een regel hebt die zegt: "Je moet je strategie voordat je de getallen ziet opschrijven," dan kun je niet valsspelen.
Hoe ACODE het doet: ACODE splitst de gegevens in verschillende groepen (zoals het splitsen van een kaartspel). Het gebruikt één groep om te beslissen welk gereedschap te gebruiken, en een andere groep om de test daadwerkelijk uit te voeren. Dit zorgt ervoor dat het eindresultaat statistisch geldig is en niet slechts een gelukkige gok. Het garandeert dat als ze zeggen: "Er zijn minstens 50 slechte appels," ze 90% van de tijd gelijk hebben.

4. Wat Kan Het Tellen? (Enumeratie)

De meeste methoden zeggen alleen: "Ja, er zijn slechte appels!" of "Nee, er zijn er geen."
ACODE gaat verder. Het geeft je een ondergrens.

De Analogie: Stel je voor dat je munten in een pot telt. Je kunt ze niet allemaal duidelijk zien, maar je bent 90% zeker dat er minstens 50 munten zijn. Je weet misschien niet of er 50 of 100 zijn, maar je weet met zekerheid dat het er niet 10 zijn.
ACODE zegt tegen je: "We zijn 90% zeker dat er minstens X slechte appels in deze groep zitten." Dit heet Enumeratie.

5. Wereldwijde Voorbeelden uit het Paper

De auteurs hebben deze methode getest op twee hoofdtypen gegevens:

Synthetische Gegevens: Ze creëerden nep-gegevens waarbij ze precies wisten hoeveel "slechte" items verborgen waren. ACODE slaagde erin de groepen slechte items te vinden, zelfs toen individuele detectie faalde.
Deeltjesfysica (De LHCO-gegevens): Ze gebruikten gegevens van de Large Hadron Collider (waar wetenschappers deeltjes tegen elkaar slaan om nieuwe te vinden).
- De Uitdaging: Nieuwe deeltjes zijn als "slechte appels" verborgen in een zee van miljarden normale botsingen. Ze zijn zo zeldzaam en zwak dat het kijken naar één botsing per keer ze meestal mist.
- Het Resultaat: ACODE slaagde erin groepen botsingen te identificeren die waarschijnlijk nieuwe deeltjes bevatten, en gaf een betrouwbare telling van hoeveel "interessante" gebeurtenissen zich in de gegevens verstopten.

Samenvatting

ACODE is een nieuwe manier om verborgen patronen in gegevens te vinden. In plaats van te proberen elke enkele slechte appel te vinden, kijkt het naar de groep slechte appels. Het kiest automatisch de beste wiskundige methode om ze te vinden, gebruikt een strenge veiligheidsregel om ervoor te zorgen dat er niet wordt valsgespeeld, en geeft je een betrouwbare schatting van hoeveel slechte appels zich in de stapel verbergen.

Het werkt het beste wanneer de "slechte" dingen te zwak zijn om alleen gezien te worden, maar sterk genoeg om gezien te worden wanneer ze samen optreden.

Technische Samenvatting: Collectieve Buitengewone Detectie en Enumeratie met Geconformaliseerde Gesloten Toetsing

1. Probleemstelling

Het artikel adresseert de uitdaging van collectieve buitengewone detectie en enumeratie in scenario's waar individuele buitengewone waarnemingen moeilijk te identificeren zijn vanwege schaarste, zwakke signalen of onvatbaarheid. Waar traditionele geconformaliseerde inferentie zich heeft gericht op de identificatie van buitengewone waarnemingen op individueel niveau (controle van de False Discovery Rate voor specifieke datapunten), mist deze aanpak vaak power wanneer buitengewone waarnemingen geen significante afwijkingen vertonen in isolatie.

De auteurs definiëren twee primaire taken voor een testset $Z_{m+1}, \dots, Z_{m+n}$ tegenover een referentieset van niet-buitengewone waarnemingen (inliers) $Z_1, \dots, Z_m$ :

Buitengewone Detectie: Toetsen van de globale nulhypothese dat een subset van de testdata geen buitengewone waarnemingen bevat.
Buitengewone Enumeratie: Schatten van het aantal buitengewone waarnemingen binnen een subset door een gelijktijdige ondergrens voor het betrouwbaarheidsinterval te bieden, zonder noodzakelijkerwijs de exacte identiteit van elke buitengewone waarneming aan te wijzen.

De kernmoeilijkheid ligt in het feit dat standaard toetsen op individueel niveau (bijvoorbeeld Benjamini-Hochberg toegepast op geconformaliseerde p-waarden) kunnen falen om de globale nulhypothese te verwerpen of informatieve grenzen te bieden wanneer signalen zwak of schaars zijn. Bovendien is het moeilijk om a priori de optimale machinelearning-classificator en statistische toetsingsprocedure te selecteren, en leidt "kersenplukken" op basis van data tot selectiebias en ongeldige inferentie.

2. Methodologie: ACODE

De auteurs stellen ACODE (Automatic Conformal Outlier Detection and Enumeration) voor, een flexibel, distributie-vrij raamwerk dat geconformaliseerde inferentie, gesloten toetsing en adaptieve rangtoetsen integreert.

2.1 Geconformaliseerde Scoren en Splitsing

De methode begint met het genereren van conformiteitsscores met machinelearning-classificators die zijn getraind om buitengewone waarnemingen te onderscheiden van niet-buitengewone waarnemingen.

Classificators: Het raamwerk ondersteunt zowel een-klassenclassificators (alleen getraind op niet-buitengewone waarnemingen) als binaire classificators (getraind via positief-onbekend-leren).
Scoregeneratie: Een functie $\hat{s}$ mapt datapunten naar scalair scores. Om geldigheid te waarborgen, maakt de methode gebruik van steeksproefsplitsing. Een afstemtingsset wordt gebruikt om de beste classificator en toetsingsprocedure te selecteren, terwijl een aparte kalibratieset wordt gebruikt om geconformaliseerde p-waarden voor de testset te genereren. Deze scheiding behoudt de uitwisselbaarheid van scores van niet-buitengewone waarnemingen, conditioneel op de geselecteerde procedure, en voorkomt selectiebias.

2.2 Lokale Toetsingsprocedures

ACODE aggregeert conformiteitsscores om lokale hypothesen $H_S$ te toetsen (dat een subset $S$ geen buitengewone waarnemingen bevat). Het artikel evalueert een "gereedschapskist" van lokale toetsen, elk geschikt voor verschillende signaalstructuren:

Simes-toets: Effectief voor zeldzame, sterke signalen.
Fisher's Combinatie: Effectief voor dichte, zwakke signalen.
Wilcoxon-Mann-Whitney (WMW): Een rangtoets die is aangetoond de lokaal meest krachtige rangtoets (LMPR) te zijn onder specifieke Lehmann-alternatieven (waarbij buitengewone waarnemingen de verdeling volgen van het maximum van twee niet-buitengewone waarnemingen).
Shiraishi's LMPR-toets: Een generalisatie van WMW voor willekeurige verdelingen van buitengewone waarnemingen.
Adaptieve Rangtoets: Een datagedreven uitbreiding van Shiraishi's toets die de onbekende dichtheid van buitengewone waarnemingen $g$ niet-parametrisch schat. Theoretische resultaten (Stelling 2) tonen aan dat deze adaptieve toets dezelfde lokale asymptotische power bereikt als een orakeltoets met bekende $g$ .

2.3 Gesloten Toetsing voor Enumeratie

Om over te gaan van lokale toetsen naar globale enumeratie, hanteert ACODE het principe van gesloten toetsing (Marcus et al., 1976).

Mechanisme: De methode toetst alle mogelijke intersectiehypothesen $H_J$ voor subsets $J \subseteq [n]$ . Een ondergrens $d(S)$ voor het aantal buitengewone waarnemingen in een willekeurige subset $S$ wordt afgeleid door de grootste subset $K \subseteq S$ te vinden waarvoor de nulhypothese niet kan worden verworpen na correctie voor veelvoudigheid.
Geldigheid: Proposition 1 garandeert dat, indien de lokale toetsen geldig zijn, de resulterende ondergrenzen voldoen aan gelijktijdige dekking: $P(d(S) \le |I_1 \cap S| \text{ voor alle } S) \ge 1-\alpha$ .
Berekenings-efficiëntie: Hoewel gesloten toetsing over het algemeen exponentieel is, maakt het artikel gebruik van polynomiale tijds-shortcuts (Goeman et al., 2019; Tian et al., 2023) voor Simes-, WMW- en Fisher-toetsen, waardoor de methode schaalbaar is naar grote datasets.

2.4 Datagedreven Adaptiviteit

Een belangrijke innovatie is Algoritme 3, dat de selectie van de classificator en lokale toets automatiseert.

Proces: Het algoritme evalueert meerdere combinaties van classificators en toetsen op een afstemningsset om de ondergrens (voor enumeratie) te maximaliseren of de p-waarde (voor detectie) te minimaliseren.
Biascontrole: Door een aparte afstemningsset te gebruiken en vervolgens de geselecteerde combinatie opnieuw te evalueren op de volledige kalibratie/test-splitsing, vermijdt de methode de opgeblazen Type-I-foutpercentages die geassocieerd zijn met naïef "kersenplukken".

3. Belangrijkste Bijdragen

Het artikel levert drie primaire methodologische bijdragen:

ACODE-raamwerk: Introduceert een principiële, datagedreven methode voor buitengewone enumeratie die automatisch de optimale machinelearning-classificator en twee-steekproeftoetsingsprocedure selecteert. Het integreert gesloten toetsing met geconformaliseerde inferentie om rigoureuze, gelijktijdige ondergrenzen voor het aantal buitengewone waarnemingen te bieden.
Theoretische Uitbreidingen: Biedt asymptotische benaderingen voor de nulverdelingen van Shiraishi's lokaal meest krachtige rangtoets en de adaptieve versie daarvan onder uitwisselbare (in plaats van strikt i.i.d.) conformiteitsscores. Deze uitbreiding is cruciaal voor geldigheid in de split-conformale setting.
Adaptieve Rangtoets: Demonstreert dat een adaptieve rangtoets, die de verdeling van buitengewone waarnemingen niet-parametrisch schat, dezelfde lokale asymptotische power bereikt als een orakeltoets met volledige kennis van de verdeling van buitengewone waarnemingen (Stelling 2).

4. Empirische Resultaten

De methode werd geëvalueerd op synthetische data en real-world data uit de hoogenergetische fysica (LHCO 2020).

Synthetische Data:
- ACODE presteerde consequent beter dan methoden voor identificatie op individueel niveau (zoals Benjamini-Hochberg toegepast op geconformaliseerde p-waarden) wat betreft power voor het detecteren van de globale nulhypothese en het bieden van informatieve ondergrenzen.
- Het adaptieve selectiemechanisme slaagde erin de beste classificator (een-klassenclassificator versus binair) en toets (WMW versus Fisher versus Simes) te identificeren voor specifieke data-regimes, en benaderde de prestaties van een orakel dat de optimale combinatie kent.
- In scenario's met "adversariële" buitengewone waarnemingen (waarbij individuele scores onder-verspreid zijn en moeilijk te detecteren), presteerde de datagedreven benadering van Shiraishi's toets aanzienlijk beter dan standaardmethodes.
LHCO Data uit Hoogenergetische Fysica:
- Toegepast op 1,1 miljoen deeltjesbotsingsgebeurtenissen, slaagde ACODE erin "signaal"-gebeurtenissen (buitengewone waarnemingen) te detecteren en te enumereren tegen een achtergrond van gesimuleerde gebeurtenissen.
- De methode bood strakke 90% ondergrenzen voor het betrouwbaarheidsinterval voor het aantal buitengewone waarnemingen, en presteerde aanzienlijk beter dan de BH-procedure wat betreft informativiteit.
- Cruciaal bereikte de adaptieve versie van ACODE bijna-orakelprestaties zonder selectiebias op te lopen, terwijl een naïeve "kersenpluk"-benadering leidde tot opgeblazen Type-I-fouten.

5. Betekenis en Aanspraken

Het artikel stelt dat ACODE een robuuste oplossing biedt voor collectieve anomaliedetectie waar individuele detectie faalt. De betekenis hiervan ligt in:

Het Overbruggen van de Kloof: Het verbindt geconformaliseerde inferentie met klassieke veelvoudige toetsing en rangtoetsentheorie om te handelen met zwakke en schaarse signalen.
Principiële Adaptiviteit: Het lost het probleem van "selectiebias" op dat inherent is aan het kiezen van machinelearning-modellen en statistische toetsen, en biedt geldige inferentie zelfs wanneer de beste procedure op basis van de data wordt gekozen.
Informativiteit: In tegenstelling tot methoden die alleen specifieke buitengewone waarnemingen identificeren, biedt ACODE een statistisch gegarandeerde ondergrens voor het aantal buitengewone waarnemingen, wat een meer volledig beeld biedt van de anomaliestructuur van de data.

De auteurs merken op dat, hoewel de methode krachtig is, deze afhankelijk is van de beschikbaarheid van een schone referentieset van niet-buitengewone waarnemingen en uitwisselbaarheid veronderstelt. Toekomstig werk zou cross-validatiekaders kunnen verkennen, het omgaan met verontreinigde kalibratiedata, en het ontwikkelen van snellere berekenings-shortcuts voor de adaptieve Shiraishi-toets.