Mirror and knockoff+ thresholds under dependence

Stel je voor dat je een detective bent die een enorme zaak probeert op te lossen met honderden verdachten. Je hebt een speciale test die elke verdachte een score geeft: een hoge positieve score betekent dat ze waarschijnlijk schuldig zijn, terwijl een hoge negatieve score betekent dat ze waarschijnlijk onschuldig zijn. Het probleem is dat je test niet perfect is; soms krijgen onschuldige mensen hoge scores door puur pech. Om eerlijk te zijn, moet je uitzoeken hoeveel van je "schuldige" vonnissen eigenlijk fouten zijn. Dit is de wereld van multiple testing, een tak van de statistiek die overal wordt gebruikt, van medische proeven tot genetica. Het doel is om de False Discovery Rate (FDR) te beheersen, wat simpelweg het percentage van je "schuldige" lijst is dat eigenlijk uit onschuldige mensen bestaat.

Decennialang hebben statistici een slimme truc gebruikt om deze fouten te schatten. Ze gaan ervan uit dat als een verdachte echt onschuldig is, de score net zo waarschijnlijk positief als negatief is, zoals een eerlijke muntworp. Dus als je 100 mensen met hoge positieve scores ziet, kijk je naar hoeveel onschuldige mensen met hoge negatieve scores hebben. Als je ziet dat 10 onschuldige mensen hoge negatieve scores hebben, raad je dat ongeveer 10 van je 100 "schuldige" mensen eigenlijk onschuldig zijn. Deze "spiegel"-idee werkt prachtig wanneer de verdachten onafhankelijk zijn — wanneer het geluk van de één de ander niet beïnvloedt. Maar wat gebeurt er als de verdachten met elkaar verbonden zijn? Wat als ze allemaal een gemeenschappelijke bron van ruis delen, zoals een groep vrienden die allemaal hetzelfde slechte weerbericht krijgen? Dit is de vraag die de research in dit artikel drijft.

Het artikel, getiteld "Mirror and knockoff+ thresholds under dependence", stelt een eenvoudige maar schokkende vraag: Wat gebeurt er als we deze spiegel-truc gebruiken op een groep verdachten die elkaar stiekem beïnvloeden? De auteur, Xianyang Zhang, ontdekt dat de methode volledig kan instorten, wat leidt tot een ramp waarbij het aantal onschuldige mensen die onterecht beschuldigd worden, veel hoger is dan men verwacht.

Het artikel bewijst dat de "spiegel"-methode steunt op een zeer specifieke, sterke voorwaarde: dat zodra je weet hoe "luid" de score van een verdachte is, het teken (positief of negatief) een nieuwe, onafhankelijke muntworp moet zijn. Het artikel laat zien dat als deze voorwaarde ontbreekt — zelfs als de scores op zichzelf perfect normaal en symmetrisch lijken — de methode faalt.

Hier zijn de drie manieren waarop het artikel deze mislukking aantoont, met behulp van levendige scenario's:

1. De "Geheime Stemming"-val (Niet-Gaussisch voorbeeld)
Stel je een groep van elf verdachten voor. Onwetend voor jou is er een "geheime stemming"-variabele die een munt werpt. Als de munt op kop valt, maakt de geheime stemming het iets waarschijnlijker dat alle elf verdachten positieve scores krijgen. Als het munt is, is het waarschijnlijker dat ze negatieve scores krijgen. Individueel gezien ziet elke verdachte er nog steeds volkomen eerlijk uit (hun scores zijn uniform verdeeld). Maar omdat ze allemaal reageren op dezelfde geheime stemming, neigen ze samen te bewegen.
Het artikel berekent dat als je de spiegel-methode op deze groep toepast, het foutpercentage stijgt van de doelstelling van 10% naar 17,4%. In een iets andere opstelling binnen dezelfde familie van voorbeelden, kan het foutpercentage oplopen tot wel 50%. Dit betekent dat de helft van je "schuldige" lijst onschuldig zou kunnen zijn, ook al zag elke verdachte er op zichzelf volkomen eerlijk uit.

2. Het "Gemeenschappelijke Wind"-probleem (Vaste Gaussische Correlatie)
Stel je nu voor dat de verdachten allemaal in een veld staan. Er waait een zachte, constante wind vanuit het oosten (een gemeenschappelijke factor). Zelfs als de wind heel zwak is, duwt hij iedereen een klein beetje naar rechts (positief).
Het artikel bewst dat als je een enorm aantal verdachten hebt (honderden of duizenden), deze kleine, gedeelde wind een groot probleem veroorzaakt. Naarmate de groep groter wordt, begint de spiegel-methode veel meer positieve scores te zien dan negatieve, niet omdat de verdachten schuldig zijn, maar omdat de wind hen allemaal bij elkaar heeft geduwd. Het artikel laat zien dat voor elke vaste positieve correlatie, hoe klein ook, het foutpercentage uiteindelijk klimt naar 50% naarmate het aantal hypothesen groeit. Dit is een directe waarschuwing: zelfs een heel klein beetje gedeelde ruis kan de spiegel-methode in grote groepen breken.

3. De "Verschillende Schalen"-nachtmerrie (Worst-case scenario)
Ten slotte kijkt het artikel naar een scenario waarin de verdachten verschillende "gevoeligheden" hebben. Sommigen zijn zeer gevoelig voor de wind (grote schaal), terwijl anderen minder gevoelig zijn (kleine schaal). De auteur construeert een wiskundig model waarbij de wind op een manier waait die de spiegel-methode perfect bedriegt.
In dit worst-case scenario bewijst het artikel dat het foutpercentage bijna 100% kan worden. Dit betekent dat je honderd onschuldige mensen zou kunnen beschuldigen en nul controles zou vinden om je tegen te houden, simpelweg omdat de schalen van hun scores verschillend waren.

Wat dit betekent
Het artikel is voorzichtig om te zeggen dat dit niet betekent dat de beroemde "Knockoff"-methode (een geavanceerdere versie van de spiegel-truc) kapot is. De geavanceerde methode werkt omdat deze speciale "knockoff" controles bouwt die ontworpen zijn om van plaats te wisselen met de verdachten, waardoor de onafhankelijkheid van de muntworpen behouden blijft. Het probleem ontstaat wanneer mensen proberen de eenvoudige spiegel-formule te gebruiken op data die niet over deze speciale structuur beschikken.

De belangrijkste les is dat symmetrie niet genoeg is. Alleen omdat elke individuele verdachte er eerlijk uitziet, betekent niet dat de groep samen eerlijk handelt. Als de verdachten verbonden zijn door een gemeenschappelijke factor, kan de spiegel-methode worden misleid om te denken dat er minder fouten zijn dan er in werkelijkheid zijn. Het artikel gebruikt exacte wiskundige bewijzen en computersimulaties om aan te tonen dat deze mislukkingen niet slechts theoretisch zijn; ze kunnen voorkomen bij matige groepsgroottes (zoals 11 tot 1.000 mensen) en zijn zichtbaar in echte data.

Kortom, het artikel waarschuwt ons: Vertrouw de spiegel niet als de verdachten elkaars hand vasthouden. Als ze een gemeenschappelijke bron van invloed delen, zal de eenvoudige truc om het aantal negatieve scores te tellen om positieve fouten te schatten falen, wat potentieel kan leiden tot een vloedgolf aan valse beschuldigingen.