The Smallest Standard Error Is the Wrong One: Selection Among Multiple Imputations Invalidates Inference
Dit artikel으로 toont aan dat het selecteren van de meervoudig geïmputeerde analyse met de kleinste standaardfout systematisch de statistische inferentie ongeldig maakt door essentiële variantie tussen imputaties te verwerpen en de variantie binnen imputaties kunstmatig te verlagen, wat leidt tot ernstig ondergedekte betrouwbaarheidsintervallen en vertekende schattingen, terwijl de poolregels van Rubin de kalibratie correct behouden.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de wereld van data-analyse is ontbrekende informatie een constante metgezel. Of het nu gaat om het bijhouden van het herstel van patiënten in een ziekenhuis, het meten van oogstopbrengsten op een veld, of het bestuderen van economische trends, onderzoekers hebben zelden een perfecte set getallen. Sommige invoer is leeg, verloren of nooit geregistreerd. Om zin te geven aan deze hiaten, gebruiken statistici een techniek genaamd multiple imputeringsmethode (multiple imputation). In plaats van één enkele waarde te raden om een leeg gat op te vullen, creëren ze verschillende, plausibele versies van de ontbrekende gegevens. Vervolgens voeren ze hun analyse op elke versie afzonderlijk uit. Deze benadering erkent dat de ontbrekende getallen onbekend zijn en dat verschillende gokken tot licht afwijkende conclusies kunnen leiden. Door de resultaten van al deze versies te combineren, kunnen analisten een definitief antwoord produceren dat eerlijk zowel de gegevens die ze hebben als de onzekerheid over wat er ontbreekt, weerspiegelt. Het doel is om ervoor te zorgen dat het gerapporteerde vertrouwen in een resultaat overeenkomt met de realiteit van de situatie.
Een team van onderzoekers uit Zuid-Afrika heeft onlangs ontdekt dat een ogenschijnlijk logische afkorting in dit proces de wiskunde daadwerkelijk breekt. Ze ontdekten dat wanneer analisten meerdere versies van hun gegevens genereren en vervolgens de versie kiezen die het meest precies lijkt — specifiek de versie met de kleinste foutenmarge — ze zichzelf voor de gek houden. Deze keuze, die lijkt op een manier om de focus van een studie aan te scherpen, verbergt systematisch de ware mate van onzekerheid. De onderzoekers toonden aan dat door het "beste uitziende" resultaat uit een groep kandidaten te selecteren, analisten precies de informatie weggooien die de methode betrouwbaar maakt. Ze bewezen dat deze praktijk leidt tot betrouwbaarheidsintervallen die te smal zijn en punt-schattingen die subtiel vertekend zijn, waardoor de bevindingen zekerder lijken dan ze werkelijk zijn.
De studie begon met het onderzoeken van een natuurlijke verleiding in statistisch werk. Wanneer een onderzoeker twintig verschillende voltooide datasets heeft, elk met een eigen berekende schatting en een maatstaf voor hoeveel die schatting kan variëren, is het verleidelijk om de ene te kiezen met de kleinste variatie. Een kleinere variatie suggereert een strakker, nauwkeuriger resultaat, wat wetenschappers meestal willen rapporteren. De onderzoekers, die deze benadering eerder hadden verdedigd, besloten deze rigoureus te testen. Ze zetten een gecontroleerde simulatie op waarbij ze het ware antwoord vooraf kenden. Ze genereerden duizenden datasets met ontbrekende waarden, creëerden twintig verschillende geïmputeerde versies voor elk, en pasten vervolgens de selectieregel toe: kies de versie met de kleinste geschatte fout.
De resultaten waren onomwonden. In hun simulaties, waar het ware antwoord bekend was, produceerde de methode van het kiezen van de kleinste fout betrouwbaarheidsintervallen die het ware antwoord slechts ongeveer 84,5% van de tijd bevatten, terwijl ze dat 95% van de tijd zouden moeten bevatten. Dit betekent dat de methode vaker faalde om de waarheid te vatten dan zij zou moeten doen. De onderzoekers identificeerden drie duidelijke redenen voor deze mislukking. Ten eerste, door slechts één dataset te kiezen en te behandelen alsof het de enige echte data was, gooide de methode de variatie tussen de verschillende gokken weg. Deze variatie is cruciaal omdat deze de onzekerheid over de ontbrekende getallen vertegenwoordigt. Ten tweede zorgt de handeling van het kiezen van het kleinste getal uit een groep van twintig er natuurlijk voor dat het resultaat naar beneden wordt vertekend. Net zoals de kleinste persoon in een kamer van twintig waarschijnlijk kleiner is dan de gemiddelde persoon in de algemene populatie, is de kleinste foutschatting uit een groep van twintig waarschijnlijk kleiner dan de ware gemiddelde fout. Ten derde, omdat de schatting van de waarde en de schatting van de fout vaak aan elkaar gekoppeld zijn, kiest het kiezen van de kleinste fout onbedoeld een specif kind van een waarde, waardoor het uiteindelijke antwoord van de waarheid afwijkt.
Om de ernst van het probleem te illustreren, vergeleken de onderzoekers deze selectiemethode met de standaard, geaccepteerde manier van omgaan met multiple imputaties, bekend als de regels van Rubin. In plaats van één winnaar te kiezen, combineren de regels van Rubin al twintig gokken tot een enkel, gemiddeld resultaat. Wanneer de onderzoekers deze standaardmethode toepasten op exact dezelfde twintig gokken, waren de resultaten perfect gekalibreerd. De betrouwbaarheidsintervallen bevatten het ware antwoord 94,6% van de tijd, precies op doel. De selectiemethode daarentegen leek op papier nauwkeuriger, met een nauwer bereik van onzekerheid te rapporteren, maar die precisie was een illusie die betaald werd met de prijs van accuratesse.
De studie onderzocht ook wat er gebeurt als onderzoekers het aantal gokken dat ze genereren vergroten. Standaardadvies suggereert dat het gebruik van meer imputaties leidt tot betere, stabielere resultaten. Echter, voor de selectiemethode gebeurde het tegenovergestelde. Naarmate de onderzoekers het aantal kandidaat-datasets vergrootten van twee naar honderd, verslechterde de prestaties van de selectiemode. De betrouwbaarheidsintervallen werden nog minder betrouwbaar en bevatten de waarheid slechts 81,7% van de tijd, terwijl de vertekening in het uiteindelijke antwoord groter werd. In contrast hiermee bleef de standaardmethode van het combineren van alle gokken stabiel en accuraat, ongeacht hoeveel gokken er werden gebruikt. Dit onthulde een gevaarlijke valstrik: een analist die het advies volgt om meer data te gebruiken om voorzichtiger te zijn, zou door het gebruik van de selectiemethode de eigen inferentie minder betrouwbaar maken zonder enige waarschuwingssignalen in de output.
De onderzoekers concludeerden dat de standaardfout niet zowel de doelstelling van een analyse als de rechter van het succes kan dienen. Je kunt niet optimaliseren voor de kleinste fout en vervolgens die fout vertrouwen als een eerlijke maatstaf voor onzekerheid. Ze stelden een nieuw protocol voor het evalueren van statistische methoden voor: voordat onderzoekers de precisie van verschillende methoden vergelijken, moeten ze eerst controleren of hun gerapporteerde onzekerheid overeenkomt met de werkelijke variabiliteit van de resultaten. Ze noemden dit een "kalibratie-eerst"-benadering. Als een methode een fout rapporteert die te klein is in verhouding tot de waarheid, moet deze onmiddellijk worden afgewezen, ongeacht hoe smal de betrouwbaarheidsintervallen er ook uitzien. Deze regel zou voorkomen dat de selectiemethode ooit als een winnaar verschijnt in een eerlijke vergelijking.
Dit werk dient als een correctie op een specifiek, aantrekkelijk idee in de data science. De onderzoekers gaven toe dat zij de selectiemethode zelf eerder hadden voorgesteld, in de veronderstelling dat het een geldige verfijning was. Door hun eigen werk te heronderzoeken met een rigoureuze simulatie die de waarheid kende, toonden ze aan dat de methode fundamenteel gebrekkig is. Ze benadrukten dat deze mislukking geen klein technisch detail is, maar een structureel probleem dat de statistische inferentie ongeldig maakt. De oplossing die ze bieden is simpel: kies geen winnaar. Combineer in plaats daarvan alle kandidaten. Door de resultaten te poolen, behoudt de methode de noodzakelijke onzekerheid en produceert het geldige, betrouwbare conclusies. De studie staat als een herinnering dat in de zoektocht naar precisie, de meest aantrekkelijke afkorting soms de weg is die van de waarheid afleidt.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.