The Smallest Standard Error Is the Wrong One: Selection Among Multiple Imputations Invalidates Inference
Diese Arbeit zeigt auf, dass die Auswahl der multiplen Imputationsanalyse mit dem kleinsten Standardfehler die statistische Inferenz systematisch invalide macht, indem sie die essenzielle Varianz zwischen den Imputationen verwirft und die Varianz innerhalb der Imputationen künstlich verringert, was zu schwer unterdeckten Konfidenzintervallen und verzerrten Schätzungen führt, während die Pooling-Regeln nach Rubin die Kalibrierung korrekt bewahren.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der Welt der Datenanalyse ist fehlende Information ein ständiger Begleiter. Ob man nun die Genesung von Patienten in einem Krankenhaus verfolgt, Ernteerträge auf einem Feld misst oder Wirtschaftstrends untersucht – Forscher verfügen selten über einen perfekten Datensatz. Einige Einträge sind leer, verloren gegangen oder wurden nie aufgezeichnet. Um diese Lücken sinnvoll zu füllen, verwenden Statistiker eine Technik namens multiple Imputation. Anstatt einen einzelnen Wert zu raten, um eine leere Stelle auszufüllen, erstellen sie mehrere verschiedene, plausible Versionen der fehlenden Daten. Sie führen ihre Analyse dann auf jeder dieser Versionen separat durch. Dieser Ansatz erkennt an, dass die fehlenden Zahlen unbekannt sind und dass unterschiedliche Vermutungen zu leicht unterschiedlichen Schlussfolgerungen führen könnten. Durch die Kombination der Ergebnisse aus all diesen Versionen können Analysten ein Endergebnis liefern, das sowohl die vorhandenen Daten als das Unwissen über das Fehlende ehrlich widerspiegelt. Das Ziel ist es, sicherzustellen, dass das berichtete Vertrauen in ein Ergebnis der Realität der Situation entspricht.
Einem Team von Forschern aus Südafrika ist kürzlich aufgefallen, dass eine scheinbar logische Abkürzung in diesem Prozess die Mathematik bricht. Sie fanden heraus, dass Analysten sich selbst täuschen, wenn sie mehrere Versionen ihrer Daten generieren und dann diejenige Version auswählen, die am präzisesten erscheint – insbesondere diejenige mit der geringsten Fehlermarge. Diese Wahl, die wie ein Weg aussieht, den Fokus einer Studie zu schärfen, verbirgt systematisch das wahre Ausmaß der Unsicherheit. Die Forscher zeigten, dass Analysten durch die Auswahl des „bestaussehenden“ Ergebnisses aus einer Gruppe von Kandidaten genau die Information wegwerfen, die die Methode zuverlässig macht. Sie bewiesen, dass diese Praxis dazu führt, dass Konfidenzintervalle zu eng und Punktschätzungen subtil verzerrt sind, was die Ergebnisse fundierter erscheinen lässt, als sie tatsächlich sind.
Die Studie begann mit der Untersuchung einer natürlichen Versuchung in der statistischen Arbeit. Wenn ein Forscher zwanzig verschiedene vollständige Datensätze hat, von denen jeder seine eigene berechnete Schätzung und ein Maß dafür besitzt, wie sehr diese Schätzung variieren kann, ist es verlockend, diejenige zu wählen, die die geringste Variation aufweist. Eine geringere Variation suggeriert ein engeres, präziseres Ergebnis, was Wissenschaftler normalerweise berichten wollen. Die Forscher, die diesen Ansatz zuvor selbst verteidigt hatten, beschlossen, ihn streng zu testen. Sie richteten eine kontrollierte Simulation ein, bei der sie die wahre Antwort im Voraus kannten. Sie erzeugten tausende Datensätze mit fehlenden Werten, erstellten jeweils zwanzig verschiedene imputierte Versionen und wandten dann die Auswahlregel an: Wähle die Version mit dem kleinsten geschätzten Fehler.
Die Ergebnisse waren drastisch. In ihren Simulationen, in denen die wahre Antwort bekannt war, lieferte die Methode, die kleinste Fehlermarge zu wählen, Konfidenzintervalle, die die wahre Antwort nur etwa 84,5 % der Zeit abdeckten, obwohl sie eigentlich 95 % der Zeit abdecken sollten. Das bedeutet, dass die Methode die Wahrheit häufiger verfehlte, als sie es sollte. Die Forscher identifizierten drei deutliche Gründe für dieses Scheitern. Erstens: Indem man nur einen Datensatz wählt und ihn so behandelt, als wäre er die einzige realen Datenquelle, wirft die Methode die Variation zwischen den verschiedenen Vermutungen weg. Diese Variation ist entscheidend, da sie die Unsicherheit über die fehlenden Zahlen repräsentiert. Zweitens: Der Akt, den kleinsten Wert aus einer Gruppe von zwanzig auszuwählen, verzerrt das Ergebnis natürlich nach unten. So wie die kleinste Person in einem Raum von zwanzig Personen wahrscheinlich kleiner ist als der Durchschnitt der allgemeinen Bevölkerung, ist auch die kleinste Fehlerschätzung aus einer Gruppe von zwanzig wahrscheinlich kleiner als der wahre durchschnittliche Fehler. Drittens: Da die Schätzung des Wertes und die Schätzung seines Fehlers oft miteinander verknüpft sind, führt die Wahl des kleinsten Fehlers unbeabsichtigt zu einem spezifischen Typ von Wert, was die endgültige Antwort von der Wahrheit weg verschiebt.
Um die Schwere des Problems zu verdeutlichen, verglichen die Forscher diese Auswahlmethode mit dem Standardverfahren für den Umgang mit multiplen Imputationen, bekannt als Rubins Regeln. Anstatt einen Gewinner zu küren, kombinieren Rubins Regeln alle zwanzig Vermutungen zu einem einzigen, gemittelten Ergebnis. Als die Forscher diese Standardmethode auf exakt dieselben zwanzig Vermutungen anwandten, waren die Ergebnisse perfekt kalibriert. Die Konfidenzintervalle deckten die wahre Antwort 94,6 % der Zeit ab, also genau im Zielbereich. Die Auswahlmethode hingegen sah auf dem Papier präziser aus und berichtete über einen engeren Bereich der Unsicherheit, aber diese Präzision war eine Illusion, die auf Kosten der Genauigkeit erkauft wurde.
Die Studie untersuchte auch, was passiert, wenn Forscher die Anzahl der generierten Vermutungen erhöhen. Der Standardrat besagt, dass die Verwendung von mehr Imputationen zu besseren, stabileren Ergebnissen führt. Für die Auswahlmethode jedoch geschah das Gegenteil. Als die Forscher die Anzahl der Kandidaten-Datensätze von zwei auf einhundert erhöhten, verschlechterte sich die Leistung der Auswahlmethode. Die Konfidenzintervalle wurden noch unzuverlässiger und deckten die wahre Antwort nur noch 81,7 % der Zeit ab, während die Verzerrung im endgültigen Wert größer wurde. Im Gegensatz dazu blieb die Standardmethode der Kombination aller Vermutungen stabil und genau, unabhängig davon, wie viele Vermutungen verwendet wurden. Dies offenbarte eine gefährliche Falle: Ein Analyst, der dem Rat folgt, mehr Daten zu verwenden, um vorsichtiger zu sein, würde durch die Verwendung der Auswahlmethode seine Schlussfolgerungen tatsächlich weniger zuverlässig machen, ohne dass es Warnsignale in seinen Ergebnissen gäbe.
Die Forscher kamen zu dem Schluss, dass der Standardfehler nicht sowohl das Ziel einer Analyse als auch der Richter über deren Erfolg sein kann. Man kann nicht auf den kleinsten Fehler optimieren und dann diesen Fehler als ehrliches Maß für die Unsicherheit vertrauen. Sie schlugen ein neues Protokoll zur Bewertung statistischer Methoden vor: Bevor Forscher vergleichen, wie präzise verschiedene Methoden sind, müssen sie zuerst prüfen, ob ihre berichtete Unsicherheit mit der tatsächlichen Variabilität der Ergebnisse übereinstimmt. Sie nannten dies einen „Kalibrierung zuerst“-Ansatz. Wenn eine Methode einen Fehler angibt, der im Vergleich zur Wahrheit zu klein ist, sollte sie sofort abgelehnt werden, ungeachtet dessen, wie eng ihre Konfidenzintervalle auch erscheinen mögen. Diese Regel würde verhindern, dass die Auswahlmethode jemals als Gewinner in einem fairen Vergleich erscheint.
Diese Arbeit dient als Korrektur einer spezifischen, attraktiven Idee in der Datenwissenschaft. Die Forscher gaben zu, dass sie die Auswahlmethode zuvor selbst vorgeschlagen hatten, in dem Glauben, es handele sich um eine gültige Verfeinerung. Durch die erneute Untersuchung ihrer eigenen Arbeit mit einer strengen Simulation, die die Wahrheit kannte, demonstrierten sie, dass die Methode grundlegend fehlerhaft ist. Sie betonten, dass dieses Scheitern keine geringfügige technische Nuance ist, sondern ein strukturelles Problem, das die statistische Schlussfolgerung ungültig macht. Die Lösung, die sie anbieten, ist einfach: Wählen Sie keinen Gewinner. Kombinieren Sie stattdessen alle Kandidaten. Durch das Zusammenführen der Ergebnisse bewahrt die Methode die notwendige Unsicherheit und liefert valide, vertrauenswürdige Schlussfolgerungen. Die Studie steht als Mahnung, dass im Streben nach Präzision die attraktivste Abkürzung manchmal der Weg sein kann, der von der Wahrheit wegführt.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.