Valid inference for regression with best subset selection
Diese Arbeit schlägt rechnerisch effiziente, für endliche Stichproben gültige Inferenzverfahren für die Best-Subset-Selektion vor, indem sie die Geometrie des AIC-Selektionsereignisses als Vereinigung von Intervallen charakterisiert und dadurch eine exakte Konditionierung ermöglicht, die zuverlässige p-Werte und Konfidenzintervalle erzeugt, welche die frequentistischen Defizite konventioneller Post-Selektionsmethoden korrigieren.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der Welt der Datenwissenschaft stehen Forscher oft vor einem Rätsel mit zu vielen Puzzleteilen. Sie haben eine Sammlung von Fakten – Zahlen, die Einkommen, Temperatur oder Testergebnisse messen – und sie wollen die spezifische Kombination dieser Fakten finden, die ein bestimmtes Ergebnis am besten erklärt, wie etwa, wie viel eine Person ausgibt oder wie schnell eine Pflanze wächst. Um dies zu lösen, verwenden sie eine Methode namens Variablenselektion, was im Wesentlichen ein Prozess des Durchsiebens der Daten ist, um nur die nützlichsten Hinweise zu behalten und den Rest zu verwerfen. Eines der populärsten Werkzeuge für diese Aufgabe ist eine Regel namens Akaike-Informationskriterium, oder AIC. Betrachten Sie es als einen strengen Richter, der abwägt, wie gut ein Modell zu den Daten passt, gegen die Frage, wie kompliziert es ist, und die Version wählt, die die beste Balance bietet. Wissenschaftler verlassen sich auf diesen Richter, um ihnen zu sagen, welche Variablen wichtig sind, und dann nutzen sie Standard-Statistikwerkzeuge, um zu erklären, ob diese Variablen wirklich signifikant sind oder nur glückliche Zufälle.
Es gibt jedoch eine versteckte Falle in diesem gängigen Arbeitsablauf. Die Standardwerkzeuge, die zur Messung der Signifikanz verwendet werden, wurden für eine Welt entwickelt, in der das Modell ausgewählt wurde, bevor jemals Daten gesehen wurden. Wenn ein Forscher die Daten selbst nutzt, um zuerst das Modell auszuwählen, und dann diese Standardwerkzeuge auf das Ergebnis anwendet, bricht die Mathematik zusammen. Die Standardwerkzeuge setzen voraus, dass das Modell im Voraus festgelegt war, aber da das Modell tatsächlich basierend auf den Daten ausgewählt wurde, werden die Standardwerkzeuge übermäßig optimistisch. Sie neigen dazu, Dinge als signifikant zu deklarieren, wenn sie es nicht sind, was zu falschen Entdeckungen und Konfidenzintervallen führt, die zu schmal sind, um vertrauenswürdig zu sein. Dies ist ein Problem, das alles von der medizinischen Forschung bis zur Wirtschaftsprognose betrifft, da es dazu führen kann, dass Wissenschaftler feste Schlussfolgerungen auf wackeligen Gründen ziehen.
Ein Team von Statistikern an der Rice University hat einen neuen Weg entwickelt, um diese kaputte Mathematik zu reparieren. Sie konzentrierten sich speziell auf das Szenario, in dem das Akaike-Informationskriterium verwendet wird, um die beste Teilmenge von Variablen aus einer großen Liste auszuwählen. Anstatt die Tatsache zu ignorieren, dass das Modell aus den Daten ausgewählt wurde, baut ihre neue Methode die Unsicherheit direkt in die Berechnung ein. Sie entdeckten, dass der Akt der Modellauswahl eine spezifische, messbare Form im Verhalten der Daten erzeugt. Stellen Sie sich die möglichen Werte für ein Ergebnis als eine lange Linie vor; der Selektionsprozess schneidet effektiv bestimmte Abschnitte dieser Linie heraus und lässt nur spezifische Segmente übrig, in denen das Ergebnis gelandet sein könnte. Indem sie genau verstehen, welche Segmente herausgeschnitten wurden, können die Forscher die korrekte Wahrscheinlichkeitsverteilung für das Ergebnis rekonstruieren. Dies ermöglicht es ihnen, p-Werte und Konfidenzintervalle zu berechnen, die mathematisch valide sind, selbst nachdem das Modell ausgewählt wurde.
Die Forscher bewiesen, dass dieser neue Ansatz funktioniert, indem sie tausende Computer-Simulationen durchführten. In diesen Tests generierten sie Daten, bei denen sie die Wahrheit im Voraus kannten. Wenn sie die alten, Standardmethoden verwendeten, versagten die Konfidenzintervalle weita viel öfter als sie sollten, und die Tests deklarierten falsche Signale als echte Entdeckungen mit einer Rate von fast vierzig Prozent statt der beabsichtigten fünf Prozent. Im Gegensatz dazu brachten ihre neue, korrigierte Methode die Fehlerraten zurück auf die korrekten Niveaus. Die von ihnen produzierten Konfidenzintervalle waren breiter und ehrlicher und spiegelten die durch den Selektionsprozess eingeführte Unsicherheit genau wider. Diese Korrektur ist besonders wichtig, wenn das ausgewählte Modell dem vollen Satz an Variablen entspricht, eine Situation, in der die alten Methoden überraschend anfällig für Fehler sind.
Um zu zeigen, dass dies in der realen Welt funktioniert, wandte das Team seine Methode auf einen klassischen Datensatz über den privaten Konsum in den Vereinigten Staaten an, der den Zeitraum von 1970 bis 2016 umfasst. Dieser Datensatz enthielt vier potenzielle Prädiktoren: das verfügbare persönliche Einkommen, die Industrieproduktion, Ersparnisse und die Arbeitslosenquote. Als die Standardsoftware die Analyse durchführte, wählte sie das vollständige Modell mit allen vier Variablen aus. Der konventionelle statistische Test erklärte dann, dass die Industrieproduktion ein signifikanter Prädiktor für die Ausgaben sei, mit einem Konfidenzintervall, das die Null nicht einschließt. Als die Forscher jedoch ihre neue Korrektur anwandten, änderte sich das Bild. Die korrigierte Analyse zeigte, dass die Beweise für die Industrieproduktion nicht stark genug waren, um den Zufall auszuschließen; ihr Konfidenzintervall schloss nun die Null ein, was bedeutete, dass sie nicht mehr statistisch signifikant war. Die korrigierten Ergebnisse stimmten perfekt mit den ursprünglichen Selektionswerten überein, die bereits angedeutet hatten, dass Einkommen und Ersparnisse die dominierenden Faktoren waren, während die Produktion weniger wichtig war.
Das Team befasste sich auch mit einer zweiten, schwierigeren Herausforderung: Was passiert, wenn das Ausmaß des Rauschens oder Fehlers in den Daten unbekannt ist, was in der Realität fast immer der Fall ist. Die Standardpraxis besteht darin, das Rauschniveau zu schätzen und diese Schätzung in die Formel einzusetzen, aber die Forscher fanden heraus, dass diese Abkürzung auch in kleineren Datensätzen zu inflierten Fehlerraten führen kann. Um dies zu lösen, entwickelten sie eine computerintensive Technik, die den Selektionsprozess tausende Male simuliert, um eine maßgeschneiderte Karte der Wahrscheinlichkeiten zu erstellen. Obwohl dies mehr Rechenleistung erfordert, stellt es sicher, dass die Schlussfolgerungen selbst dann gültig bleiben, wenn das Rauschniveau unbekannt ist. Ihre Arbeit zeigt, dass Wissenschaftler, indem sie die Realität dessen anerkennen, wie Modelle ausgewählt werden, der Falle falscher Zuversicht entgehen und zu Erkenntnissen gelangen können, die sowohl statistisch fundiert als auch konsistent mit den Belegen sind.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.