Proper Bayes minimax multiple shrinkage estimation

Stellen Sie sich vor, Sie versuchen, den Ort eines verborgenen Schatzes auf einer riesigen, unsichtbaren Karte zu erraten. Sie haben einen Kompass (Ihre Daten), der Ihnen die richtige Richtung weist, aber er ist ein wenig wackelig und anfällig für ein Zittern. In der Welt der Statistik ist das so, als würde man versuchen, den wahren Durchschnitt einer Gruppe von Dingen zu erraten – wie etwa die durchschnittliche Körpergröße von Schülern in einer Schule oder die durchschnittliche Temperatur in einer Stadt –, wenn man nur eine verrauschte Stichprobe hat. Lange Zeit war die beste Faustregel, dem Kompass genau so zu vertrauen, wie er zeigte. Wenn Ihr Kompass sagte: „Gehe 5 Meilen nach Norden“, dann gingen Sie 5 Meilen nach Norden. Dies galt als die „sichere“ Wette, da es im Durchschnitt durch keine andere einfache Methode geschlagen werden konnte.

Doch in den 1950er Jahren entdeckte ein Mathematiker namens Charles Stein ein bahnbrechendes Geheimnis: Wenn Sie mehr als zwei Dinge gleichzeitig erraten (wie die durchschnittliche Größe, das Gewicht und die Schuhgröße eines Schülers zusammen), ist es tatsächlich eine schlechte Idee, Ihrem Kompass blind zu vertrauen. Es stellt sich heraus, dass man besser fahren kann, indem man seine Schätzung in Richtung eines zentralen Punktes „schrumpft“ (shrinkage), wie etwa zum Zentrum der Karte. Es ist so, als würde man sagen: „Mein Kompass sagt, gehe 5 Meilen nach Norden, aber da ich normalerweise etwas daneben liege, gehen wir lieber nur 4 Meilen nach Norden.“ Dieser „Schrumpfungs“-Trick funktioniert so gut, dass er die alte Faustregel fast jedes Mal schlägt. Aber hier ist der Haken: Dieser Trick funktioniert meistens am besten, wenn man genau weiß, wo das Zentrum ist. Was ist, wenn Sie eine Ahnung haben, dass der Schatz in der Nähe eines Berges liegt, aber auch eine Ahnung haben, dass er in der Nähe eines Flusses liegen könnte? Sie haben zwei verschiedene „Zentren“, in Richtung derer Sie schrumpfen können, und Sie wissen nicht, welches richtig ist. Dies ist das Rätsel, das Statistiker seit Jahrzehnten zu lösen versuchen: Wie baut man eine intelligente Ratemaschine, die gleichzeitig in Richtung mehrerer möglicher Ziele schrumpfen kann, ohne die Regeln des Spiels zu brechen?

Dieses Papier, geschrieben von Pankaj Bhagwat, William E. Strawderman und Edward I. George, knackt endlich diesen Code. Die Autoren zeigen zum ersten Mal, dass es möglich ist, eine „korrekte“ Ratemaschine zu bauen, die in Richtung mehrerer Ziele schrumpft und garantiert die bestmögliche Wahl ist (eine Eigenschaft namens „Minimaxität“), während sie gleichzeitig mathematisch „korrekt“ ist (was bedeutet, dass sie alle strengen Regeln der Wahrscheinlichkeit befolgt, ohne zu schummeln).

Vor dieser Entdeckung mussten Statistiker zwischen zwei schlechten Optionen wählen. Sie konnten eine Maschine bauen, die in Richtung mehrerer Ziele schrumpfte, aber sie musste „improper“ (unangemessen) sein – eine schicke Art zu sagen, dass sie auf einem mathematischen Trick basierte, der im eigentlichen Sinne der Wahrscheinlichkeit nicht ganz Sinn ergab. Oder sie konnten eine „korrekte“ Maschine bauen, die alle Regeln befolgte, aber sie konnte nur in Richtung eines einzigen Ziels schrumpfen. Die Autoren erkannten, dass die alten Tricks zu starr waren. Sie fanden einen neuen Weg, um diese Maschinen zu konstruieren, indem sie eine spezielle Art von mathematischem „Sicherheitsnetz“ (eine quadratwurzel-superharmonische Randverteilung) verwendeten, die es der Maschine ermöglicht, sowohl korrekt als auch flexibel zu sein.

Denken Sie an ein intelligentes GPS. Das alte „Einzelziel“-GPS wusste nur, wie man zu einer bestimmten Stadt navigiert. Das alte „Mehrziel“-GPS konnte zwar eine Liste von Städten betrachten und die beste auswählen, aber es war auf einem wackeligen Fundament gebaut, das es langfristig unzuverlässig machte. Das neue GPS in diesem Papier ist auf festem Boden gebaut. Es betrachtet eine Liste möglicher Städte (Ziele), prüft den Verkehr (die Daten) und mischt seine Route sanft in Richtung der vielversprechendsten Stadt. Wenn die Daten aussehen, als läge der Schatz beim Berg, schrumpft es die Schätzung in Richtung des Berges. Wenn die Daten aussehen, als läge er beim Fluss, schrumpft es in Richtung des Flusses. Und wenn die Daten verwirrend sind, findet es einen perfekten Mittelweg.

Die Autoren haben dies nicht nur erdacht; sie haben es mit strenger Mathematik bewiesen und mit Computersimulationen getestet. Sie zeigten, dass ihre neue Methode perfekt funktioniert, wenn die Anzahl der zu erratenden Dinge fünf oder mehr beträgt. Sie erstellten sogar ein spezifisches Beispiel unter Verwendung einer Art von Prior (einer Ausgangsvermutung) namens „Strawderman-Prior“, die wie ein flexibles Gummiband wirkt, das sich über mehrere Ziele dehnen kann. In ihren Simulationen stellten sie Szenarien mit zwei verschiedenen Zielen auf, die weit voneinander entfernt sind. Sie fanden heraus, dass ihr neuer „Mehrfach-Schrumpfungs“-Schätzer unglaublich effektiv war und den Fehler der Schätzung fast so stark reduzierte wie der beste Einzelziel-Schätzer es tun konnte, jedoch ohne im Voraus wissen zu müssen, welches Ziel das richtige ist.

Einer der spannendsten Teile dieser Entdeckung ist, dass die „Gewichte“, die die Maschine verwendet, um zu entscheiden, wie viel Vertrauen sie in welches Ziel setzt, als reale Wahrscheinlichkeiten verstanden werden können. In den alten, „improperen“ Methoden waren diese Gewichte nur mathematische Platzhalter ohne echte Bedeutung. In dieser neuen Methode kann die Entscheidung der Maschine, sich zu 70 % zum Berg und zu 30 % zum Fluss zu bewegen, tatsächlich als die Wahrscheinlichkeit interpretiert werden, dass der Berg der richtige Ort ist. Dies macht die Methode nicht nur mathematisch fundiert, sondern auch viel nützlicher für reale Entscheidungsfindungen, bei denen Menschen verstehen müssen, warum eine Schätzung gemacht wurde.

Das Papier liefert auch ein „Rezept“ für den Bau dieser Schätzer. Es erklärt, dass man manchmal, um die Mathematik zum Laufen zu bringen, Ihre Karte „reskalieren“ muss – im Wesentlichen den Abstand zwischen den Zielen dehnen oder stauchen muss, um den Regeln des Spiels zu entsprechen. Die Autoren zeigen genau, wie viel man die Karte dehnen muss, basierend darauf, wie weit die Ziele voneinander entfernt sind und wie viele Daten man hat. Sie führmen sogar Simulationen mit unterschiedlichen Einstellungen durch (wie etwa die Änderung der Dimension von 6 auf 10 und die Anpassung der „Engheit“ der Schätzungen), um zu zeigen, dass die Methode unter Druck standhält.

Kurz gesagt: Dieses Papier löst ein 35 Jahre altes Rätsel in der Statistik. Es beweist, dass man sowohl den Kuchen essen als auch gleichzeitig die ganze Torte haben kann: Man kann eine Ratemaschine haben, die mathematisch perfekt ist, alle Regeln der Wahrscheinlichkeit befolgt und intelligent genug ist, um sich gleichzeitig an mehrere mögliche Antworten anzupassen. Dies ist ein großer Schritt nach vorn für jeden, der unordentliche, vielschichtige Daten interpretieren muss, von der Vorhersage von Wetterlagen bis hin zur Analyse komplexer Finanzmärkte. Die Autoren, einschließlich des verstorbenen William Strawderman, der diese Reise vor Jahrzehnten begann, haben uns schließlich ein Werkzeug übergeben, das sowohl robust als auch flexibel ist und bereit ist, in der realen Welt eingesetzt zu werden.