Going NUTS with ADVI: Exploring various Bayesian Inference techniques with Facebook Prophet
Dieses Paper präsentiert eine vollständige Reimplementierung von Facebook Prophet in PyMC, um die Einschränkungen der Standard-Inferenzmethoden zu überwinden und einen detaillierten Vergleich verschiedener bayesianischer Techniken – einschließlich MCMC, MAP und Variational Inference – bei Zeitreihenprognoseproblemen zu ermöglichen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Das große Ganze: Den Versuch, die Zukunft vorherzusagen
Stellen Sie sich vor, Sie versuchen vorherzusagen, wie viele Menschen morgen eine bestimmte Wikipedia-Seite besuchen werden. Sie haben ein Werkzeug namens Facebook Prophet, das sehr gut darin ist. Es betrachtet die vergangenen Daten und versucht, die Zukunft zu erraten, indem es das Problem in drei Teile zerlegt:
- Der Trend: Wird die Seite im Laufe der Zeit populärer? (Wie ein langsam ansteigender Hügel).
- Die Saisonalität: Besuchen die Leute die Seite eher am Wochenende oder während der Feiertage? (Wie die Gezeiten, die kommen und gehen).
- Das Rauschen: Zufällige, unvorhersehbare Schwankungen in den Daten.
Die Autoren dieser Arbeit wollten dieses Werkzeug nutzen, um verschiedene Wege zu testen, die Mathematik hinter der Vorhersage zu „lösen“. Sie fanden heraus, dass das ursprüngliche Werkzeug etwas zu starr war, also haben sie es von Grund auf neu aufgebaut, unter Verwendung eines neuen Werkzeugkastens namens PyMC.
Die drei Wege, das Rätsel zu lösen
Die Arbeit vergleicht drei verschiedene „Detektive“ (Inferenzmethoden), die versuchen, das Rätsel der zukünftigen Daten zu lösen. Betrachten Sie sie als drei verschiedene Wege, um den besten Pfad durch einen nebligen Berg zu finden.
1. Der „Beste-Schätzung“-Detektiv (MAP-Schätzung)
- Die Analogie: Stellen Sie sich vor, Sie suchen den höchsten Gipfel in einer Gebirgskette. Dieser Detektiv betrachtet die Karte, findet den einzelnen höchsten Punkt und sagt: „Die Antwort ist genau hier.“
- Was die Arbeit sagt: Diese Methode ist sehr schnell. Sie liefert Ihnen eine spezifische Zahl als Antwort. Sie ignoriert jedoch die Tatsache, dass es in der Nähe andere hohe Gipfel geben könnte oder dass der Boden wackelig sein könnte. Sie sagt Ihnen, wo die Antwort liegt, aber nicht, wie sicher sie ist.
- Ergebnis: Sie war schnell und lieferte gute Vorhersagen, erzählte aber nicht die ganze Geschichte über die Unsicherheit.
2. Der „Gründliche Wanderer“ (Full MCMC / NUTS)
- Die Analogie: Dieser Detektiv sucht nicht nur einen Punkt aus. Er schickt ein ganzes Team von Wanderern aus, die jeden einzelnen Pfad in der Gebirgskette ablaufen und tausende Schritte machen, um das gesamte Gelände kartografieren. Er möchte die Form des gesamten Berges kennen, nicht nur den Gipfel.
- Was die Arbeit sagt: Dies ist die genaueste Methode. Sie erkundet die „Posteriori-Verteilung“ (die volle Form der möglichen Antworten). Die Autoren testeten drei Arten von Wanderern:
- Metropolis-Hastings (MH): Ein Wanderer, der zufällige, langsame Schritte macht. Er hat sich verlaufen und das Gelände nicht gut erkundet.
- DMZ: Ein Wanderer, der versucht, die Schritte anderer zu kopieren. Auch er hatte Schwierigkeiten, das Gelände effizient zu durchqueren.
- NUTS (No-U-Turn Sampler): Ein superintelligenter Wanderer, der eine Karte und einen Kompass (Gradienten) benutzt, um effizient zu wandern. Dies war der Gewinner. Er fand den besten Weg schnell und kartierte den Berg perfekt, ohne Zeit zu verschwenden.
- Ergebnis: NUTS war am zuverlässigsten, brauchte aber länger als der „Beste-Schätzungs“-Detektiv.
3. Der „Schnelle Annäherer“ (Variational Inference / VI)
- Die Analogie: Anstatt den ganzen Berg abzuwandern, betrachtet dieser Detektiv den Berg aus einem Helikopter und zeichnet eine einfache, glatte ovale Form, die dem Berg ähnlich sieht. Es ist eine Abkürzung.
- Was die Arbeit sagt: Diese Methode versucht, eine einfache Form (wie eine Glockenkurve) an die komplexen Daten anzupassen. Sie ist viel schneller als der „Gründliche Wanderer“.
- ADVI: Zeichnete ein einfaches Oval. Es war schnell, war sich aber etwas zu sicher (das Oval war zu schmal).
- FullRank ADVI: Zeichnete ein komplexeres, gestrecktes Oval. Es war ebenfalls schnell, war sich aber etwas zu unsicher (das Oval war zu breit).
- Ergebnis: Es war die schnellste Methode, aber die „Form“ der Antwort war im Vergleich zum „Gründlichen Wanderer“ nicht perfekt genau.
Die Rennergebnisse
Die Autoren stellten diese Detektive anhand von Daten einer berühmten Fußballspieler-Wikipedia-Seite auf die Probe. Hier ist der Vergleich:
- Geschwindigkeit: Der „Schnelle Annäherer“ (VI) war der Schnellste. Der „Beste-Schätzungs“-Detektiv (MAP) war ebenfalls sehr schnell. Der „Gründliche Wanderer“ (NUTS) war langsamer, aber immer noch handhabbar. Die anderen Wanderer (MH und DMZ) waren so langsam und ineffizient, dass sie den Job nicht gut erledigten.
- Genauigkeit: Der „Gründliche Wanderer“ (NUTS) lieferte die vertrauenswürdigste Karte der Zukunft. Der „Schnelle Annäherer“ war nah dran, hatte aber einige Mängel bei der Messung der Unsicherheit. Der „Beste-Schätzungs“-Detektiv war gut für eine schnelle Antwort, verpasste aber die Details.
- Der Sieger: Für dieses spezifische Problem war NUTS die beste Gesamtwahl. Er war nicht der Schnellste, aber er war der Einzige, der erfolgreich den ganzen Berg kartiert hat, ohne sich zu verlaufen oder schlechte Vermutungen anzustellen.
Das neue Werkzeug (Die neu aufgebaute API)
Die Autoren erwähnten auch, dass das ursprüngliche Facebook Prophet-Werkzeug wie eine Fertiggericht-Mahlzeit war: Man konnte es essen, aber man konnte die Zutaten nicht einfach ändern.
Sie haben das Werkzeug in PyMC so neu aufgebaut, dass es wie ein modulares Lego-Set ist. Jetzt, anstatt nur einem Rezept zu folgen, können Sie verschiedene Teile zusammenstecken (wie „Linearer Trend“ + „Jährliche Saisonalität“), um genau das Modell zu bauen, das Sie wollen. Diese neue, „intuitive“ Art, Modelle zu bauen, macht es viel einfacher, mit verschiedenen Ideen zu experimentieren.
Zusammenfassung
In der Arbeit geht es im Wesentlichen um ein Rennen, um zu sehen, wie man die Zukunft unter Verwendung eines spezifischen mathematischen Modells am besten vorhersagt.
- Wenn Sie Geschwindigkeit und eine einzige Antwort benötigen, verwenden Sie die Beste-Schätzung (MAP).
- Wenn Sie eine schnelle Annäherung der Unsicherheit benötigen, verwenden Sie den Schnellen Annäherer (VI).
- Wenn Sie das genaueste, zuverlässigste Bild der Zukunft und ihrer Unsicherheiten benötigen, ist der Gründliche Wanderer (NUTS) die beste Wahl, auch wenn er etwas mehr Zeit in Anspruch nimmt.
Die Autoren kamen zu dem Schluss, dass die schnellen Methoden zwar verlockend sind, die kluge, gründliche Methode (NUTS) jedoch das beste Gleichgewicht zwischen Genauigkeit und Zuverlässigkeit für ihr Zeitreihen-Prognoseproblem bot.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.