📊 statistics

Gaussian Mean Field Variational Inference can Overestimate Predictive Variance

Diese Arbeit stellt die gängige Lehrmeinung infrage, dass Mean Field Variational Inference stets die Unsicherheit unterschätzt, indem sie zeigt, dass sie in der Bayes’schen linearen Regression die prädiktive Varianz bei In-Distribution-Daten tatsächlich überschätzen kann, da ein Trade-off besteht, bei dem eine Unterschätzung in einigen Parameterrichtungen eine Überschätzung in anderen notwendig macht, ein Phänomen, das durch Temperature Scaling gemildert werden kann.

Ursprüngliche Autoren: James Odgers, Ben Riegler, Siddharth Swaroop, Vincent Fortuin

Veröffentlicht 2026-06-25

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: James Odgers, Ben Riegler, Siddharth Swaroop, Vincent Fortuin

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Missverständnis

Lange Zeit glaubten Wissenschaftler, dass eine bestimmte Methode namens Mean Field Variational Inference (MFVI) immer „zu selbstbewusst“ sei. Sie dachten, die Methode schaut sich die Daten an, macht eine Vermutung und sagt dann: „Ich bin mir ziemlich sicher“, selbst wenn sie eigentlich unsicherer sein sollte. In technischen Begriffen dachten sie, sie würde die Varianz (Unsicherheit) unterschätzen.

Dieses Paper stellt dieses Narrativ auf den Kopf. Die Autoren zeigen, dass MFVI zwar in der Tat zu selbstbewusst in Bezug auf die internen Details des Modells ist, aber tatsächlich zu unsicher (überschätzt die Unsicherheit) sein kann, wenn es darum geht, Vorhersagen für Daten zu treffen, die den Trainingsdaten ähneln.

Die Analogie: Die Karte und die Straße

Stellen Sie sich vor, Sie versuchen, eine Karte einer Stadt basierend auf ein paar Fotos einer einzigen Straße zu zeichnen.

Die „interne“ Sicht (Parameterraum):
Wenn man sich die Karte selbst ansieht, zeichnet MFVI einen sehr engen, kleinen Kreis um die Straße. Es denkt: „Ich weiß genau, wo diese Straße ist.“ Es ignoriat die Tatsache, dass der Rest der Stadt neblig und unbekannt ist. In diesem Sinne ist es zu selbstbewusst bezüglich der Details der Karte.
Die „Vorhersage“-Sicht (Prädiktiver Raum):
Stellen Sie sich nun vor, Sie sind ein Autofahrer, der vorhersagen will, wie die Straße vor Ihnen verläuft.
- Die echte Wahrheit: Die echte Straße ist gerade und schmal. Die Unsicherheit ist gering, da die Straße klar definiert ist.
- Die MFVI-Vorhersage: Da MFVI in Schritt 1 einen so winzigen, engen Kreis um die Straße gezogen hat, wird es verwirrt darüber, wie dieser enge Kreis auf die Straße vor ihm übertragen wird. Es zeichnet am Ende eine riesige, verschwommene Wolke von „vielleicht geht die Straße nach links, vielleicht nach rechts, vielleicht verschwindet sie einfach“.
- Das Ergebnis: Auf der tatsächlichen Straße (den Trainingsdaten) ist MFVI zu ängstlich. Es denkt, die Straße sei viel gefährlicher und unberechenbarer, als sie eigentlich ist.

Das „Gleichgewicht“ (Die Wippe)

Das Paper erklärt eine seltsame Regel über diese Methode: Sie kann nicht nur auf eine Weise falsch liegen.

Stellen Sie sich die Unsicherheit des Modells wie eine Wippe vor.

Wenn das Modell in einigen Richtungen zu selbstbewusst ist (die Unsicherheit unterschätzt), muss es in anderen Richtungen zu unsicher sein (die Unsicherheit überschätzt), um die mathematische Bilanz zu halten.
Das Paper beweist, dass für Daten, die den Trainingsdaten ähneln (In-Distribution), die Seite der „zu großen Unsicherheit“ auf der Wippe die Oberhand gewinnt. Das Modell überschätzt das Risiko.

Der „Kalte“ Fix

Die Autoren haben einen Weg entdeckt, um diese übervorsichtige Artweise zu korrigieren. In der Welt der Bayesschen Mathematik gibt es ein Konzept namens Temperatur.

Hohe Temperatur: Macht das Modell entspannter und breiter gestreut (unsicherer).
Niedrige Temperatur (Kalt): Macht das Modell schärfer und fokussierter (weniger unsicher).

Normalerweise denken die Leute, man müsse ein Modell „abkühlen“, um es weniger selbstbewusst zu machen. Aber hier, da das Modell bereits zu ängstlich ist (die Unsicherheit überschätzt), fanden die Autoren heraus, dass das Senken der Temperatur (das „Kaltmachen“) tatsächlich hilft.

Es ist, als würde man einem nervösen Autofahrer sagen: „Du überschätzt die Gefahr. Atme tief durch und konzentriere dich.“ Durch das Senken der Temperatur kehren die Vorhersagen des Modells zur Realität zurück und passen sich der wahren, exakten Antwort viel besser an.

Die Falle der hohen Dimensionalität

Das Paper zeigt ein beängstigendes Szenario, in dem dies schlimmer wird, wenn die Dinge komplexer werden (hohe Dimensionen).

Stellen Sie sich vor, Sie navigieren durch eine Stadt mit 1.000 Straßen statt nur einer.
Wenn alle Ihre Fotos nur von einer einzigen spezifischen Straße sind, wird das MFVI-Modell durch die anderen 999 leeren Straßen so verwirrt, dass es die eine Straße, die es tatsächlich gesehen hat, vergisst.
Es endet damit, vorherzusagen, dass die Straße genauso unsicher ist, als hätte man gar keine Daten gesehen. Es versagt völlig darin, aus den Trainingsdaten zu lernen.
Die Anwendung des „Kalten“ Fixes (Senken der Temperatur) rettet jedoch die Situation, indem es dem Modell ermöglicht, zu erkennen: „Oh, ich weiß doch etwas über diese Straße“, und korrigiert so seine Vorhersage.

Der „Cold Posterior Effekt“

In der Welt des Deep Learning haben Forscher beobachtet, dass Modelle oft besser funktionieren, wenn sie „abgekühlt“ werden (ein Phänomen, das als „Cold Posterior Effect“ bezeichnet wird). Normalerweise schoben die Leute dies auf schlechte Daten oder schlechte Modelle.

Dieses Paper bietet einen neuen Grund: Selbst bei perfekten Daten und einem perfellen Modell sorgt die Mathematik von MFVI natürlicherweise dafür, dass das Modell zu ängstlich ist. Daher ist das „Kühlen“ des Modells kein Hack, sondern eine notwendige Korrektur, um zu verhindern, dass das Modell die Unsicherheit auf Daten überschätzt, die es eigentlich gut kennen sollte.

Zusammenfassung

Alte Überzeugung: MFVI ist immer zu selbstbewusst.
Neue Entdeckung: MFVI ist zu selbstbewusst bezüglich der internen Einstellungen des Modells, aber zu unsicher bezüglich der Vorhersagen, die es für vertraute Daten trifft.
Die Lösung: Das Senken der „Temperatur“ (das die Posterior „Kalt“ macht) korrigiert diese übervorsichtige Artweise und macht die Vorhersagen wieder präzise.
Die Warnung: In sehr komplexen, hochdimensionalen Situationen kann diese Übervorsichtigkeit so schlimm werden, dass das Modell das Gelernte völlig vergisst, sofern man nicht den „Kalten“ Fix anwendet.

Technische Zusammenfassung: Gaußsche Mean-Field-Variationsinferenz kann die prädiktive Varianz überschätzen

Problemstellung
Die Mean-Field-Variationsinferenz (MFVI) wird in der Literatur weithin als eine Approximation charakterisiert, die die posteriore Varianz unterschätzt und somit zu überkonfidenten Vorhersagen führt. Diese Charakterisierung beruht auf der Beobachtung, dass MFVI, indem sie die Posterior über die Parameter faktorisieren, als eine Mode-Fitting-Approximation im Parameterraum agiert, die Bereiche mit niedriger Wahrscheinlichkeit vermeidet und dadurch die Varianz der Parameterverteilung schrumpft. Dieses Paper argumentiert jedoch, dass diese Charakterisierung unvollständig ist, wenn sich das Ziel von der Parameterinferenz zur Prädiktion verschiebt. Konkret zeigen die Autoren, dass MFVI zwar die Varianz im Parameterraum unterschätzen kann, aber paradoxerweise die prädiktive Varianz für Testpunkte, die aus der Trainingsverteilung stammen (In-Distribution oder ID-Daten), überschätzen kann. Diese Überschätzung ist besonders ausgeprägt in Richtungen, in denen die Trainingsdaten konzentriert sind.

Methodik
Die Autoren führen eine rigorose theoretische Analyse unter Verwendung der konjugierten Bayesschen Linearen Regression (BLR) als einem handhabbaren Setting durch, um exakte Ergebnisse abzuleiten.

Setup: Sie nehmen ein lineares Modell $y = \theta^\top x + \epsilon$ mit Gaußschem Rauschen, einem Gaußschen Prior $\theta \sim \mathcal{N}(0, \alpha^{-1}I)$ und einem Trainingsdatensatz $D$ an.
Exakt vs. Approximativ: Sie vergleichen die exakte Posterior $p(\theta|D)$ , eine multivariate Gaußverteilung mit Kovarianz $\Sigma$ , mit der MFVI-Posterior $q(\theta) = \mathcal{N}(m, S)$ , wobei $S$ als diagonal beschränkt ist.
Theoretische Ableitung:
- Sie leiten ab, dass der optimale MFVI-Mittelwert $m^*$ dem exakten posterioren Mittelwert $\mu$ entspricht.
- Sie zeigen, dass die optimalen MFVI-Kovarianz-Eigenwerte $d_p^*$ die gewichteten harmonischen Mittel der exakten posterioren Eigenwerte $\delta_q$ sind, gewichtet durch die quadrierten Projektionen der exakten posterioren Eigenvektoren auf die kanonischen Basisvektoren.
- Unter Verwendung dieser Eigenschaften analysieren sie die prädiktive Varianz $x^\top S^* x$ gegenüber $x^\top \Sigma x$ für verschiedene Testpunktverteilungen.
Temperatur-Skalierung: Um diese Diskrepanz zu adressieren, untersuchen die Autoren den Cold Posterior Effect (CPE). Sie definieren eine „kalte MFVI“-Posterior durch Minimierung der KL-Divergenz zu einer temperierten („kalten“) Posterior $p_T(\theta|D) \propto p(D|\theta)^{1/T}p(\theta)^{1/T}$ mit $T < 1$ . Im konjugierten Gauß-Fall skaliert dies die MFVI-Kovarianz einfach mit $T$ ( $S^*_T = T S^*$ ).

Wesentliche Beiträge

Theoretischer Beweis der Überschätzung: Das Paper beweist, dass MFVI bei BLR mit sphärischen Priors die prädiktive Varianz entlang der ersten Hauptkomponente der Trainingsdaten überschätzt. Entscheidend ist, dass für Testpunkte, die gemäß der empirischen Trainingsverteilung verteilt sind, die erwartete prädiktive Varianz von MFVI größer ist als die der exakten Posterior (Theorem 3.7).
Kalibrierungs-Constraint: Die Autoren etablieren eine „Kalibrierungseigenschaft“ (Lemma 3.6): Das Verhältnis der MFVI-Varianz zur exakten Varianz, gemittelt über die Eigenvektoren der wahren Posterior, ist gleich 1. Dies impliziert, dass, wenn MFVI die Varianz in einigen Richtungen unterschätzt (typischerweise jene orthogonal zu den Daten), sie sie in anderen Richtungen (typischerweise jenen mit hoher Datenvarianz) überschätzen muss, um dies zu kompensieren.
Pathologischer Hochdimensionalitäts-Grenzwert: In einem pathologischen Setup, in dem die Daten auf einem Rang-1-Unterraum liegen, zeigen die Autoren, dass die MFVI-Posterior im Grenzwert $P \to \infty$ die prädiktive Varianz gegenüber dem Prior überhaupt nicht reduziert. Die Information aus der einzelnen Datenrichtung wird über die $P$ achsenparallelen Komponenten verdünnt, was dazu führt, dass die MFVI-Prädiktion zur Prior-Prädiktion kollabiert.
Reinterpretation des Cold Posterior Effect: Das Paper bietet eine neue Erklärung für den Cold Posterior Effect (CPE) in Abwesenheit von Modelldismatch oder Data Augmentation. Sie argumentieren, dass das Senken der Temperatur ( $T < 1$ ) die Überschätzung der prädiktiven Varianz auf ID-Daten korrigiert und so die MFVI-Vorhersagen näher an die exakte Posterior bringt. Umgekehrt können für Out-of-Distribution (OOD) Daten „warme“ Posteriors ( $T > 1$ ) erforderlich sein, um die Unterschätzung zu korrigieren.

Ergebnisse

Synthetische Experimente: In niedrigdimensionalen Settings ( $P=2$ ) approximiert MFVI bei $T=1$ die exakte Posterior gut. In hochdimensionalen Settings ( $P=1024$ ) mit rangdefizienten Daten ist MFVI bei $T=1$ jedoch nicht mehr von der Prior zu unterscheiden und versäumt es, die Information in den Daten zu erfassen.
Temperatur-Tuning: Experimente an synthetischen und realen UCI-Regressionsaufgaben (unter Verwendung von Basis-Funktions-Regression) bestätigen, dass:
- Für ID-Testdaten die optimale Temperatur $T^*$ konsistent kleiner als 1 ist, was die verschiedenen statistischen Divergenzen (KL, Wasserstein etc.) zwischen der MFVI und den exakten prädiktiven Verteilungen minimiert.
- Für OOD-Testdaten (orthogonal zu den Trainingsrichtungen) die optimale Temperatur oft größer als 1 ist.
Basis-Funktions-Regression: Die Anwendung dieser Erkenntnisse auf nicht-lineare Regression mittels Radialer Basisfunktionen (RBF) zeigt, dass die Überschätzungs-Pathologie mit der Anzahl der Basisfunktionen (Dimensionalität) skaliert, was die Ergebnisse der linearen Regression widerspiegelt.

Bedeutung und Behauptungen
Das Paper behauptet, ein mechanistisches Verständnis dafür zu liefern, warum MFVI bei In-Distribution-Daten unterkonfident (überschätzt die Varianz) sein kann, und stellt damit das Standard-Dogma in Frage, dass MFVI immer überkonfident ist.

Vollständigkeit der Charakterisierung: Die Autoren behaupten, dass das Narrativ „MFVI unterschätzt die Unsicherheit“ unvollständig ist; die Richtung des Fehlers hängt von der Testverteilung relativ zu den Trainingsdaten ab.
Rechtfertigung für CPE: Die Arbeit bietet eine neue Rechtfertigung für den Cold Posterior Effect, die sich von Erklärungen unterscheidet, die auf misspezifizierte Likelihoods oder Priors zurückzuführen sind. Sie legt nahe, dass Tempering eine notwendige Korrektur für die spezifischen Approximationsfehler ist, die durch die Mean-Field-Annahme in hochdimensionalen, korrelierten Datensettings entstehen.
Praktische Implikation: Die Ergebnisse legen nahe, dass für Aufgaben, bei denen die Testdaten den Trainingsdaten ähneln, die Anwendung eines kalten Posteriors (Senkung der Temperatur) auf MFVI die prädiktive Kalibrierung und Performance signifikant verbessern kann, indem die approximative Posterior näher an die exakte Bayessche Lösung gebracht wird.

Die Autoren bleiben bescheiden und merken an, dass ihre theoretischen Ergebnisse für konjugierte lineare Modelle abgeleitet wurden, demonstrieren jedoch empirisch, dass sich diese Intuitionen auch auf nicht-lineare Basis-Funktions-Regression und reale Datensätze erstrecken. Sie beanspruchen nicht, alle Limitationen der VI gelöst zu haben, sondern korrigieren einen spezifischen, kontraintuitiven Fehlermodus der MFVI in prädiktiven Settings.