Technischer Zusammenfassung: Selbstüberwachtes Laplace-Approximationsverfahren für die bayessche Unsicherheitsquantifizierung

Problemstellung

Die approximative bayessche Inferenz (ABI) konzentriert sich traditionell auf die Berechnung der Posterior-Verteilung der Modellparameter, $p(\theta | D)$. In praktischen Anwendungen ist das primäre Zielobjekt jedoch oft die posteriore Vorhersageverteilung, $p(\hat{y}_{n+1} | x_{n+1}, D)$, welche die Unsicherheit von Vorhersagen quantifiziert und nicht die Parameter selbst.

Standardmethoden zur Approximation der posterioren Vorhersage, wie Variational Inference (VI), Markov-Chain-Monte-Carlo (MCMC) oder klassische Laplace-Approximationen, die auf die Parameter-Posterior angewendet und anschließend durch Monte-Carlo (MC)-Sampling erweitert werden, verursachen häufig erheblichen Rechenaufwand. Insbesondere bei Bayesian Neural Networks (BNNs) führt die Notwendigkeit von MC-Sampling zur Integration über die Parameter-Posterior zu einer drastischen Erhöhung der Inferenzkosten. Darüber hinaus verlassen sich bestehende deterministische Alternativen oft auf starke Verteilungsannahmen oder beschränken die Unsicherheitsmodellierung auf die letzte Schicht, was ihre Anwendbarkeit auf allgemeine tiefe Regressionsmodelle einschränkt.

Methodik

Die Autoren schlagen Self-Supervised Laplace Approximation (SSLA) vor, eine Technik, die die explizite Berechnung der Parameter-Posterior umgeht, um direkt die posteriore Vorhersageverteilung zu approximieren. Die Methode ist von Konzepten des Self-Training und des semi-überwachten Lernens inspiriert, insbesondere von der Idee, aus selbstvorhergesagten Daten zu lernen.

Kernmechanismus

Die grundlegende Erkenntnis von SSLA besteht darin, die Vorhersageunsicherheit zu quantifizieren, indem beobachtet wird, wie sich die Anpassung eines Modells ändert, wenn es auf seinen eigenen selbstvorhergesagten Daten „neu angepasst" wird.

1. Erweiterter Datensatz: Gegeben ein Trainingsdatensatz $D$ und eine neue Eingabe $x_{n+1}$ generiert das Modell eine Punktvorhersage $\hat{y}_{n+1}$ (z. B. die MAP-Vorhersage). Ein erweiterter Datensatz $D_{n+1} = D \cup \{(x_{n+1}, \hat{y}_{n+1})\}$ wird konstruiert.
2. Neuanpassung: Das Modell wird auf $D_{n+1}$ neu angepasst, um ein neues Optimum $\tilde{\theta}$ zu finden.
3. Unsicherheitsquantifizierung: Die Vorhersageunsicherheit wird aus der Änderung der Likelihood des Modells, des Priors und der Krümmung (Fisher-Information) abgeleitet, die durch die Einbeziehung der Selbstvorhersage verursacht wird.
   • Wenn das Modell seiner Selbstvorhersage eine hohe Likelihood zuweist (d. h. $\tilde{\theta} \approx \hat{\theta}$), gilt die Vorhersage als geringe Unsicherheit.
   • Wenn die Selbstvorhersage eine signifikante Verschiebung der Modellanpassung bewirkt (große Änderung der Likelihood oder Krümmung), wird der Vorhersage eine hohe Unsicherheit zugewiesen.

Mathematische Formulierung

Die Autoren leiten eine handhabbare Approximation für die logarithmierte posteriore Vorhersagedichte, $\log p(\hat{y}_{n+1} | x_{n+1}, D)$, her, die sich in drei interpretierbare Inkremente zerlegen lässt, die an den Modellanpassungen bewertet werden:
$$\log p(\hat{y}_{n+1} | x_{n+1}, D) \approx \underbrace{[\tilde{\ell}(\tilde{\theta}) - \ell(\hat{\theta})]}_{\text{Likelihood-Inkrement}} + \underbrace{[\log \pi(\tilde{\theta}) - \log \pi(\hat{\theta})]}_{\text{Prior-Inkrement}} - \underbrace{\frac{1}{2}[\log |\tilde{J}(\tilde{\theta})| - \log |J(\hat{\theta})|]}_{\text{Krümmungs-Inkrement}}$$
Wobei:

• $\hat{\theta}$ die MAP-Schätzung auf $D$ ist.
• $\tilde{\theta}$ die MAP-Schätzung auf $D \cup \{(x_{n+1}, \hat{y}_{n+1})\}$ ist.
• $\ell$ und $\tilde{\ell}$ Log-Likelihoods sind.
• $J$ und $\tilde{J}$ beobachtete Fisher-Information-Matrizen (negative Hessische Matrizen) sind.

Approximative Variante (ASSLA)

Um die Rechenkosten der Neuanpassung des Modells (Lösen nach $\tilde{\theta}$) zu eliminieren, führen die Autoren Approximate SSLA (ASSLA) ein.

• Asymptotische Expansion: Theoretische Ergebnisse (Lemma 1, Theorem 1) zeigen, dass für große $n$ die Differenz zwischen dem erweiterten Optimum $\tilde{\theta}$ und dem ursprünglichen Optimum $\hat{\theta}$ von der Ordnung $O(n^{-1})$ ist.
• Vereinfachung: ASSLA approximiert $\tilde{\theta} \approx \hat{\theta}$ und behält nur Terme führender Ordnung bei. Dies ermöglicht es der Methode, die Vorhersageunsicherheit unter Verwendung nur der ursprünglichen Anpassung $\hat{\theta}$ und der lokalen Krümmungsbeiträge der neuen Pseudo-Beobachtung zu bewerten, wodurch eine zweite Optimierungsschritt vermieden wird.
• Prior-Modularität: In der ASSLA-Approximation wird das Prior-Inkrement als Term höherer Ordnung weggelassen, was die Methode recheneffizient macht, während sie die Sensitivität gegenüber Änderungen in Likelihood und Krümmung beibehält.

Hauptbeiträge

1. Direkte Vorhersageapproximation: Ein neuartiges Framework, das die posteriore Vorhersageverteilung direkt approximiert und dabei die Parameter-Posterior sowie die Notwendigkeit von Monte-Carlo-Sampling umgeht.
2. Selbstüberwachter Mechanismus: Die Einführung einer auf Self-Training basierenden Laplace-Approximation, bei der die Unsicherheit über die Sensitivität der Modellanpassung gegenüber selbstvorhergesagten Daten quantifiziert wird.
3. Modularität: Die SSLA-Formulierung ermöglicht das Einsetzen verschiedener Prior-Spezifikationen ohne Neutrainieren, was bayessche Sensitivitätsanalysen bezüglich der Prior-Wahl erleichtert.
4. Recheneffizienz: Die Herleitung von ASSLA, die die Anforderung der Neuanpassung entfernt, macht die Methode skalierbar auf große Modelle und Datensätze bei gleichzeitiger Beibehaltung einer wettbewerbsfähigen Kalibrierung.
5. Theoretische Begründung: Strenge Beweise, die den Approximationsfehler von ASSLA charakterisieren und zeigen, dass der Fehler unter Standard-Regularitätsbedingungen linear mit der Stichprobengröße $n$ abnimmt.

Experimentelle Ergebnisse

Die Autoren evaluierten (A)SSLA an Regressionsaufgaben, die von konjugierten analytischen Modellen bis hin zu komplexer heteroskedastischer Regression mit neuronalen Netzen reichen.

• Konjugierte Modelle: In Normal-Normal- und Poisson-Gamma-Szenarien stimmten SSLA und ASSLA über Stichprobengrößen von $n=20$ bis $n=1.000.000$ eng mit den analytisch berechneten posterioren Vorhersageverteilungen überein. Numerische Instabilitäten in ASSLA wurden nur bei sehr großen $n$ ($>10^6$) aufgrund von Gleitkomma-Kürzung beobachtet, was durch Verwendung von doppelter Genauigkeit behoben wurde.
• Heteroskedastische Regression (Synthetisch): Auf synthetischen Daten mit eingangsabhängigem Rauschen erzeugte ASSLA glattere und engere Konfidenzintervalle als klassische Laplace-Approximationen (die zu konservativ waren) und war wettbewerbsfähig mit Variational Inference (VI) und Hamiltonian Monte Carlo (HMC). Allerdings zeigte ASSLA im Vergleich zu HMC eine Tendenz, die Unsicherheit in weiten Intervallen leicht zu unterschätzen.
• Realwelt-Benchmarks: Evaluiert auf diversen UCI-Datensätzen (z. B. Concrete, Wine Quality, Bike Sharing):
  • Kalibrierung: ASSLA erzielte im Allgemeinen eine bessere Negative Log-Likelihood (NLL) und einen besseren Continuous Ranked Probability Score (CRPS) als die klassische Laplace-Methode, was auf schärfere und besser kalibrierte Vorhersagen hindeutet.
  • Abdeckung: Während ASSLA in schwierigen Regimen manchmal eine Unterabdeckung aufwies (z. B. Liver Disorders-Datensatz mit schlechtem Signal-Rausch-Verhältnis), übertraf sie oft die konservative Laplace-Baseline, die zu weite Intervalle produzierte.
  • Effizienz: ASSLA bot einen günstigen Kompromiss zwischen Rechenaufwand und Vorhersagequalität und vermied den hohen Overhead von MC-Sampling.

Bedeutung und Behauptungen

Die Autoren behaupten, dass (A)SSLA eine deterministische, sampling-freie Alternative zu Standardverfahren der bayesschen Inferenz für die Quantifizierung der Vorhersageunsicherheit bietet. Die Bedeutung liegt darin:

• Umgehung von Unlösbarkeit: Sie vermeidet den rechenintensiven Flaschenhals der Integration über den Parameterraum mittels MC-Sampling, was eine Hauptbeschränkung im Bayesian Deep Learning darstellt.
• Praktische Anwendbarkeit: Die Methode ist auf generische tiefe Regressionsmodelle anwendbar und unterstützt modulare Prior-Spezifikation, was besonders für aufkommende Felder wie Credal Bayesian Deep Learning relevant ist.
• Kompromissmanagement: Die Autoren positionieren ASSLA als eine Methode, die rechnerische Handhabbarkeit mit wettbewerbsfähiger probabilistischer Kalibrierung ausbalanciert und eine praktische Lösung für reale Regressionsaufgaben bietet, bei denen eine vollständige bayessche Inferenz zu teuer ist.

Die Autoren bleiben bezüglich der Einschränkungen bescheiden und erkennen an, dass SSLA auf sehr großen Datensätzen oder bei Prior-Daten-Konflikten instabil werden kann und dass ASSLA die Unsicherheit in Bereichen hoher Varianz unterschätzen kann. Sie schlagen vor, dass diese Methoden zusammen mit Drift-/OOD-Erkennung und robuster Likelihood-Modellierung eingesetzt werden sollten.