💻 computer science

Large-scale Score-based Variational Posterior Inference for Bayesian Deep Neural Networks

Dieser Artikel schlägt eine neuartige, skalierbare score-basierte Variationsinferenzmethode für Bayessche tiefe neuronale Netze vor, die Score-Matching-Verlust mit einer proximalen Strafe kombiniert, um das Kollabieren von Modi zu überwinden und ein effizientes Training auf Architekturen in großem Maßstab wie Vision-Transformer ohne reparametrisiertes Sampling zu ermöglichen.

Ursprüngliche Autoren: Minyoung Kim

Veröffentlicht 2026-05-22

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Minyoung Kim

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, die beste Route durch ein riesiges, nebliges Gebirge zu finden, um einen verborgenen Schatz zu erreichen. In der Welt der Künstlichen Intelligenz ist dieser „Schatz" der perfekte Satz von Regeln (Parameter) für ein neuronales Netzwerk, um ein Problem zu lösen, wie etwa das Erkennen einer Katze auf einem Foto oder die Vorhersage des Wetters.

Da der Berg so riesig und neblig ist, können wir nicht die gesamte Karte auf einmal sehen. Wir müssen uns einen Weg dorthin erraten. Hier kommt das Bayesian Deep Learning ins Spiel. Anstatt nur einen einzigen besten Pfad zu wählen (der eine Sackgasse sein könnte), versucht es, die gesamte Landschaft möglicher Pfade zu verstehen, und gibt uns ein Gefühl für Unsicherheit und Sicherheit.

Die Arbeit stellt eine neue, intelligentere Methode vor, um durch diesen nebligen Berg zu navigieren. Hier ist die Aufschlüsselung mit einfachen Analogien:

1. Der alte Weg: Der „Reverse KL"-Kompass (ELBO)

Lange Zeit war der Standardweg zur Navigation eine Methode namens Variational Inference (VI), die auf etwas namens ELBO basiert.

Die Analogie: Stellen Sie sich vor, Sie haben einen Kompass, der Ihnen nur sagt, wie Sie zum nächsten Gipfel gelangen. Er ist sehr gut darin, einen hohen Punkt schnell zu finden.
Das Problem: Wenn es zwei separate Gipfel gibt (zwei verschiedene gute Lösungen) und Sie in der Nähe eines davon starten, bleibt dieser Kompass auf diesem einzelnen Gipfel stecken. Er ignoriert den anderen. Technisch ausgedrückt nennt man dies „Mode Collapsing". Es geht davon aus, dass es nur eine Antwort gibt, obwohl es viele geben könnte.

2. Die bisherigen „Score-Based"-Versuche

Forscher versuchten einen anderen Ansatz namens Score-based VI.

Die Analogie: Anstatt nach einem Gipfel zu suchen, stellen Sie sich vor, Sie versuchen, die „Steigung" des Bodens zu matchen. Sie wollen, dass die Steigung Ihrer Karte exakt der Steigung des echten Berges entspricht.
Das Problem: Bisherige Versionen dieser Methode waren wie der Versuch, einen schweren Panzer durch eine schmale Stadtstraße zu fahren. Sie benötigten zu viel Rechenleistung (wie das Berechnen der gesamten Form des Berges auf einmal) und konnten keine „verrauschten" Daten bewältigen (wo Sie nur einen kleinen Ausschnitt des Berges auf einmal sehen). Sie waren zu langsam und zu schwer für moderne, riesige KI-Modelle (wie Vision Transformer).

3. Die neue Lösung: Der „Proximal Score-Matching"-Wanderer

Die Autoren schlagen eine neue Methode vor, die das Beste aus beiden Welten kombiniert. Stellen Sie sich einen Wanderer vor, der kleine, vorsichtige Schritte macht und dabei ständig seine Steigung mit dem echten Berg vergleicht.

So funktioniert es, Schritt für Schritt:

Der „Proximal"-Schritt (Das Sicherheitsnetz):
Stellen Sie sich vor, Sie wandern. Wenn Sie versuchen, Ihren Pfad in einem Schritt zu drastisch zu ändern, könnten Sie von einer Klippe stürzen. Diese neue Methode fügt eine „proximale Strafe" hinzu. Es ist wie ein Sicherungsseil, das sagt: „Springe nicht zu weit weg von dort, wo du gerade bist." Es zwingt die neue Schätzung, nah an der alten Schätzung zu bleiben, macht die Reise stabil und verhindert wilde, ungenaue Sprünge.
Umgang mit „verrauschten" Daten (Der Mini-Batch):
In der Vergangenheit mussten Sie, um die Steigung zu prüfen, den gesamten Berg zuerst erklimmen (was ewig dauert). Diese neue Methode erlaubt es Ihnen, die Steigung jeweils nur an einem kleinen Ausschnitt des Berges (einem „Mini-Batch") zu prüfen.
- Die Magie: Obwohl das Betrachten nur eines kleinen Ausschnitts Ihnen eine „verrauschte" oder leicht ungenaue Messung liefert, beweist die Mathematik in dieser Arbeit, dass Sie, wenn Sie weiterhin diese kleinen, verrauschten Schritte machen, schließlich den perfekten Pfad finden werden. Dies macht es schnell genug für riesige KI-Modelle.
Kein „Reparametrization"-Trick:
Alte Methoden verwendeten oft einen komplizierten „Magischen Trick" (Reparametrisierung), um die Mathematik funktionsfähig zu machen, was wie das Lösen eines Puzzles war, indem man es auf den Kopf stellte. Diese neue Methode löst das Puzzle direkt, was sie flexibler und effizienter macht.

4. Warum das wichtig ist (Die Ergebnisse)

Die Autoren testeten diesen neuen Wanderer auf sehr schwierigem Terrain:

Riesige Bilderkennungs-Systeme: Sie testeten es an massiven KI-Modellen (wie ResNet und Vision Transformer), die zur Identifizierung von Haustieren, Blumen und Flugzeugen verwendet werden.
Zeitreihen-Prognose: Sie testeten es an der Vorhersage zukünftiger Trends (wie Verkehr oder Wetter).

Die Erkenntnisse:

Bessere Unsicherheit: Im Gegensatz zur alten „Kompass"-Methode blieb dieser neue Wanderer nicht auf nur einem Gipfel stecken. Er fand ein besseres Verständnis der gesamten Landschaft, was bedeutet, dass die KI ehrlicher ist über das, was sie weiß und was sie nicht weiß.
Geschwindigkeit und Skalierbarkeit: Es funktionierte bei Modellen mit Hunderten von Millionen Parametern (wie dem Vision Transformer), was frühere „score-based"-Methoden nicht bewältigen konnten.
Effizienz: Es benötigte nicht signifikant mehr Arbeitsspeicher oder Zeit als die alten Standardmethoden, lieferte aber viel bessere Ergebnisse.

Zusammenfassung

Die Arbeit stellt ein neues Navigationswerkzeug für KI vor. Anstatt auf einer einzigen Lösung stecken zu bleiben oder einen Supercomputer zu benötigen, um die gesamte Karte auf einmal zu berechnen, macht diese neue Methode kleine, sichere und effiziente Schritte. Sie ermöglicht es riesigen KI-Modellen, den „Nebel" der Unsicherheit viel besser zu verstehen, was sie für reale Aufgaben wie das Erkennen von Bildern oder die Vorhersage der Zukunft zuverlässiger macht.

Technische Zusammenfassung: Skalierbare scorebasierte variationelle Posterior-Inferenz für Bayes'sche tiefe neuronale Netze

Problemstellung

Bayes'sche tiefe neuronale Netze (BNNs) bieten erhebliche Vorteile gegenüber Deep Learning mit Punkt-Schätzungen, darunter eine robuste Unsicherheitsquantifizierung, Rauschresistenz und die Minderung von Overfitting. Die exakte Posterior-Inferenz in BNNs ist jedoch im Allgemeinen nicht handhabbar. Die variationelle Inferenz (VI) ist eine dominante Näherungsmethode, die die Inferenz als Optimierungsproblem formuliert, indem sie das Ziel-Posterior $\pi(\theta)$ durch eine handhabbare Verteilung $q_\lambda(\theta)$ approximiert.

Der derzeit dominante Ansatz, die ELBO-basierte VI (Minimierung der reversen KL-Divergenz), leidet unter einem bekannten Problem des „Mode Collapsing", bei dem die Approximation nicht alle Modi der Zielverteilung erfasst. Zwar können scorebasierte VI-Methoden (die die Differenz zwischen dem Ziel-Score $\nabla_\theta \log \pi(\theta)$ und dem Modell-Score $\nabla_\theta \log q_\lambda(\theta)$ minimieren) theoretisch das Mode Collapsing adressieren, doch existierende scorebasierte Ansätze sind nicht auf großskalige BNNs skalierbar. Insbesondere:

Rechenunhandhabbarkeit: Methoden wie Gaussian Score Matching (GSM) und Batch-and-Match (BaM) beruhen auf Matrixinversionen oder -multiplikationen, die kubisch oder quadratisch mit der Zustandsdimension skalieren, was sie für hochdimensionale Parameter neuronaler Netze untragbar macht.
Inkompatibilität mit stochastischen Gradienten: Bestehende scorebasierte Methoden erfordern typischerweise exakte Scores oder können keine verrauschten, unverzerrten Mini-Batch-Scores verarbeiten, die aus stochastischen Gradienten abgeleitet werden und für das Training auf großen Datensätzen unerlässlich sind.
Reparametrisierungsbeschränkungen: Viele Methoden beruhen auf reparametrisiertem Sampling, was in hohen Dimensionen rechenintensiv oder instabil sein kann.

Methodik

Die Autoren schlagen einen neuartigen proximalen stochastisch-gradientenbasierten scorebasierten VI-Algorithmus vor, der für großskalige BNNs, einschließlich Vision Transformers (ViT) und ResNets, skalierbar ist.

Kernoptimierungsziel

Die Methode aktualisiert die variationelle Verteilung $q_t(\theta)$ iterativ zu $q_{t+1}(\theta)$ , indem sie in jedem Iterationsschritt $t$ das folgende Optimierungsproblem löst:

$q_{t+1} = \arg \min_{q \in \mathcal{Q}} \mathbb{E}_{\theta \sim q_t(\theta)} \left[ \alpha_t \|\nabla_\theta \log q(\theta) - \nabla_\theta \log q_t(\theta)\|_2^2 + \|\nabla_\theta \log q(\theta) - s(\theta)\|_2^2 \right]$

Wobei:

$s(\theta) = \nabla_\theta \log \pi(\theta)$ der Ziel-Score ist.
$\alpha_t$ ein adaptiver proximaler Einflussparameter ist (linear von 0 auf eine Konstante $\le 1$ geplant).
Der erste Term eine proximale Strafe darstellt, die sicherstellt, dass der neue Iterierte in Bezug auf die Scores nahe am aktuellen Iterierten bleibt.
Der zweite Term der Score-Matching-Verlust ist.

Wichtige technische Innovationen

Umgang mit verrauschten Mini-Batch-Scores: Im Gegensatz zu früheren scorebasierten Methoden, die exakte Scores erfordern, nutzt dieser Ansatz verrauschte, unverzerrte Mini-Batch-Scores $\hat{s}(\theta)$ , die über stochastische Gradienten erhalten werden. Die Linearität des Score-Terms in der Verlustfunktion stellt sicher, dass der Gradient des Verlusts bezüglich der variationellen Parameter $\lambda$ auch bei verrauschten Scores eine unverzerrte Schätzung bleibt.
Vermeidung von Reparametrisierung: Der proximale Term ermöglicht es, den Erwartungswert bezüglich der festen aktuellen Verteilung $q_t$ statt der Variablen $q$ zu bilden. Dies umgeht die Notwendigkeit des Reparametrisierungs-Tricks (wie bei ADVI verwendet) und vermeidet die zweite Differentiation nach $\theta$ (wie bei traditionellen Fisher-/Score-Methoden erforderlich), was den Rechenaufwand und den Speicherbedarf erheblich reduziert.
Skalierbarkeit: Durch die Verwendung euklidischer Normen anstelle von durch Kovarianz induzierter Normen (die Matrixinversion erfordern) und die Unterstützung stochastischer Gradienten skaliert die Methode auf Netze mit hunderten Millionen Parametern (z. B. ViT-L-32 mit ~305M Parametern).

Theoretische Konvergenz

Die Autoren liefern einen Konvergenzsatz (Satz 3.1), der besagt, dass unter der Annahme, dass die variationelle Familie reich genug ist, um glatte Vektorfelder darzustellen, der Score der variationellen Verteilung mit zunehmender Iteration gegen den Ziel-Score konvergiert. Obwohl die Annahme der Darstellungsreichhaltigkeit ideal ist, stellen die Autoren fest, dass sie exakt gilt, wenn sowohl das wahre Posterior als auch die variationelle Familie Gaußsch sind.

Wichtige Beiträge

Neuartiger Algorithmus: Einführung eines proximalen stochastisch-gradientenbasierten Score-Matching-VI-Algorithmus, der Score-Matching-Verlust mit einer proximalen Strafe kombiniert.
Skalierbarkeit auf großskalige BNNs: Die Methode ist der erste scorebasierte VI-Ansatz, der nachweislich effektiv auf großskaligen tiefen Netzen (ResNets, ViTs) und großen Datensätzen funktioniert und die Rechenengpässe von GSM und BaM überwindet.
Robustheit gegenüber Rauschen: Der Algorithmus verarbeitet effektiv verrauschte, unverzerrte Mini-Batch-Scores, was die Verwendung stochastischer Gradienten ohne Berechnung von Voll-Batch-Scores ermöglicht.
Eliminierung der Reparametrisierung: Die Methode vermeidet den Reparametrisierungs-Trick, vereinfacht die Optimierungslandschaft und verbessert die Effizienz im Vergleich zur ELBO-basierten ADVI.

Experimentelle Ergebnisse

Die Autoren bewerteten die Methode auf synthetischen Daten, dem PosteriorDB-Benchmark und realen großskaligen Aufgaben:

Synthetische Daten: Auf Gaußschen und Gaußschen Mischungs-Zielen zeigte die vorgeschlagene Methode eine schnellere Konvergenz und eine bessere Robustheit gegenüber anfänglichen Parameterwahlen (insbesondere bezüglich kleiner Kovarianz-Eigenwerte) im Vergleich zu ADVI, GSM und BaM. Sie bewältigte erfolgreich Modellmismatch und hochdimensionale Zustandsräume, in denen GSM/BaM aufgrund numerischer Probleme versagten.
MNIST (Kleinskaliges BNN): In Regimen mit wenig Daten erreichte die Methode vergleichbare Testfehlerquoten wie ADVI, zeigte jedoch eine überlegene Unsicherheitsquantifizierung, belegt durch niedrigere Expected Calibration Error (ECE) und Negative Log-Likelihood (NLL).
Großskalige visuelle Erkennung (ResNet-101 & ViT-L-32): Auf Datensätzen wie Pets, Flowers, Aircraft und DTD entsprach die Methode der Testvorhersagegenauigkeit von ADVI, übertraf sie jedoch konsistent in den Unsicherheitsmetriken (ECE und NLL). Konkurrierende Methoden (GSM, BaM, traditionelles Score Matching) scheiterten aufgrund von Speicherbeschränkungen oder numerischen Explosionen.
Zeitreihen-Prognose: Unter Verwendung der Koopa-Netzarchitektur übertraf die Methode ELBO-basierte VI und nicht-Bayes'sche Baselines in MSE, MAE und NLL über mehrere Datensätze hinweg (ECL, ETTh2, Ex. Rate, ILI, Traffic, Weather).
Normalisierende Flüsse: Die Methode wurde auf normalisierende Fluss-variationelle Dichten erweitert und zeigte konsistente Verbesserungen gegenüber ADVI bei Zeitreihenaufgaben.
Effizienz: Trotz der Aufrechterhaltung sowohl des vorherigen als auch des aktuellen Iterierten waren die Wandzeit und der GPU-Speicherbedarf mit ADVI vergleichbar, was ihre praktische Durchführbarkeit für großskaliges Training beweist.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass sie eine skalierbare, flexible Alternative zur dominanten ELBO-basierten VI für großskaliges Bayes'sches Deep Learning bietet. Durch die Adressierung des Mode-Collapsing-Problems, das inhärent in reversen KL-Zielen enthalten ist, und die Überwindung der rechnerischen Einschränkungen früherer scorebasierter Methoden ermöglicht der vorgeschlagene Algorithmus eine rigorose Bayes'sche Inferenz auf modernen, hochkapazitiven Architekturen wie Vision Transformern.

Die Autoren betonen, dass ihr Ansatz empirisch effektiv über diverse Benchmarks hinweg ist und eine bessere Unsicherheitsquantifizierung ohne Einbußen bei der Vorhersageleistung bietet. Sie vermerken bescheiden, dass die theoretische Konvergenz zwar auf starken Annahmen über die Ausdrucksfähigkeit der variationellen Familie beruht, die empirischen Ergebnisse jedoch die Nützlichkeit der Methode in der Praxis stützen. Die Arbeit positioniert scorebasierte VI als einen gangbaren, skalierbaren Weg für Bayes'sches Deep Learning, der über die Beschränkungen von rein Gaußschen oder Voll-Batch-Anforderungen früherer Arbeiten hinausgeht.