A Framework for Variational Inference of Lightweight Bayesian Neural Networks with Heteroscedastic Uncertainties

1. Problemstellung

Bayessche Neuronale Netze (BNNs) sind unverzichtbar für die Quantifizierung der Vorhersageunsicherheit, wobei zwischen epistemischer Unsicherheit (Modellunsicherheit aufgrund begrenzter Daten) und aleatorischer Unsicherheit (Datenrauschen) unterschieden wird.

• Die Herausforderung: In vielen Anwendungen, insbesondere solchen, die heteroskedastische Unsicherheiten erfordern (bei denen die Rauschniveaus vom Eingabewert abhängen), erfordern Standardansätze, dass das BNN die aleatorische Varianz als zusätzlichen Netzwerkkopf neben dem Vorhersagemittelwert ausgibt.
• Die Einschränkung: Das Hinzufügen eines Ausgabeknotens für die Varianz erhöht die Anzahl der lernbaren Parameter und die architektonische Komplexität. Dies ist für leichtgewichtige BNNs nachteilig, die auf hardwarebeschränkten Systemen eingesetzt werden sollen oder bei denen die Rechenzeit begrenzt ist.
• Die Lücke: Bestehende Methoden erzwingen oft einen Kompromiss zwischen der Modellgröße und der Fähigkeit, komplexe, eingabeabhängige Rauschstrukturen zu erfassen.

2. Methodik

Die Autoren schlagen ein neuartiges Inferenzframework vor, das die Notwendigkeit eines separaten Ausgabeknotens für die aleatorische Unsicherheit eliminiert, indem es sowohl aleatorische als auch epistemische Unsicherheiten direkt in die Varianzen der lernbaren Parameter des BNNs integriert.

A. Neuinterpretation von Parameterverteilungen

Anstatt die Varianz der Parameter bayesscher Neuronen ausschließlich als Repräsentation der epistemischen Unsicherheit zu behandeln, interpretieren die Autoren diese Verteilungen neu, um die gesamte Vorhersageunsicherheit (aleatorisch + epistemisch) zu kodieren.

• Standardansatz: $Var(\hat{y}) = \sigma^2_{epistemisch}$. Die aleatorische Varianz ($\sigma^2_{aleatorisch}$) wird als separater Ausgang vorhergesagt.
• Vorgeschlagener Ansatz: Die Gesamtvarianz $\sigma^2_k$ für einen gegebenen Eingabewert $k$ wird als Summe der aleatorischen und epistemischen Varianzen definiert:
  $$\sigma^2_k = \sigma^2_{a,k} + \sigma^2_{e,k}$$
  Während des Trainings minimiert das Netzwerk die Evidence Lower Bound (ELBO), wobei der Rekonstruktionsverlust davon ausgeht, dass die Ausgabeverteilung eine Gaußverteilung mit der Varianz $\sigma^2_k$ ist. Die Varianz $\sigma^2_k$ wird als Varianz des BNN-Ausgangs berechnet, der sich aus den Parameterverteilungen ableitet, und absorbiert effektiv das aleatorische Rauschen in den Parameter-Varianzen.

B. Stichprobenfreie Variationsinferenz durch Momentenpropagation

Um die Recheneffizienz zu wahren und die Kosten von Monte-Carlo-Stichproben zu vermeiden, wenden die Autoren ein Momentenpropagations-Schema an.

• Mechanismus: Der Mittelwert und die Varianz des Eingangs jeder Schicht werden analytisch durch das Netzwerk propagiert, um den Mittelwert und die Varianz des Ausgangs zu berechnen.
• Schichtbehandlung:
  • Vollvernetzt & Faltend: Exakte analytische Propagation von Mittelwerten und Varianzen unter der Annahme der Unabhängigkeit zwischen Neuronen.
  • Leaky-ReLU: Approximative Propagation unter der Annahme, dass der Eingang der Aktivierungsfunktion normalverteilt ist. Die Autoren leiten geschlossene Ausdrücke für den Mittelwert und die Varianz des Ausgangs unter Verwendung des Gesetzes der totalen Erwartung und Varianz ab, die abgeschnittene Normalverteilungen beinhalten.
• Vorteil: Dies ermöglicht eine deterministische Inferenz ohne die Notwendigkeit wiederholter Stichproben, was das Framework für leichtgewichtige, Echtzeit-Anwendungen geeignet macht.

3. Hauptbeiträge

1. Einbettung der Parameter-Varianz: Ein konzeptioneller Wandel, bei dem die Varianzen der Gewichte und Bias-Werte eines BNNs so trainiert werden, dass sie die Summe aus aleatorischer und epistemischer Unsicherheit repräsentieren, wodurch ein dedizierter Varianz-Ausgangskopf überflüssig wird.
2. Leichtgewichtige Architektur: Das Framework ermöglicht es BNNs, heteroskedastische Unsicherheiten mit weniger lernbaren Parametern zu erfassen als herkömmliche „gelernte Varianz"-Ansätze.
3. Stichprobenfreie Inferenz: Integration einer vereinfachten Momentenpropagations-Technik, die analytische Unsicherheitsschätzungen liefert und den Rechenaufwand von Monte-Carlo-Dropout oder Stichproben vermeidet.
4. Einheitliches Framework: Eine vollständige Pipeline, die die Neuinterpretation von Unsicherheitsquellen mit einer effizienten Momentenpropagation für Training und Inferenz kombiniert.

4. Experimentelle Ergebnisse

Die Autoren bewerteten ihren Ansatz „Embedded Variance" (Einbettete Varianz) gegen den Standardansatz „Learned Variance" (Gelernte Varianz), bei dem die Varianz ein separater Ausgang ist, unter Verwendung einer Polynomregressionsaufgabe mit heteroskedastischem Gaußschen Rauschen.

• Leistung in leichtgewichtigen Regimen:
  • Bei einer geringen Anzahl von versteckten Neuronen (z. B. 4) sagte das Embedded Variance-Modell sowohl den Trend als auch die Unsicherheit für in-distribution-Daten genau voraus und drückte für out-of-distribution-Daten korrekt eine hohe Unsicherheit aus.
  • Das Learned Variance-Modell versagte darin, die wahre Unsicherheit für in-distribution-Daten wiederherzustellen und unterschätzte die Unsicherheit für out-of-distribution-Daten bei derselben kleinen Architektur erheblich.
• Parametereffizienz:
  • Bei einer festen Anzahl von Neuronen benötigte das „Learned Variance"-Modell etwa 34 % mehr lernbare Parameter als das „Embedded Variance"-Modell, um eine vergleichbare Leistung zu erzielen.
  • Der „Embedded Variance"-Ansatz erreichte im Parameter-armen Regime einen niedrigeren Rekonstruktionsverlust (negativer Log-Likelihood).
• Generalisierung:
  • Die „Embedded Variance"-Modelle zeigten eine bessere Generalisierung auf out-of-distribution-Daten, wobei sie einen graduelleren Anstieg des Rekonstruktionsverlusts aufwiesen, wenn sich die Daten von der Trainingsverteilung entfernten, im Vergleich zu den „Learned Variance"-Modellen.
• Skalierbarkeit: Mit zunehmender Netzwerkgröße (z. B. 1024 Neuronen) verringerte sich die Leistungslücke, und beide Methoden performten ähnlich, was darauf hindeutet, dass die vorgeschlagene Methode für ressourcenbeschränkte, leichtgewichtige Modelle am kritischsten ist.

5. Bedeutung

Diese Arbeit adressiert eine kritische Engstelle beim Einsatz von Bayesschen Neuronen Netzen für Edge-Computing und sicherheitskritische Systeme.

• Effizienz: Durch die Beseitigung der Notwendigkeit zusätzlicher Ausgabeknoten zur Vorhersage von Rauschen reduziert die Methode die Modellgröße und die Rechenkosten erheblich, was BNNs für Hardware mit strengen Beschränkungen praktikabel macht.
• Robustheit: Die Fähigkeit, heteroskedastische Unsicherheiten zu erfassen, ohne die Modellkomplexität zu erhöhen, stellt sicher, dass leichtgewichtige Modelle nicht auf Zuverlässigkeit oder Sicherheitsbewertungen verzichten müssen.
• Praktikabilität: Die stichprobenfreie Natur der Inferenz ermöglicht schnellere Vorhersagezeiten, was für Echtzeit-Anwendungen, bei denen Latenz ein Problem darstellt, entscheidend ist.

Zusammenfassend zeigt das Paper, dass die Gesamtunsicherheit effektiv in die Parameterverteilungen eines BNNs „eingebaut" werden kann, was eine überlegene Alternative zu traditionellen Multi-Ausgangs-Köpfen für die Quantifizierung leichtgewichtiger, heteroskedastischer Unsicherheiten darstellt.