Bayesian Lottery Ticket Hypothesis

Diese Studie bestätigt, dass die Lotterietheorie auch auf Bayes'sche neuronale Netze zutrifft, wobei sich herausstellt, dass für das Finden erfolgreicher, dünner Subnetze die Magnitude der Gewichte als primäres und die Standardabweichung als sekundäres Kriterium für das Beschneiden herangezogen werden sollten.

Das Wesentliche

Das Grundproblem: Der überforderte Wahrsager

Stell dir vor, du hast einen Wahrsager (das ist hier das neuronale Netzwerk).

• Ein normaler Wahrsager sagt dir einfach: „Es wird morgen regnen." Er ist sich sicher, aber er weiß nicht, ob er sich irren könnte.
• Ein Bayesscher Wahrsager (Bayesian Neural Network) ist viel besser: Er sagt: „Es wird morgen mit 80 % Wahrscheinlichkeit regnen, aber ich bin mir bei 20 % nicht sicher." Er gibt dir also eine Unsicherheits-Schätzung. Das ist super wichtig für kritische Dinge (z. B. autonomes Fahren), aber es hat einen Haken: Dieser Wahrsager ist extrem schwer und langsam. Er muss für jede Vorhersage tausende von Szenarien durchrechnen, was viel Rechenleistung und Strom kostet.

Die Forscher wollten wissen: Können wir diesen schweren Wahrsager leichter machen, ohne dass er seine Fähigkeit verliert, Unsicherheiten zu erkennen?

Die Lösung: Der „Lottery Ticket"-Ansatz (Das Los-Prinzip)

Hier kommt die „Lottery Ticket Hypothesis" (LTH) ins Spiel. Stell dir ein riesiges, dichtes neuronales Netz wie einen riesigen, überfüllten Rucksack vor, der voller unnötiger Gegenstände ist.

• Die Hypothese besagt: In diesem riesigen Rucksack gibt es ein winziges, perfekt organisiertes Schlüsselbund (ein „Lottery Ticket" oder „Gewinnlos").
• Wenn man den Rucksack nur mit diesem Schlüsselbund füllt und den Rest wegwirft, kann das System genauso gut (oder sogar besser) funktionieren wie mit dem ganzen Rucksack.
• Das Problem bisher: Man musste den Rucksack erst voll bepacken, trainieren, dann leerräumen und hoffen, dass das verbleibende Schlüsselbund noch funktioniert.

Die neue Entdeckung: Gewinntickets auch für Wahrsager?

Die Autoren dieses Papers haben untersucht, ob dieses Prinzip auch für die schweren Bayesschen Wahrsager funktioniert.

1. Die Suche nach dem Ticket: Sie haben den „Train-Prune-Reset"-Prozess angewendet. Das heißt: Sie haben den Wahrsager trainiert, dann die unwichtigen Teile (die „Rauschen") entfernt, die Gewichte auf den Anfangszustand zurückgesetzt und es nochmal trainiert.
2. Das Ergebnis: Ja! Auch bei den schweren Bayesschen Modellen gibt es diese „Gewinnlose". Man kann sie extrem stark ausdünnen (bis zu 98 % der Parameter wegwerfen), und sie bleiben trotzdem genau und gut darin, Unsicherheiten zu messen.

Wie findet man das richtige Ticket? (Der Kompass)

Wenn man so ein Ticket sucht, muss man wissen, welche Teile man wegwirft.

• Bei normalen Netzen schaut man nur auf die Stärke eines Gewichts (wie laut es „schreit").
• Bei Bayesschen Netzen hat jedes Gewicht zwei Eigenschaften: einen Mittelwert (die Vorhersage) und eine Unsicherheit (wie sehr es schwankt).

Die Forscher haben herausgefunden: Der beste Weg ist, zuerst auf die Stärke (Mittelwert) zu schauen und erst dann auf die Unsicherheit. Es ist, als würde man beim Aufräumen zuerst die schweren Steine entfernen, die nichts tun, und nicht erst die leichten, aber lauten Federn.

Der geniale Trick: Das „Transplantat"

Das größte Problem beim Finden dieser Tickets bei Bayesschen Netzen ist die Zeit. Das Training dauert ewig, weil der Computer so viel rechnen muss.

Die Forscher haben einen cleveren Trick gefunden, den sie „Transplantation" nennen:

• Stell dir vor, du findest das perfekte „Gewinnlos" (die Struktur) bei einem schnellen, normalen Wahrsager (dem deterministischen Netz). Das geht schnell.
• Dann nimmst du diese exakte Struktur (welche Teile bleiben, welche weg) und steckst sie in den schweren Bayesschen Wahrsager.
• Der Bayessche Wahrsager muss jetzt nur noch die Unsicherheiten anpassen, nicht mehr die ganze Struktur neu erfinden.

Das Ergebnis: Das spart bis zu 50 % der Rechenzeit, und das Ergebnis ist fast genauso gut wie wenn man den schweren Wahrsager von Grund auf neu trainiert hätte.

Zusammenfassung in einem Satz

Die Forscher haben bewiesen, dass man auch bei komplexen, unsicherheitsbewussten KI-Modellen riesige Mengen an Rechenleistung sparen kann, indem man nach kleinen, effizienten „Gewinnlosen" sucht – und dass man diese sogar von schnellen Modellen „transplantieren" kann, um Zeit und Energie zu sparen, ohne die Qualität zu verlieren.

Warum ist das wichtig?
Damit können wir KI-Modelle, die unsicherheiten erkennen können (was für Sicherheit in der echten Welt super wichtig ist), auch auf normalen Computern oder in der Cloud betreiben, ohne dass die Stromrechnung explodiert.

Technische Zusammenfassung

Problemstellung

Bayesische Neuronale Netze (BNNs) sind ein leistungsfähiges Werkzeug zur Quantifizierung von Unsicherheiten (Uncertainty Quantification, UQ) in neuronalen Netzen, indem sie Gewichte als Wahrscheinlichkeitsverteilungen statt als feste Werte behandeln. Dies ermöglicht robuste Vorhersagen in sicherheitskritischen Anwendungen. Allerdings bringen BNNs erhebliche Nachteile mit sich:

1. Hoher Rechenaufwand: Die Approximation der Posterior-Verteilung (z. B. durch Variational Inference, VI) erhöht die Anzahl der Parameter und die Anzahl der benötigten Operationen (FLOPs) drastisch im Vergleich zu deterministischen Netzen.
2. Trainingskosten: Die Notwendigkeit, mehrere Stichproben während des Vorwärts- und Rückwärtsdurchlaufs zu evaluieren, macht das Training auf Consumer-Hardware oft unpraktisch.
3. Fehlende Sparse-Strategien: Während das „Lottery Ticket Hypothesis" (LTH) für deterministische Netze zeigt, dass es dichte Subnetzwerke gibt, die nach dem Beschneiden (Pruning) und Neustart genauso gut oder besser funktionieren, ist unklar, ob dieses Phänomen auch für BNNs gilt. Bestehende Pruning-Methoden für BNNs reduzieren meist nur die Inferenzkosten, nicht aber die enormen Trainingskosten.

Methodik

Die Autoren übertragen das Konzept der Lottery Ticket Hypothesis (LTH) in einen bayesischen Kontext. Die Kernmethode basiert auf Iterative Magnitude Pruning (IMP):

1. Modelle & Datensatz: Es wurden gängige Computer-Vision-Modelle (ResNet-18, VGG11, VisionTransformer ViT-tiny) auf dem CIFAR10-Datensatz trainiert. Für jedes Modell wurde eine deterministische Version und eine bayesische Variante (mittels Mean-Field Variational Inference) implementiert.
2. Train-Prune-Reset-Zyklus:
   • Das Netzwerk wird für eine bestimmte Anzahl von Epochen trainiert.
   • Gewichte werden basierend auf einem Score entfernt (Pruning).
   • Die verbleibenden Gewichte werden auf ihre ursprüngliche Initialisierung zurückgesetzt (Reset).
   • Dieser Zyklus wird über 20 Stufen wiederholt, um immer höhere Sparsitäten zu erreichen.
3. Pruning-Strategien für BNNs: Da BNN-Gewichte aus Verteilungen $(\mu, \sigma)$ bestehen, wurden verschiedene Scoring-Funktionen zum Beschneiden getestet:
   • Magnitude ($|\mu|$): Ignoriert die Unsicherheit $\sigma$.
   • Signal-to-Noise Ratio (SNR): $|\mu| / \sigma$. Bevorzugt das Entfernen von „lauten" (hohe Varianz) und kleinen Gewichten.
   • Squared-Sum: $\sqrt{\mu^2 + \sigma^2}$. Bevorzugt das Entfernen von Gewichten mit geringer Unsicherheit.
4. Analyse der „Winning Tickets": Es wurde untersucht, welche Gewichte übrig bleiben (Layer-wise Sparsity) und ob die Struktur des Masken-Musters oder die Initialisierung entscheidend ist.
5. Transplantations-Strategie: Um die hohen Trainingskosten zu umgehen, wurden „Lottery Tickets" aus deterministischen Netzen extrahiert und in BNNs transplantiert (Maskenstruktur und Mittelwerte $\mu$ übernommen, $\sigma$ neu initialisiert), gefolgt von einer finalen VI-Optimierungsphase.

Wichtige Beiträge

1. Validierung der LTH in BNNs: Der erste Nachweis, dass die Lottery Ticket Hypothesis auch für Bayesische Neuronale Netze gilt. Es existieren sparse Subnetzwerke, die die Leistung dichter BNNs erreichen oder übertreffen.
2. Optimale Pruning-Strategie: Die Studie identifiziert, dass die Magnitude des Mittelwerts ($|\mu|$) der primäre Faktor für erfolgreiches Pruning in BNNs ist. Die Berücksichtigung der Standardabweichung ($\sigma$) ist zweitrangig; komplexe Scores wie SNR oder Squared-Sum bieten keinen signifikanten Vorteil und können bei bestimmten Architekturen (z. B. ViT) sogar schädlich sein.
3. Transplantations-Methode: Entwicklung einer effizienten Methode, um deterministische „Winning Tickets" in BNNs zu übertragen. Dies reduziert den Trainingsaufwand drastisch, ohne die Kalibrierungsvorteile (Unsicherheitsquantifizierung) der BNNs zu verlieren.
4. Architekturspezifische Erkenntnisse: Unterscheidung zwischen Faltungsnetzwerken (ResNet, VGG) und Attention-basierten Modellen (ViT) hinsichtlich ihrer Empfindlichkeit gegenüber Initialisierung und Maskenstruktur.

Ergebnisse

• Leistung: Winning Tickets in BNNs erreichen bei Sparsitäten bis zu ca. 90–95% eine Genauigkeit, die der dichten Modelle entspricht oder diese sogar übertrifft. Bei extrem hohen Sparsitäten (>98%) kommt es zu einem Leistungsabfall.
• Pruning-Score: Die einfache Magnitude-Pruning-Strategie ($|\mu|$) funktioniert in BNNs am besten und ist robust über verschiedene Architekturen hinweg.
• Struktur vs. Initialisierung:
  • Bei ResNet und VGG ist die Layer-wise Sparsity-Ratio (welche Schichten wie stark beschnitten werden) ein entscheidender Faktor.
  • Bei ViT-Modellen ist die Kombination aus spezifischer Gewichtsinitialisierung und Maskenstruktur entscheidend; reines Shuffling der Masken führt zu Leistungsabfällen.
• Transplantation: Die Transplantation deterministischer Tickets in BNNs führt bei ResNet und VGG zu vergleichbaren Ergebnissen wie das vollständige bayesische Training, bei ViT jedoch etwas schlechter.
• Effizienz: Durch die Transplantationsmethode kann die Trainingszeit um bis zu 50% reduziert werden, da der aufwendige bayesische Trainingsprozess (VI) nur noch in einer finalen Phase oder gar nicht für die Ticket-Entdeckung benötigt wird. Die Kalibrierung (MACE) bleibt dabei erhalten.
• Unsicherheit: Die Unsicherheit ($\sigma$) nimmt in tieferen Schichten tendenziell zu, was zu einem stärkeren Beschneiden tieferer Schichten führt als bei deterministischen Netzen.

Bedeutung

Diese Arbeit ist ein wichtiger Schritt zur praktischen Anwendbarkeit von BNNs in ressourcenbeschränkten Umgebungen.

1. Skalierbarkeit: Sie zeigt, dass große, skalierbare BNNs trainierbar werden, wenn man die Rechenlast durch Sparsity reduziert.
2. Effizienz: Die Transplantationsmethode bietet einen Weg, die Vorteile der Unsicherheitsquantifizierung von BNNs (z. B. für Safety-Critical Applications) mit der Effizienz von Sparse-Netzen zu kombinieren, ohne die vollen Trainingskosten eines BNN zu tragen.
3. Theoretisches Verständnis: Die Ergebnisse liefern Einblicke in den Trainingsprozess von BNNs und zeigen, dass die zugrundeliegende Struktur (Masken) und Initialisierung auch in probabilistischen Modellen die entscheidenden „Lottery Tickets" bilden.

Zusammenfassend beweist das Paper, dass die Suche nach effizienten, sparse Subnetzwerken nicht nur für deterministische, sondern auch für probabilistische Modelle erfolgreich ist, und bietet konkrete Algorithmen, um die Trainingskosten von BNNs signifikant zu senken.