Laplace Approximation for Bayesian Tensor Network Kernel Machines

1. Problemstellung

Maschinelle Lernsysteme benötigen eine robuste Unsicherheitsschätzung (Uncertainty Estimation, UE), um mit mehrdeutigen Eingaben, Daten außerhalb der Verteilung (out-of-distribution) und verrauschten Merkmalen umzugehen. Während Gaußsche Prozesse (GPs) prinzipielle probabilistische Rahmenwerke für die UE bieten, skaliert ihre Rechenkomplexität kubisch ($O(N^3)$) mit der Anzahl der Datenpunkte, was sie auf kleine bis mittlere Datensätze beschränkt.

Im Gegensatz dazu bieten Tensor Network Kernel Machines (TNKMs) eine skalierbare Alternative, indem sie Modellgewichte als Tensor-Netzwerke parametrisieren (speziell die Kanonische Polya-Dekomposition, CPD). Dies reduziert die Anzahl der Parameter von exponentiell auf linear relativ zur Eingabedimension. Standard-TNKMs verlassen sich jedoch typischerweise auf Maximum A Posteriori (MAP)-Schätzung. Die nichtlineare, multilinear Struktur von Tensor-Netzwerken bricht die Gaußsche Annahme, die für eine geschlossene bayessche Inferenz erforderlich ist, was es schwierig macht, prinzipielle Unsicherheitsschätzungen abzuleiten, ohne auf teure Sampling-Verfahren (wie MCMC) oder komplexe variationale Inferenz zurückzugreifen.

Die Kernfrage: Wie können Tensor Network Kernel Machines prinzipielle, skalierbare Unsicherheitsschätzungen bereitstellen, die mit GPs oder Bayesschen neuronalen Netzen (BNNs) vergleichbar sind?

2. Methodik: LA-TNKM

Die Autoren schlagen LA-TNKM (Laplace Approximation Tensor Network Kernel Machine) vor, ein Rahmenwerk, das variationale Inferenz mit einer (linearisierten) Laplace-Näherung vereint, um eine handhabbare bayessche Inferenz auf Tensor-Netzwerken durchzuführen.

Schlüsselkomponenten:

1. Modellformulierung:

   • Das Modell ist definiert als $f(x) = \phi(x)^T w$, wobei die Merkmale $\phi(x)$ eine Tensorprodukt-Struktur aufweisen und die Gewichte $w$ als CPD-Tensor-Netzwerk dargestellt werden.
   • Eine Gaußsche Likelihood und eine Gaußsche Prior-Verteilung werden über den Parametern angenommen.

2. Laplace-Näherung:

   • Anstatt über die hochdimensionale Posterior-Verteilung zu integrieren (unlösbar), approximieren die Autoren die Posterior-Verteilung $p(v|D)$ durch eine Gaußsche Verteilung, zentriert um die MAP-Schätzung $v^*$:
     $$q(v) = \mathcal{N}(v | v^*, H_{v^*}^{-1})$$
   • Hierbei ist $H_{v^*}$ die Hesse-Matrix der Verlustfunktion, ausgewertet am Optimum.

3. Hesse-Näherungen:
   Die Berechnung der vollen Hesse-Matrix für Tensor-Netzwerke ist speicherintensiv. Das Papier bewertet systematisch fünf Näherungsstrategien, um Speicherbedarf und Genauigkeit auszubalancieren:

   • Vollständige Hesse-Matrix: Exakt, aber rechenintensiv ($O((DIR)^2)$).
   • Generalized Gauss-Newton (GGN): Positiv semidefinite Näherung, häufig in BNNs verwendet.
   • Block-Diagonal: Nimmt Unabhängigkeit zwischen CPD-Kernen an (analog zu Schichten in BNNs).
   • Diagonal: Nimmt an, dass alle Gewichte unabhängig sind (Mean-Field).
   • Letzter Kern: Wendet bayessche Inferenz nur auf den letzten CPD-Kern an und behandelt frühere Kerne als fest. Dies erweist sich als hoch effizient ($O(I^2R^2)$) und effektiv.

4. Linearisierte Laplace-Näherung (LLA):

   • Die Autoren adressieren die Diskrepanz zwischen dem nichtlinearen Modell und der Gaußschen Posterior-Verteilung, indem sie die Modellfunktion $f(x, v)$ um $v^*$ linearisieren.
   • Dies ermöglicht die analytische Berechnung der Vorhersageverteilung unter Verwendung des linearisierten Modells und verbessert die Vorhersageleistung (Negative Log-Likelihood) im Vergleich zur nichtlinearisierten Laplace-Näherung erheblich.

5. Eigenwert-Trunkierung:

   • Um schlecht konditionierte Hesse-Matrizen zu behandeln (bei denen Eigenwerte nahe Null oder negativ sind), wenden die Autoren eine getränkte Eigenwertzerlegung an. Ein Hyperparameter $\hat{t}$ wird mittels Kreuzvalidierung angepasst, um kleine Eigenwerte zu filtern und ein Explodieren der Vorhersagevarianz zu verhindern.

3. Hauptbeiträge

• Neues Rahmenwerk (LA-TNKM): Einführung der ersten Bayesschen Tensor Network Kernel Machine, die unsicherheitsbewusste Vorhersagen ermöglicht, während die Rechenkosten mit standardmäßigen MAP-basierten TNKMs vergleichbar bleiben.
• Systematische Hesse-Analyse: Ein umfassender Vergleich von Hesse-Näherungstechniken (Vollständig, GGN, Block, Diagonal, Letzter Kern) im Kontext von Tensor-Netzwerken, der Leitlinien für Speichernutzung und Vorhersageleistung bietet.
• Linearisierungsstrategie: Demonstration, dass die Linearisierung der Vorhersagefunktion (LLA) entscheidend ist, um hochwertige Unsicherheitsschätzungen in Tensor-Netzwerken zu erreichen, was mit jüngsten Erkenntnissen in BNNs übereinstimmt.
• Empirische Validierung: Umfassende Experimente zeigen, dass LA-TNKM bei diversen Regressionsaufgaben GPs und BNNs einholt oder übertrifft.

4. Experimentelle Ergebnisse

Die Methode wurde auf neun UCI-Regressionsdatensätzen und einer synthetischen kubischen Regressionsaufgabe ($y = x^3 + \epsilon$) evaluiert.

• Leistung im Vergleich zu Baselines:

  • LA-TNKM (speziell unter Verwendung der Last Core-Näherung) erzielte konsistent die niedrigste Negative Log-Likelihood (NLL) auf 4 von 9 Datensätzen und schnitt bei den restlichen konkurrenzfähig ab.
  • Es übertraf standardmäßige BNNs (Bayes-by-Backprop, Variational Dropout) und andere tensorbasierte Methoden (MF-BTN, SP-BTN).
  • In Bezug auf die Unsicherheitskalibrierung (gemessen durch ECP-95 und Relative Calibration Error) erzeugte LA-TNKM Intervalle, die schärfer (niedrigerer WCPI-95) und besser kalibriert waren als BNNs und das Verhalten von Gaußschen Prozessen eng nachahmten.

• Ergebnisse bei synthetischen Daten:

  • Bei der synthetischen $x^3$-Aufgabe gelang es LA-TNKM, die Unsicherheit in Bereichen mit spärlichen Daten erfolgreich zu erfassen, während SP-BTN dazu neigte, die Varianz zu überschätzen (übermäßig breite Intervalle) und LA-BNN Anzeichen von Modellfehlanpassung während der Extrapolation zeigte.

• Ablationsstudien:

  • Linearisierung: Die Linearisierte Laplace-Näherung (LLA) schnitt in Bezug auf die NLL konsistent besser ab als die Standard-Laplace-Näherung.
  • Wahl der Hesse-Matrix: Während die "Last Core"-Näherung die speichereffizienteste war und im Allgemeinen am besten abschnitt, erwies sich die optimale Wahl als datenabhängig. Dennoch boten "Last Core" und "Block-Diagonal" den besten Kompromiss zwischen Effizienz und Genauigkeit.

5. Bedeutung und Fazit

Diese Arbeit schließt die Lücke zwischen der Skalierbarkeit von Tensor-Netzwerken und der Robustheit der Bayesschen Inferenz.

• Skalierbarkeit: Durch die Nutzung von Tensor-Zerlegungen und effizienten Hesse-Näherungen vermeidet LA-TNKM den $O(N^3)$-Flaschenhals von GPs und macht prinzipielle Unsicherheitsschätzung für größere Datensätze und höherdimensionale Eingaben machbar.
• Praktikabilität: Die Methode bietet eine "Plug-and-Play"-probabilistische Schicht für bestehende Tensor-Netzwerk-Architekturen, ohne komplexe Sampling-Verfahren oder variationale Familien zu erfordern.
• Zukünftige Auswirkungen: Die Ergebnisse deuten darauf hin, dass für viele Regressionsaufgaben eine lokalisierte bayessche Behandlung (z. B. Last Core) in Kombination mit Linearisierung ausreicht, um eine state-of-the-art Unsicherheitsquantifizierung zu erreichen, und bietet eine rechen-effiziente Alternative sowohl zu GPs als auch zu vollständigen BNNs.

Zusammenfassend zeigt LA-TNKM, dass Tensor Network Kernel Machines effektiv bayessch sein können und einen skalierbaren, robusten und prinzipiellen Ansatz für die Unsicherheitsschätzung im modernen maschinellen Lernen bieten.