Laplace Approximation for Bayesian Tensor Network Kernel Machines

1. Probleemstelling

Machine learning-systemen vereisen robuuste onzekerheidsschatting (UE) om om te gaan met dubbelzinnige invoer, data buiten de verdeling en ruisachtige kenmerken. Hoewel Gaussische Processen (GP's) een principiële probabilistische raamwerk bieden voor UE, schaalt hun rekencomplexiteit kubisch ($O(N^3)$) met het aantal datapunten, wat hen beperkt tot kleine tot middelgrote datasets.

Daarentegen bieden Tensor Network Kernel Machines (TNKM's) een schaalbaar alternatief door modelgewichten te parametriseren als tensornetwerken (specifiek Canonical Polyadic Decomposition, of CPD). Dit reduceert het aantal parameters van exponentieel naar lineair ten opzichte van de invoerdimensie. Standaard TNKM's vertrouwen echter doorgaans op Maximum A Posteriori (MAP)-schatting. De niet-lineaire, multilineaire structuur van tensornetwerken breekt de Gaussische aanname die nodig is voor gesloten-form Bayesian inference, waardoor het moeilijk is om principiële onzekerheidsschattingen af te leiden zonder te grijpen naar dure sampling-methoden (zoals MCMC) of complexe variatie-inferentie.

De Kernvraag: Hoe kunnen Tensor Network Kernel Machines principiële, schaalbare onzekerheidsschattingen bieden die vergelijkbaar zijn met GP's of Bayesian Neural Networks (BNN's)?

2. Methodologie: LA-TNKM

De auteurs stellen LA-TNKM (Laplace Approximation Tensor Network Kernel Machine) voor, een raamwerk dat variatie-inferentie unificeert met een (gelineariseerde) Laplace-benadering om uitvoerbare Bayesian inference uit te voeren op tensornetwerken.

Belangrijkste Componenten:

1. Modelformulering:

   • Het model wordt gedefinieerd als $f(x) = \phi(x)^T w$, waarbij kenmerken $\phi(x)$ een tensorproductstructuur hebben en gewichten $w$ worden weergegeven als een CPD-tensornetwerk.
   • Er wordt een Gaussische waarschijnlijkheid en een Gaussische prior verondersteld over de parameters.

2. Laplace-benadering:

   • In plaats van te integreren over de hoogdimensionale posterior (onuitvoerbaar), benaderen de auteurs de posterior-verdeling $p(v|D)$ met een Gaussische verdeling gecentreerd rond de MAP-schatting $v^*$:
     $$q(v) = \mathcal{N}(v | v^*, H_{v^*}^{-1})$$
   • Hierbij is $H_{v^*}$ de Hessiaan-matrix van de verliesfunctie, geëvalueerd bij het optimum.

3. Hessiaan-benaderingen:
   Het berekenen van de volledige Hessiaan voor tensornetwerken is geheugenintensief. Het paper evalueert systematisch vijf benaderingsstrategieën om een balans te vinden tussen geheugen en nauwkeurigheid:

   • Volledige Hessiaan: Exact maar rekenkundig duur ($O((DIR)^2)$).
   • Generalized Gauss-Newton (GGN): Positief semi-definiete benadering, vaak gebruikt in BNN's.
   • Blok-diagonaal: Neemt onafhankelijkheid aan tussen CPD-kernen (analoog aan lagen in BNN's).
   • Diagonaal: Neemt aan dat alle gewichten onafhankelijk zijn (mean-field).
   • Laatste Kern: Past Bayesian inference alleen toe op de laatste CPD-kern, terwijl eerdere kernen als vast worden behandeld. Dit blijkt zeer efficiënt ($O(I^2R^2)$) en effectief te zijn.

4. Glineariseerde Laplace-benadering (LLA):

   • De auteurs adresseren het verschil tussen het niet-lineaire model en de Gaussische posterior door de modelfunctie $f(x, v)$ te lineariseren rond $v^*$.
   • Dit maakt het mogelijk om de predictieve verdeling analytisch te berekenen met het gelineariseerde model, wat de predictieve prestaties (Negative Log-Likelihood) aanzienlijk verbetert ten opzichte van de niet-glineariseerde Laplace-benadering.

5. Eigenwaarde-truncatie:

   • Om slecht geconditioneerde Hessiaans te hanteren (waarbij eigenwaarden dicht bij nul of negatief zijn), passen de auteurs een afgeknotte eigenwaarde-decompositie toe. Een hyperparameter $\hat{t}$ wordt via cross-validatie afgestemd om kleine eigenwaarden te filteren, waardoor wordt voorkomen dat de predictieve variantie explodeert.

3. Belangrijkste Bijdragen

• Nieuw Raamwerk (LA-TNKM): Introductie van de eerste Bayesian Tensor Network Kernel Machine die onzekerheidsbewuste voorspellingen mogelijk maakt terwijl de rekenkosten vergelijkbaar blijven met standaard MAP-gebaseerde TNKM's.
• Systematische Hessiaan-analyse: Een uitgebreide vergelijking van Hessiaan-benaderingstechnieken (Volledig, GGN, Blok, Diagonaal, Laatste Kern) binnen de context van tensornetwerken, met richtlijnen voor geheugengebruik en predictieve prestaties.
• Linearisatiestrategie: Aantonen dat het lineariseren van de predictiefunctie (LLA) cruciaal is voor het behalen van hoogwaardige onzekerheidsschattingen in tensornetwerken, in lijn met recente bevindingen in BNN's.
• Empirische Validatie: Uitgebreide experimenten tonen aan dat LA-TNKM op diverse regressietaken gelijkwaardig is aan of beter presteert dan GP's en BNN's.

4. Experimentele Resultaten

De methode werd geëvalueerd op negen UCI-regressiedatasets en een synthetische kubische regressietaken ($y = x^3 + \epsilon$).

• Prestaties versus Baselines:

  • LA-TNKM (specifiek met de Laatste Kern-benadering) behaalde consistent de laagste Negative Log-Likelihood (NLL) op 4 van de 9 datasets en presteerde concurrerend op de rest.
  • Het presteerde beter dan standaard BNN's (Bayes-by-Backprop, Variational Dropout) en andere op tensor gebaseerde methoden (MF-BTN, SP-BTN).
  • In termen van Onzekerheidskalibratie (gemeten door ECP-95 en Relative Calibration Error) produceerde LA-TNKM intervallen die scherper waren (lagere WCPI-95) en beter gekalibreerd dan BNN's, en die nauw overeenkwamen met het gedrag van Gaussische Processen.

• Vondsten bij Synthetische Data:

  • Op de synthetische $x^3$-taak slaagde LA-TNKM erin om de onzekerheid in gebieden met schaarse data succesvol vast te leggen, terwijl SP-BTN neigde tot het overschatten van variantie (te brede intervallen) en LA-BNN tekenen vertoonde van modelmismatch tijdens extrapolatie.

• Ablatiestudies:

  • Linearisatie: De Glineariseerde Laplace-benadering (LLA) presteerde consistent beter dan de standaard Laplace-benadering in termen van NLL.
  • Keuze van Hessiaan: Hoewel de "Laatste Kern"-benadering het meest geheugenefficiënt was en over het algemeen het beste presteerde, bleek de optimale keuze data-afhankelijk te zijn. Echter, "Laatste Kern" en "Blok-diagonaal" boden de beste afweging tussen efficiëntie en nauwkeurigheid.

5. Betekenis en Conclusie

Dit werk overbrugt de kloof tussen de schaalbaarheid van Tensornetwerken en de robuustheid van Bayesian Inference.

• Schaalbaarheid: Door gebruik te maken van tensor-decomposities en efficiënte Hessiaan-benaderingen, vermijdt LA-TNKM de $O(N^3)$-bottleneck van GP's, waardoor principiële onzekerheidsschatting haalbaar wordt voor grotere datasets en hogere dimensionale invoer.
• Praktijktoepasbaarheid: De methode biedt een "plug-and-play" probabilistische laag voor bestaande tensornetwerk-architecturen zonder complexe sampling of variatie-families te vereisen.
• Toekomstige Impact: De resultaten suggereren dat voor veel regressietaken een gelokaliseerde Bayesian behandeling (bijv. Laatste Kern) in combinatie met linearisatie voldoende is om state-of-the-art onzekerheidskwantificatie te bereiken, en biedt een rekenkundig efficiënt alternatief voor zowel GP's als volledige BNN's.

Kortom, LA-TNKM demonstreert dat tensor network kernel machines effectief Bayesian kunnen zijn, en biedt een schaalbare, robuuste en principiële aanpak voor onzekerheidsschatting in modern machine learning.