Technische Samenvatting: Getransformeerde Latente Variabele Multi-Output Gaussian Processes (T-LVMOGP)

1. Probleemstelling

Multi-Output Gaussian Processes (MOGPs) bieden een principiële probabilistische raamwerk voor het modelleren van gecorreleerde outputs, met toepassingen variërend van voorspelling van medische tijdreeksen tot modellering van dynamische systemen. Echter, standaard MOGP-modellen ondervinden een aanzienlijke schaalbaarheidsbottleneck wanneer ze worden toegepast op datasets met hoogdimensionale outputruimten (waarbij het aantal outputs $P$ in de duizenden of tienduizenden ligt). De rekenkosten voor exacte inferentie schalen kubisch met het aantal outputs ($O(P^3)$), waardoor ze onhandelbaar worden voor grootschalige toepassingen zoals klimaatmodellering en ruimtelijke transcriptomica.

Bestaande methoden proberen deze complexiteit te mitigeren door restrictieve structurele aannames op te leggen, zoals benaderingen met lage rang (bijvoorbeeld het Lineair Model van Coregionalisatie, LMC) of sommen van scheidbare kernels. Hoewel deze benaderingen de schaalbaarheid verbeteren, offeren ze vaak de expressiviteit op en slagen ze er niet in de ingewikkelde, niet-lineaire inter-output afhankelijkheden vast te leggen die inherent zijn aan complexe real-world data.

2. Methodologie

De auteurs stellen de Getransformeerde Latente Variabele Multi-Output Gaussian Process (T-LVMOGP) voor, een raamwerk dat is ontworpen om MOGPs te schalen naar massale outputdimensies terwijl hoge expressiviteit behouden blijft. De kerninnovatie ligt in het construeren van een flexibele multi-output diepe kernel die inputs en output-specifieke latente variabelen afbeeldt op een geleerde embeddingruimte.

2.1. Modelarchitectuur

• Toewijzing van Latente Variabelen: Elke output $p$ is gekoppeld aan een latente variabele $h_p$, die dient als een compacte representatie van de specifieke kenmerken van de output.
• Constructie van Diepe Kernel: Een neurale net $\Phi_\theta$ beeldt het samengevoegde paar van input $x_n$ en latente variabele $h_p$ af op een embeddingruimte $\mathbb{R}^{D_T}$.
• Definitie van Covariantie: Cross-output covarianties worden gedefinieerd via een stationaire basiskernel (bijvoorbeeld RBF) die op deze embeddings wordt toegepast:
  $$\text{cov}[f_p(x_n), f_{p'}(x_{n'})] = k_{\text{base}}(\Phi_\theta(x_n, h_p), \Phi_\theta(x_{n'}, h_{p'}))$$
  Deze formulering induceert impliciet correlaties zonder rigide lage-rang of scheidbare structurele beperkingen op te leggen.

2.2. Regularisatie en Stabiliteit

Om overfitting en pathologisch gedrag (zoals feature collapse en verlies van afstandsbewustzijn) te voorkomen die vaak voorkomen bij onbeperkte diepe kernels, passen de auteurs specifieke regularisatietechnieken toe:

• Residuele Connecties: Het neurale net $\Phi_\theta$ is geïmplementeerd als een Residueel Gekoppeld Neurale Net (RCNN).
• Spectrale Normalisatie: Spectrale normalisatie wordt toegepast op de gewichtsmatrices van elke laag om Lipschitz-continuïteit af te dwingen. Dit zorgt ervoor dat de transformatie afstandsbewust is en bevordert lokaal gladde, globaal stabiele afbeeldingen, wat cruciaal is voor de betrouwbare prestaties van de diepe kernel.

2.3. Variationale Inferentie

Het model wordt geïnstancierd binnen het Sparse Variational Gaussian Process (SVGP) raamwerk:

• Inducerende Punten: Inducerende punten $Z$ worden geplaatst in de geleerde embeddingruimte in plaats van de ruwe inputruimte.
• Stochastische Optimalisatie: Het raamwerk ondersteunt stochastische mini-batch training over zowel inputs als outputs, met gebruikmaking van de reparameterisatietrick voor latente variabelen.
• Strakkere Grenzen: De formulering past zich van nature aan aan strakkere variationele grenzen (voorgesteld door Titsias, 2025; Bui et al., 2025), wat de voorspellende prestaties kan verbeteren door de voorwaartse conditionele aanname te versoepelen.
• Likelihood Flexibiliteit: De aanpak ondersteunt niet-Gaussische likelihoods (bijvoorbeeld Zero-Inflated Negative Binomial voor teldata) via Monte Carlo-benadering of Gauss-Hermite-kwadratuur.

3. Belangrijkste Bijdragen

1. Schaalbaar Raamwerk: Introductie van T-LVMOGP, een raamwerk dat MOGPs schaalbaar maakt voor hoogdimensionale outputs terwijl het de capaciteit behoudt om rijke cross-output afhankelijkheden vast te leggen.
2. Lipschitz-geregulariseerde Diepe Kernel: Toepassing van een Lipschitz-continue neurale net met residuele connecties en spectrale normalisatie om generalisatie te verbeteren en overfitting te voorkomen bij het leren van diepe kernels.
3. Stochastische Variationale Inferentie: Ontwikkeling van een inferentieprocedure binnen het SVGP-raamwerk die mini-batch training over zowel inputs als outputs ondersteunt, en niet-Gaussische likelihoods en strakkere variationele grens accommoderen.
4. Empirische Validatie: Demonstratie van superieure prestaties ten opzichte van baselines in zowel voorspellende nauwkeurigheid als rekenefficiëntie over diverse benchmarks.

4. Experimentele Resultaten

De auteurs evalueerden T-LVMOGP op verschillende real-world datasets, met benchmarking tegen schaalbare MOGP-baselines waaronder SV-LMC, SGPRN, OILMM, G-MOGP en GS-LVMOGP.

• EEG Voorspelling: Op een dataset met 7 outputs behaalde T-LVMOGP de laagste Mean Squared Error (MSE: 0,115) en Negative Log-Likelihood (NLL: 0,814), en presteerde beter dan alle baselines.
• Inverse Dynamica (SARCOS): Voor een robotarm-dynamica taak met 7 outputs en ~49k inputs behaalde T-LVMOGP de beste MSE (0,022) en NLL (-0,485) terwijl het concurrerende trainingstijden behield.
• Klimaatmodellering (ERA5 & Copernicus Marine):
  • Op de ERA5 dataset (3.395 outputs) presteerde T-LVMOGP significant beter dan baselines in MSE (0,002) en NLL (-1,564).
  • Op de Copernicus Marine dataset (10.873 outputs) toonde het model superieure prestaties in output-extrapolatietaken, met een MSE van 0,029 vergeleken met 0,035 voor de beste baseline (GS-LVMOGP met $Q=3$).
• Ruimtelijke Transcriptomica: Op een dataset met 5.000 gen-outputs en zero-inflated teldata presteerde T-LVMOGP beter dan GS-LVMOGP in MSE (9,189 versus 11,024) terwijl het een vergelijkbare NLL behaalde, wat de capaciteit bevestigt om niet-Gaussische likelihoods te hanteren.

Ablatiestudies:

• Spectrale Normalisatie: Het verwijderen van spectrale normalisatie degradeerde consistent de prestaties (bijvoorbeeld NLL op EEG steeg van 0,814 naar 4,109), wat de noodzaak ervan bevestigt.
• Neuraal Net: Hoewel identity mapping geldig is, leverde het incorporeren van het neurale net over het algemeen gelijke of betere prestaties op, wat het voordeel van de geleerde embedding valideert.
• Strakkere Grenzen: Optimalisatie met strakkere variationele grenzen resulteerde in prestaties die vergelijkbaar waren met of licht beter waren dan standaard grenzen.

5. Betekenis en Claims

Het artikel claimt dat T-LVMOGP succesvol de kloof overbrugt tussen schaalbaarheid en expressiviteit in Multi-Output Gaussian Processes. Door MOGPs te herformuleren als scalaire GPs gedefinieerd op een geleerde embeddingruimte, maakt de methode directe hergebruik mogelijk van schaalbare inferentietechnieken die zijn ontwikkeld voor single-output GPs.

De auteurs benadrukken dat hun aanpak:

• Rekenkundige Bottlenecks Vermindert: Het schaalt lineair met het aantal outputs wat betreft variationele parameters (vanwege gefactoriseerde latente variabelen) en vermijdt de kubische complexiteit van standaard MOGPs.
• Expressiviteit Behoudt: In tegenstelling tot lage-rang of scheidbare kernel-methoden, legt T-LVMOGP geen rigide structurele beperkingen op, waardoor het ingewikkelde inter-output afhankelijkheden kan modelleren.
• Robuustheid Zorgt: De Lipschitz-regularisatie adresseert de overfittingproblemen die vaak geassocieerd worden met het leren van diepe kernels, en zorgt voor betrouwbare onzekerheidskwantificatie.

Het werk wordt gepositioneerd als een stap voorwaarts in het hanteren van hoogdimensionale outputruimten in domeinen zoals klimaatwetenschap en genomica, waar bestaande methoden ofwel niet schaalbaar zijn ofwel de flexibiliteit missen om complexe correlaties te modelleren. Toekomstig werk zoals voorgesteld door de auteurs omvat het integreren van gestructureerde variationele distributies om posterior output-koppelingen vast te leggen en het verkennen van andere schaalbaarheidstechnieken zoals gestructureerde kernel-interpolatie.