Technische Samenvatting: Actief Leren voor Manifold Gaussian Process Regression

Probleemstelling

Standaard Gaussian Process Regression (GPR) is een krachtig niet-parametrisch raamwerk voor regressie en kwantificatie van onzekerheid. Het staat echter voor de "vloek van de dimensionaliteit" naarmate de invoerdimensies toenemen. In hoogdimensionale ruimten worden gegevens schaars, verslechtert de schaalbaarheid van de berekening en neemt het vermogen van standaard covariantiefuncties (bijvoorbeeld kwadratisch exponentieel) af om onderliggende gegevensstructuren te vangen. Dit is bijzonder problematisch voor het modelleren van complexe, discontinuïteiten bevattende functies of gegevens met intrinsieke laagdimensionale geometrische structuren.

Hoewel Manifold Gaussian Processes (mGPs) als oplossing zijn opgekomen door hoogdimensionale gegevens te projecteren op een laagdimensionale latente ruimte om de intrinsieke geometrie te behouden, hangt de prestatie van deze modellen sterk af van de kwaliteit en representativiteit van de trainingsgegevens. In veel wetenschappelijke en technische toepassingen is het verkrijgen van gelabelde gegevens duur of tijdrovend. Bestaande strategieën voor actief leren voor GPR zijn vaak niet op maat gemaakt voor de specifieke uitdagingen van mGPs, waarbij de geometrie van de latente ruimte en hoogdimensionale invoer dynamisch met elkaar interageren. Er is behoefte aan een raamwerk dat efficiënt datapunten selecteert om mGP-modellen te verfijnen terwijl de globale voorspellingsfout wordt geminimaliseerd.

Methodologie

Het artikel stelt een unificerend raamwerk voor, genaamd Active Learning Manifold Gaussian Process (ALmGP), dat manifold learning integreert met sequentieel experimenteel ontwerp. De methodologie bestaat uit drie kerncomponenten:

1. Manifold Gaussian Process (mGP) Model

Het mGP-raamwerk decomposeert de regressietaken $F = G \circ M$, waarbij:

• $M$ (Mapping): Een deterministische mapping van de invoerruimte $\mathcal{X}$ naar een latente kenmerkenruimte $\mathcal{H} \subset \mathbb{R}^Q$. Dit wordt geïmplementeerd met een multilayer neurale netwerk met parameters $\theta_M$.
• $G$ (Regressor): Een standaard GPR-model dat binnen de latente ruimte $\mathcal{H}$ opereert met parameters $\theta_G$.

Het model optimaliseert gezamenlijk $\theta_{mGP} = [\theta_M, \theta_G]$ door de Negatieve Logaritmische Marginale Likelihood (NLML) te minimaliseren. Deze toezichtmethode stelt het model in staat taakbewuste kenmerkrepresentaties te leren die discontinuïteiten en patronen op meerdere schalen effectiever kunnen hanteren dan onbewaakte transformaties (zoals PCA) of standaard kernels.

2. Actief Leer Criterium (ALC)

Om de meest informatieve datapunten te selecteren, hanteert het raamwerk het Active Learning Cohn (ALC) criterium, dat erop gericht is de Geïntegreerde Gemiddelde Kwartafwijking (IMSE) over de invoerruimte te minimaliseren.

• Doel: Selecteer een nieuw punt $x_{n+1}$ dat de verwachte reductie in posterior variantie maximaliseert.
• Acquisitiefunctie: De ALC-score is evenredig met de integraal van de reductie in voorspellende variantie.
• Benadering: Om berekeningshaalbaarheid te waarborgen, wordt de integraal benaderd met behulp van een vaste referentieset $X_{ref}$ die is bemonsterd via Latin Hypercube Design (LHD).
• Selectiestrategie: Het algoritme gebruikt een tweestaps screeningsproces:
  1. Pre-screening: Identificeer de top $K$ kandidaten met de hoogste voorspellende variantie uit de kandidatenpool.
  2. Optimalisatie: Bereken de ALC-score uitsluitend voor deze $K$ punten en selecteer de top $B$ punten (batchgrootte) om aan de trainingsset toe te voegen.

3. Optimalisatie en Training

Het raamwerk maakt gebruik van het L-BFGS-algoritme voor het optimaliseren van hyperparameters. Om stabiliteit en positiviteit te waarborgen, worden hyperparameters (zoals lengteschalen en outputvariantie) gekwadrateerd voordat de optimalisatie plaatsvindt. Het proces iteratieert: het mGP wordt gefit, nieuwe punten worden geselecteerd via ALC, en het model wordt opnieuw getraind totdat een convergentiedrempel of maximaal budget is bereikt.

Belangrijkste Bijdragen

Het artikel schetst drie primaire bijdragen:

1. Unificerend Raamwerk: De integratie van manifold learning met op IMSE gebaseerd actief leren specifiek voor mGPs, waardoor de kloof wordt overbrugd tussen efficiënte gegevensacquisitie en dimensionaliteitsreductie.
2. Strategische Efficiëntie: Verbeterde efficiëntie door strategische puntselectie in de latente ruimte, gebruikmakend van het vermogen van mGP om complexe geometrische structuren te vangen.
3. Schaalbaarheid: Een schaalbare aanpak voor hoogdimensionale gegevens door te opereren op intrinsieke laagdimensionale manifolds, waardoor de beperkingen van standaard GPs in hoge dimensies worden aangepakt.

Experimentele Resultaten

De auteurs hebben het ALmGP-raamwerk gevalideerd met vier benchmarkexperimenten, waarbij ze het vergeleken met willekeurige sequentiële learning (Random LHS). Elk experiment werd 10 keer herhaald om statistische robuustheid te waarborgen.

• Stuksgewijze Trigonometrische Functie (1D): Een functie met discontinuïteiten. De ALmGP-methode behaalde een gemiddelde RMSE van 0,156 met 15 nieuwe samples, wat aanzienlijk beter presteerde dan willekeurige bemonstering. De geleerde 2D latente ruimte slaagde erin de discontinuïteitsstructuur succesvol te ontwarren.
• Tweedimensionale Deterministische Functie: Een geroteerde functie met Gaussische componenten. De methode bereikte een gemiddelde RMSE van 0,0152 na 50 iteraties (100 totale samples), wat superieure convergentie toonde ten opzichte van de baseline.
• Driedimensionale Functie op de Eenheidssfeer: Een functie gedefinieerd op een sferische manifold. Het raamwerk behaalde een lage gemiddelde RMSE van $6 \times 10^{-3}$ met 100 samples, waardoor de sferische geometrie effectief werd gemodelleerd.
• Boorgatfunctie (8D): Een standaard niet-lineaire regressiebenchmark met acht fysische parameters. De ALmGP-methode behaalde een gemiddelde RMSE van 0,6 met 150 samples, wat robuustheid toonde in hogerdimensionale fysische simulaties.

In alle gevallen toonde de ALmGP-methode (groene doorgetrokken lijnen in de figuren) consistent een lagere Root Mean Square Error (RMSE) en snellere convergentie dan willekeurige acquisitie (rode gestippelde lijnen).

Betekenis en Claims

Het artikel stelt dat het voorgestelde raamwerk een praktische oplossing biedt voor wetenschappelijke en technische toepassingen waar gegevensacquisitie kostbaar is en functies complex of discontinu zijn. Door de dimensionaliteitsreductie en de regressor gezamenlijk te optimaliseren onder een actief leercriterium, bereikt de methode:

• Verbeterde Nauwkeurigheid: Het bereikt superieure voorspellende prestaties in vergelijking met passieve bemonstering en standaard actief leermethoden in hoogdimensionale ruimten.
• Beheer van Complexiteit: Het beheert effectief discontinuïteiten bevattende functies en complexe geometrische structuren waar standaard GPs moeite mee hebben.
• Behoud van Haalbaarheid: Ondanks de complexiteit van gezamenlijke optimalisatie blijft de methode berekeningsmatig haalbaar door efficiënte screeningsstrategieën en hyperparameteroptimalisatie.

De auteurs merken op dat hoewel het huidige raamwerk uitgaat van een deterministische manifold-mapping, toekomstig werk zich zal richten op schaalbaarheid, onzekerheidsbewust manifold learning (bijvoorbeeld via Bayesiaanse neurale netwerken) en het verbeteren van de interpreteerbaarheid van de geleerde manifolds door domeinspecifieke beperkingen.