Adaptive Resolution for Finite-Rank Gaussian Processes

Technische Samenvatting: Adaptieve Resolutie voor Eindige-Rang Gaussische Processen

Probleemstelling
Gaussische proces (GP) regressie is een standaardinstrument voor Bayesiaans niet-parametrisch leren, maar de exacte implementatie vereist $O(n^2)$ geheugen en $O(n^3)$ computationele complexiteit, wat onhaalbaar is voor matig grote steekproefomvang $n$. Hoewel schaalbare benaderingen (sparse, low-rank en gedistribueerde methoden) zijn ontwikkeld, is er beperkt theoretisch begrip van wanneer deze benaderingen de statistische garanties (specifiek de posterieure contractieratio's) van hun respectieve "ouder"-GP priors behouden. Er bestaat een kritische kloof in eindige-rang benaderingen: de resolutieparameter $N$, die de dimensie van de expansie bepaalt, is vaak vastgelegd. Als $N$ te klein is, bevat het ondersteuningsgebied van de prior de ware functie mogelijk niet; als $N$ te groot is, worden de computationele kosten prohibitief. Dit artikel behandelt hoe men eindige-rang GP-priors kan construeren die de resolutie $N$ adaptief kunnen leren terwijl ze de optimale posterieure contractieratio's van de ouder-GP behouden.

Methodologie
De auteurs stellen een algemene klasse van eindige-rang GP-priors voor, genaamd d-frGPloc, gedefinieerd door een basisexpansie met lokaal ondersteunde basisfuncties en afhankelijke Gaussische coëfficiënten:
$$f_N(x) = \sum_{j \in J_N} w_j \psi_j(x),$$
waarbij de coëfficiëntvector $w_N$ een afhankelijke Gaussische prior volgt $w_N | N, \theta \sim N(0, \Sigma_{N,\theta})$. De covariantie-matrix $\Sigma_{N,\theta}$ is geïnduceerd door een ouder-GP $f \sim \text{GP}(0, K_\theta)$.

Het artikel bestudeert twee specifieke constructies binnen dit kader:

1. SPDE-gebaseerde Eindige-Elementen Benadering: Gebaseerd op de stochastische partiële differentiaalvergelijking (SPDE) representatie van Matérn-GP's (Lindgren et al., 2011). De coëfficiënten zijn afgeleid van een eindige-elementen discretisatie van de SPDE, wat resulteert in een sparse precisie-matrixstructuur. De bandbreedteparameter $\kappa$ wordt behandeld als een deterministische sequentie $\kappa_n$ die afhankelijk is van de steekproefomvang en de gladheid, geërfd van de ouder Matérn-theorie.
2. Lattice-gebaseerde GP Interpolatie (GPI): Een regelmatige rooster-interpolatiebenadering waarbij coëfficiënten op een rooster een Gaussische prior krijgen geïnduceerd van een ouder squared-exponential (SE) GP. Hier worden zowel de bandbreedte $\kappa$ als de resolutie $N$ voorzien van hiërarchische priors.

Belangrijkste Bijdragen
De primaire theoretische bijdrage is de vestiging van adaptieve-resolutie resultaten. De auteurs tonen aan dat door een geschikte prior te plaatsen op de resolutieparameter $N$, eindige-rang benaderingen de posterieure contractieratio's van hun ouder-GP's kunnen erven.

• Theoretische Resultaten:

  • SPDE Constructie (Theorema 3.3): Onder de bandbreedte-schaling $\kappa_n$ afgeleid van de ouder Matérn-theorie (Fang en Bhadra, 2025), zorgt het plaatsen van een prior op $N$ die voldoet aan een milde lower-tail conditie (bijv. polynoom of log-normaal) ervoor dat de eindige-rang SPDE-prior de minimax posterieure contractieratio $n^{-\alpha/(2\alpha+d)}$ (tot logaritmische factoren) bereikt voor ware functies met gladheid $\alpha$. Het bewijs berust op een spectrale vergelijking tussen de continue Neumann-operator en de mass-lumped eindige-elementen discretisatie, waarbij wordt aangetoond dat de RKHS-normen en small-ball waarschijnlijkheden overeenkomen tot constanten voor voldoende grote $N$.
  • GPI Constructie (Theorema 3.4): Voor de squared-exponential ouder-GP levert het plaatsen van hiërarchische priors op zowel $\kappa$ als $N$ de minimax-optimale posterieure contractieratio op tot logaritmische factoren. Het bewijs combineert de optimale prior-concentratie van de ouder SE GP met interpolatiefout-grenzen, waarbij wordt aangetoond dat de benaderingsfout verwaarloosbaar is wanneer $N$ voldoende groot is relatief aan $\kappa$.

• Computationele Strategie:
  Om de computationele uitdaging van variërende dimensie $N$ aan te pakken, ontwikkelen de auteurs een posterieure sampler die reversible-jump updates vermijdt. Het algoritme integreert de coëfficiëntvector $w_N$ weg om $(N, \kappa)$ te samplen uit de marginale posterieure, en sampleert vervolgens $w_N$ conditioneel uit de Gaussische posterieure.

  • Voor de GPI methode maakt dit gebruik van Toeplitz of block-Toeplitz structuren.
  • Voor de SPDE methode maakt de sparsity van de precisie-matrix een efficiënte sparse Cholesky-factorisatie mogelijk.
    De computationele kosten per iteratie schalen lineair met de steekproefomvang $n$ (vanwege lokale ondersteuning) en kubisch met de coëfficiëntdimensie $|J_N|$ (of lineair voor 1D SPDE vanwege de bandedness), waardoor de aanpak schaalbaar is voor grote $n$.

Resultaten
Numerieke studies in één en twee dimensies valideren de theoretische bevindingen:

• Performance Tracking: In 1D volgen de adaptieve eindige-rang procedures (zowel SPDE als GPI) nauwgezet de voorspellende prestaties (gemeten als Average Mean Squared Error) van hun respectieve exacte ouder-GP baselines over verschillende gladheidsregimes.
• Adaptiviteit: In 2D, waar exacte ouder-GP berekening onhaalbaar is, presteren de adaptieve procedures beter dan fixed-$N$ baselines. Vaste resoluties vertonen een hoge gevoeligheid voor de gekozen roostergrootte (under-fitting als te klein, over-fitting/computationeel duur als te groot), terwijl de adaptieve methode automatisch de effectieve modelcomplexiteit aanpast aan de data zonder handmatige afstemming.
• Posterior Gedrag: De posterieure distributies van $N$ en $\kappa$ adapteren correct: $N$ neemt toe voor ruwere ware functies en neemt af voor gladdere functies, terwijl $\kappa$ verschuift volgens de schaal van de data.
• Schaalbaarheid: De adaptieve eindige-rang methoden blijven computationeel efficiënt naarmate $n$ toeneemt, waarbij ze de $O(n^3)$ bottleneck van exacte GP inferentie vermijden terwijl ze een vergelijkbare nauwkeurigheid behouden.

Betekenis en Claims
Het artikel claimt dat eindige-rang benaderingen geen offer hoeven te brengen van statistische optimaliteit voor computationele werkbaarheid, mits de resolutie adaptief wordt behandeld.

• Unificatie van Perspectieven: Het SPDE resultaat verbindt het numerieke benaderingsperspectief (Sanz-Alonso en Yang, 2022) met de statistische contractietheorie (Fang en Bhadra, 2025), waarbij wordt aangetoond dat eindige-elementen discretisaties de ouder-GP contractieratio's kunnen behouden onder passende priors op de resolutie.
• Adaptieve Hiërarchie: Het werk demonstreert dat de eindige-dimensie benadering $|J_N| = (N+1)^d$ geleerd kan worden van data in plaats van vast te staan, wat de ouder-GP contractieratio behoudt terwijl de computationele voordelen van lokaal ondersteunde bases behouden blijven.
• Bescheidenheid: De auteurs merken op dat hoewel de adaptieve-resolutie hiërarchie theoretisch aantrekkelijk is, het computationele uitdagingen introduceert die worden geadresseerd via specifieke integratiestrategieën. Ze erkennen dat het uitbreiden van deze resultaten naar zeer hoge dimensies ($d \ge 5$) uitdagend blijft vanwege de $O(N^{3d})$ kosten, en suggereren gestructureerde additieve modellen als een mogelijke toekomstige richting, en merken op dat volledige adaptatie over gladheidsparameters voor de SPDE-constructie een openstaand probleem blijft.