Infinite-Dimensional Spherical Kernel ridge Regression

Technische Samenvatting: Oneindig-dimensionale Sferische Kernel Ridge Regressie

Probleemstelling
Het artikel behandelt het regressieprobleem waarbij de responsvariabele $Y$ op een sfeer $S$ van een willekeurige dimensie (eindig of oneindig) binnen een Hilbertruimte $Y$ ligt, en de covariabele $X$ zich in een Polish-ruimte bevindt. Deze setting komt voor in functionele data-analyse, statistische vormanalyse en bij het modelleren van kansdichtheidsfuncties (via vierkantswortel-transformaties).

Bestaande benaderingen voor manifold-waardige regressie kampen met aanzienlijke beperkingen:

1. Tangenstraal-regressie: Brengt responsen naar een tangentalruimte $T_o S$ om lineaire methoden toe te passen. Hoewel computationeel handig, schendt dit de intrinsieke sferische afstanden, wat leidt tot een door kromming veroorzaakte bias omdat het voorwaardelijke gemiddelde van de gelog-getransformeerde data ($E[\text{Log}_o(Y)|X]$) verschilt van het voorwaardelijke Fréchet-gemiddelde ($\mu(x) = \arg\min_q E[d_S^2(q, Y)|X=x]$).
2. Geodesische regressie: Is doorgaans beperkt tot eind-dimensionale manifolds en gaat vaak uit van parametrische vormen of specifieke voorspellerstructuren.
3. Oneindig-dimensionale uitdagingen: Het uitbreiden van deze methoden naar oneindig-dimensionale sferen (bijv. voor dichtheidsfuncties) is theoretisch moeilijk omdat schatters geen gesloten vormoplossingen hebben en standaard empirische proces-technieken vaak impliciet eind-dimensionale aannames doen.

Methodologie
De auteurs stellen een intrinsiek regressiekader voor dat het voorwaardelijke Fréchet-gemiddelde $\mu(x)$ direct op de sfeer modelleert, zonder de ruwe responsen naar een tangentalruimte te brengen voor de verliesberekening.

1. Modelformulering:
   Het model deelt het voorwaardelijke gemiddelde op in een basispunt (intercept) $o \in S$ en een lineaire voorspellerfunctie $f: X \to T_o S$. Het voorwaardelijke gemiddelde wordt gereconstrueerd via de exponentiële afbeelding:
   $$\mu(x) = \text{Exp}_o(f(x))$$
   De functie $f$ wordt verondersteld te behoren tot een Vector-Valued Reproducing Kernel Hilbert Space (VVRKHS) $\mathcal{H}$ van functies die van $X$ naar de tangentalruimte $T_o S$ mappen. De auteurs maken gebruik van Simple Multiplicative Operator (SMO) kernels van de vorm $K(x, x') = k(x, x')\text{Id}$, waarbij $k$ een scalaire kernel is en $\text{Id}$ de identiteit op $T_o S$ is.

2. Schatting:
   De schatter $\hat{f}$ wordt verkregen door het minimaliseren van een geregulariseerde empirische risico:
   $$R_n(f, \lambda) = \frac{1}{n} \sum_{i=1}^n d_S^2(\text{Exp}_o(f(X_i)), Y_i) + \lambda^2 \|f\|_{\mathcal{H}}^2$$
   In tegenstelling tot standaard kernel ridge regressie is de verliesterm $d_S^2$ niet-convexe over de gehele Hilbertruimte vanwege de periodiciteit van de exponentiële afbeelding.

3. Optimalisatiealgoritme:
   Omdat er geen gesloten vormoplossing bestaat, ontwikkelen de auteurs een BFGS-gebaseerd optimalisatiealgoritme gecombineerd met een duale low-rank benadering.

   • Representer-stelling: Een nieuwe representer-stelling (Theorem 4.1) bewijst dat de minimizer in een eind-dimensionale subspace ligt, gespannen door de kernelfuncties geëvalueerd op de datapunten en de gelog-getransformeerde responsen.
   • Efficiëntie: Om de hoge dimensionaliteit aan te pakken, projecteert het algoritme het probleem op een low-rank subspace afgeleid van de leidende eigenvectoren van de kernel Gram-matrix en de respons Gram-matrix. Dit reduceert de parameterruimte van $O(n^2)$ naar een beheersbare grootte, terwijl numerieke stabiliteit behouden blijft.

Belangrijke Theoretische Resultaten
Het artikel stelt rigoureuze theoretische garanties vast onder specifieke regulariteitsaannames, primair een bounded support condition (Aanname 4.6): $d_S(o, Y) \leq \pi/4$ bijna zeker. Dit zorgt ervoor dat het voorwaardelijke gemiddelde binnen een geodesische bal ligt waar de gekwadrateerde afstandfunctie lokaal convex is.

1. Representer-stelling (Theorem 4.1): Bewijst dat de oneindig-dimensionale optimalisatie wordt teruggebracht tot een eind-dimensionaal probleem, zelfs wanneer de sfeer en de functieruimte oneindig-dimensionaal zijn.
2. Convergentiesnelheden:
   • Minimale aannames: Voor willekeurige Polish-covariabelen en oneindig-dimensionale sferen bereikt de schatter een convergentiesnelheid van $O_P(n^{-1/2})$ in de $L^2(P_X)$ norm (Theorem 4.8).
   • Afhankelijkheid van gladheid: Wanneer de scalaire kernel $k$ specifieke eigenvalue-decay eigenschappen heeft (finite-rank, polynomiaal of stretched exponential), leiden de auteurs snellere snelheden af (bijv. $O_P(n^{-p/(p+1)})$ voor polynomiale decay) (Theorem 4.13). Deze snelheden komen overeen met, of verbeteren, bekende resultaten voor lineaire vector-valued kernel ridge regressie en functionele regressie.
3. Sterke Consistentie: Onder compactheids- en continuïteitsaannames wordt aangetoond dat de schatter buiten bijna zeker consistent is (Theorem 4.17).

Empirische Evaluatie

1. Simulatiestudie: De auteurs simuleren data op een oneindig-dimensionale sfeer ($L^2([0,1])$) met variërende ruisniveaus.

   • Resultaten: De voorgestelde methode presteert beter dan tangentalruimte-regressie, met name naarmate de steekproefomvang toeneemt en de spreiding van de data op de sfeer groter wordt. De methode vertoont robuuste prestaties, zelfs wanneer de theoretische bounded support aanname wordt geschonden (diameter $4\pi/5$).
   • Snelheden: Geobserveerde convergentiesnelheden komen overeen met de theoretische voorspellingen (bijv. $O(\log(n)^2/n)$ voor Gaussische kernels).

2. Toepassing: Urban Pollution Density Regression:

   • Data: Aerosol particle light absorption coefficients (AAC) van 14 monitoringsstations in Nederland. De respons is de vierkantswortel-dichtheid van de AAC-metingen.
   • Vergelijking: De methode wordt vergeleken met Fréchet regressie (2-Wasserstein ruimte), Bayes Hilbert regressie en een lognormaal-normaal convolusiemodel.
   • Prestaties: De sferische kernel ridge regressie methode behaalt concurrerende voorspellingsfouten in sferische afstand en Bayes-ruimte afstand. Cruciaal is dat de methode ordes van grootte sneller is dan de Bayes Hilbert en lognormaal-normaal modellen, wat superieure computationele efficiëntie en stabiliteit biedt.

Betekenis en Bijdragen
Het artikel claimt verschillende specifieke bijdragen aan de literatuur:

1. Bruggen slaan tussen gemeenschappen: Het introduceert VVRKHS-regressiemethoden voor de functionele data-analyse gemeenschap voor niet-lineaire responsruimten.
2. Theoretische vernieuwing: Het biedt een nieuwe representer-stelling die oneindig-dimensionale sferische regressie terugbrengt naar eind-dimensionale optimalisatie, een resultaat dat voor deze specifieke niet-lineaire setting niet eerder was vastgesteld.
3. Intrinsieke Geometrie: Door de tangentalruimte-lift voor de verliesfunctie te vermijden, voorkomt de methode de geometrische bias die inherent is aan het lineariseren van gekromde ruimten, waardoor de intrinsieke geometrie van de sfeer wordt gerespecteerd.
4. Praktisch Nut: Het biedt een computationeel efficiënt algoritme (via BFGS en low-rank benadering) en een direct bruikbare R-package (sphereg), wat oneindig-dimensionale sferische regressie haalbaar maakt voor real-world toepassingen zoals dichtheidschatting.

De auteurs blijven bescheiden over de bounded support aanname en merken op dat hoewel deze restrictief is, deze vergelijkbaar is met aannames in de bestaande metrieke ruimte-regressieliteratuur. Ze suggereren dat de aanname kan worden versoepeld via numerieke argumenten of een "patchwork" benadering (het partitioneren van de covariabelruimte) voor toekomstig werk.