A Riemannian View on Active Subspaces

Technische Samenvatting: Een Riemanniaans Perspectief op Actieve Subruimten

Probleemstelling
Actieve subruimten bieden een principieel, op eigenwaarden gebaseerd methode voor dimensiereductie in hoogdimensionale Euclidische domeinen. Ze identificeren een laagdimensionale subruimte waar een scalaire grootheid van belang, $f: \mathbb{R}^n \to \mathbb{R}$, gemiddeld gezien het meest significant varieert, terwijl deze bijna constant blijft in het orthogonale complement. Echter, veel moderne toepassingen betreffen parameters die van nature verblijven op Riemanniaanse variëteiten (bijv. statistische vormanalyse, waarbij preshape-ruimten hypersferen zijn), in plaats van in Euclidische ruimten. De standaarddefinitie van actieve subruimten berust op de canonieke isomorfie van de Euclidische ruimte, wat een globale middeling van gradiëntvectoren mogelijk maakt. Op een gekromde variëteit behoren vectoren in de raakruimte op verschillende punten tot verschillende raakruimten, waardoor een directe globale middeling niet goed gedefinieerd is zonder een mechanisme om ze te vergelijken. Het artikel adresseert de uitdaging om het raamwerk van actieve subruimten uit te breiden naar gladde functies gedefinieerd op Riemanniaanse variëteiten, terwijl de interpreteerbaarheid van de eigenwaarden als gemiddelde kwadratische richtingderivaten behouden blijft.

Methodologie
Het artikel ontwikkelt een intrinsieke formulering van actieve subruimten op een Riemanniaanse variëteit $(M, g)$ door de gradiënt-buitenproduct te generaliseren. De kernmethodologie bestaat uit drie belangrijke stappen:

1. Intrinsieke Middeling via Parallel Transport: Om een globale gemiddelde van gradiënten te definiëren, transporteert de auteur elke Riemanniaanse gradiënt $\nabla_M f(p)$ vanuit de lokale raakruimte $T_p M$ naar een centrale raakruimte $T_{p_0} M$ langs de unieke geodeet die $p$ met een centraal punt $p_0$ verbindt. Dit wordt bereikt met behulp van de parallel transport-operator $P_p$. Het resulterende "Riemanniaanse gemiddelde tensorproduct van de gradiënt" wordt gedefinieerd als:
   $$G_0 = \int_X P_p [\nabla_M f(p)] \otimes P_p [\nabla_M f(p)] \, d\mu(p)$$
   waarbij $\mu$ een waarschijnlijkheidsmaat op de variëteit is (typisch ondersteund op een geodeetische bol). Deze constructie levert een symmetrische, positief semidefiniete tensor op de enkelvoudige vectorruimte $T_{p_0} M$ op.

2. Actieve Manifold-Geodesics (AMG): De eigendecompositie van $G_0$ levert eigenwaarden $\lambda_i$ en eigenvectoren $w_i$ op in $T_{p_0} M$. De auteurs definiëren "Active Manifold-Geodesics" als de afbeeldingen van de rechte lijnen gespannen door deze eigenvectoren onder de exponentiële afbeelding: $W_{1,i} = \{ \exp_{p_0}(t w_i) \}$. Deze geodeten dienen als de actieve richtingen op de variëteit.

3. Intrinsieke versus Extrinsieke Vergelijking: Het artikel contrasteert deze intrinsieke benadering met een extrinsieke benadering, waarbij de variëteit is ingebed in een hogerdimensionale Euclidische ruimte $\mathbb{R}^m$. De extrinsieke methode middelt de ambient gradiënten en projecteert deze naar de centrale raakruimte. De auteurs leiden een precieze relatie tussen beide af, waarbij zij aantonen dat het extrinsieke spectrum een "geconflateerd" versie is van het intrinsieke spectrum vanwege de partiële isometrie van de projectie.

Belangrijkste Bijdragen
Het artikel levert vier primaire bijdragen:

• Intrinsieke Generalisatie: Het introduceert het parallel-transport gradiënt-buitenproduct (Vergelijking 12) als een coördinaatvrije tensor waarvan de eigenwaarden een exacte interpretatie bieden als gemiddelde kwadratische richtingderivaten langs een getransporteerd raamveld (Lemma 1).
• Active Manifold-Geodesics: Het definieert een geordende verzameling geodetische richtingen (Definitie 3) die actieve subruimten generaliseert. In tegen tegenstelling tot volledig nietlineaire reducties (bijv. actieve manifolds of neurale netwerken), die kunnen degenereren in ruimtevullende curven, behouden AMGs een lage complexiteit en identificeerbaarheid door de zoektocht te beperken tot de exponentiële afbeeldingen van rechte lijnen in een enkele raakruimte.
• Kwantitatieve Intrinsieke-Extrinsieke Overeenkomst: Het artikel stelt vast dat hoewel de intrinsieke en extrinsieke perspectieven fundamenteel verschillen, ze overeenstemmen tot tweede orde ($O(R^2)$) in de straal $R$ van de gesamplede geodetische bol. Specifiek komen eigenwaarden overeen bij $O(R^2)$, en dominante eigenruimten komen overeen bij $O(R^2/\eta)$, waarbij $\eta$ de spectrale kloof is (Propositie 3). Cruciaal is dat het aantoont dat het projecteren van de dominante ambient eigenvector (een gangbare extrinsieke praktijk) kan falen als de richting in de nulruimte van de projectie ligt, terwijl de intrinsieke methode robuust blijft.
• Toepassing op Vormanalyse: De theorie wordt expliciet gemotiveerd door en toegepast op preshape-ruimten in statistische vormanalyse, welke hypersferen zijn. De resultaten bieden een direct raamwerk voor respons-gestuurde dimensiereductie in vormfuncties.

Resultaten en Numerieke Illustraties
De auteurs valideren het formalisme met behulp van numerieke voorbeelden op de 2-sfeer ($S^2$):

• Ridge Recovery: Voor een ambient lineaire functie beperkt tot de sfeer (een ridge-functie), identificeert de intrinsieke AMG succesvol de actieve geodetische richting. Het artikel demonstreert dat de ridge-structuur wordt hersteld in normale coördinaten met een fout die afneemt met een door kromming beperkte kwadratische snelheid ($O(R^2)$), consistent met Propositie 3.
• Degeneratieve Casussen: Het artikel onderzoekt een scenario waarin het centrale punt samenvalt met de gradiëntrichting van een ambient ridge. In dit geval faalt de extrinsieke methode (het projecteren van de dominante ambient eigenvector), wat een triviale nulvector oplevert. In tegenstelling hiertoe identificeert de intrinsieke methode correct dat geen enkele richting dominant is, door twee gelijke eigenwaarden terug te geven, waardoor de "geprojecteerde dominantie" foutmodus wordt vermeden.
• Niet-Ridge Functies: Voor kwadratische functies die geen ridges zijn, biedt de intrinsieke methode een getrouwe rangschikking van richtingen op basis van louter de variatie van de functie, terwijl de extrinsieke methode deze variatie verstrengelt met de geometrie van de embedding.

Betekenis en Claims
Het artikel claimt dat de intrinsieke formulering een getrouwere representatie biedt van de geometrie van het domein, vrij van de artefacten van een specifieke embedding. Het betoogt dat hoewel extrinsieke methoden computationeel handig zijn, ze een "partiële isometrie" introduceren die de ordening van belangrijkheid kan verstoren, met name wanneer de activiteit buiten het centrale punt wordt uitgebreid.

De auteurs benadrukken dat de voorgestelde methode geodetisch lokaal is. De interpretatie van eigenwaarden als indicatoren van inactieve submanifolds is strikt geldig binnen een normale buurt (een geodetische bol) gecentreerd rond $p_0$. Het uitbreiden hiervan naar een globaal domein zou een atlas van lokale analyses of een complexere foliatiestructuur vereisen, wat als toekomstig werk wordt genoteerd. Het artikel claimt niet het globale dimensiereductieprobleem voor willekeurige variëteiten op te lossen, maar biedt een rigoureuze, verklaarbare en lokaal optimale uitbreiding van actieve subruimten voor gladde functies op Riemanniaanse variëteiten, met directe toepasbaarheid op hypersferische data in vormanalyse.