Learning sufficient low-dimensional structures through conditional optimal transport

Technische Samenvatting: Het leren van voldoende laagdimensionale structuren via Conditionele Optimale Transport

Probleemstelling
Sufficient Dimension Reduction (SDR) beoogt een laagdimensionale representatie van covariabelen $X$ te vinden die de volledige conditionele wet van een respons $Y$ behoudt, waarbij wordt voldaan aan $Y \perp\!\!\!\perp X \mid R(X)$. Klassieke lineaire SDR-methoden vertrouwen vaak op indirecte doelwitten zoals conditionele gemiddelden of inverse regressiemomenten, die informatie die besloten ligt in heteroscedasticiteit, staartgedrag of multimodaliteit kunnen over het hoofd zien. Hoewel recente generatieve benaderingen (bijv. GenSDR, FlowSDR) de conditionele wet direct modelleren, opereren zij vaak in Euclidische settings of gaan zij uit van specifieke structurele eigenschappen. Dit artikel adresseert de uitdaging om voldoende reducties te leren in een algemene setting waar zowel de covariabelen als de responsen in scheidbare Hilbertruimten kunnen verblijven, met behulp van Conditionele Optimale Transport (COT) als een geometrisch kader om de variatie van de conditionele respons-wet te beschrijven.

Methodologie
Het voorgestelde kader, SDR-COT, maakt gebruik van de geometrische eigenschappen van optimale transport om de conditionele onafhankelijkheidsstructuur te karakteriseren.

1. Conditionele Optimale Transport (COT) Formulering:
   De methode modelleert de transitie van een onafhankelijke referentierespons $Y_0 \sim \rho$ naar de geobserveerde respons $Y_1$ gegeven de covariabelen $X$. Dit wordt geformuleerd als een driehoekige transportkaart $T^\star(x, y) = (x, T^\star_Y(x, y))$ die de productmaat $\mu_0 = \eta \otimes \rho$ naar de gezamenlijke wet $\mu_1 = P(X, Y_1)$ stuwt terwijl de covariabele-coördinaat behouden blijft.

2. Dynamische COT en Snelheidsvelden:
   De auteurs maken gebruik van de Benamou–Brenier dynamische formulering. Zij stellen vast dat, onder een kwadratische kostenfunctie en een product-bron setting, de Monge-interpolatie een Borel current-state snelheid representant bezit op elk afgeknot interval $[0, 1-\tau]$, zelfs zonder de globale injectiviteit van de terminale kaart te veronderstellen. Dit snelheidsveld $v^\star_t$ drijft de verplaatsingsinterpolatie tussen de bron- en doelwetten aan.

3. Factorisatietheorema:
   Een kern theoretisch resultaat toont aan dat als er een voldoende representatie $R(X)$ bestaat (d.w.z. $Y_1 \perp\!\!\!\perp X \mid R(X)$), zowel de statische optimale transportkaart $T^\star_Y$ als het dynamische snelheidsveld $v^\star_t$ factoriseren door $R$. Specifiek:
   $$T^\star_Y(x, y) = G^\star_Y(R(x), y)$$
   $$v^\star_t(x, y) = (0, u^\star_Y(t, R(x), y))$$
   Dit impliceert dat de afhankelijkheid van het transportmechanisme van de covariabele volledig wordt gemedieerd door de voldoende reductie.

4. Schatting via Flow Matching:
   Gemotiveerd door de factorisatie, stellen de auteurs een Conditional Flow Matching (CFM) criterium voor. In plaats van de volledige conditionele kaart te schatten, leert het algoritme een reductiekaart $R_\theta$ en een snelheidsnetwerk $u_\phi$ geparametriseerd door de gereduceerde covariabele:
   $$L(\theta_u, \theta_R) = \int_0^{T_\tau} \mathbb{E} \left[ \| V - u_{\theta_u}^Y(t, R_{\theta_R}(X), Y_t) \|^2 \right] dt$$
   waarbij $V = Y_1 - Y_0$ en $Y_t$ de lineaire interpolatie is. Om de niet-geobserveerde optimale koppeling te behandelen, gebruikt de methode een gerelaxeerde empirische koppeling met een anisotrope kostenfunctie die een zware straf oplegt aan covariabele-mismatch.

Belangrijkste Bijdragen

1. Dynamische COT Optimaliteit zonder Globale Injectiviteit:
   Het artikel bewijst een Benamou–Brenier-type optimaliteitsverklaring voor dynamische COT in scheidbare Hilbertruimten met een kwadratische kostenfunctie. In tegenstelling tot eerder werk dat de globale injectiviteit van de driehoekige Monge-kaart veronderstelt om snelheden te definiëren, stelt dit werk de existentie van een Borel current-state snelheid op afgeknotte intervallen $[0, 1-\tau]$ vast met behulp van cyclische monotoniciteit, waardoor de noodzaak voor a priori injectiviteitsveronderstellingen wordt weggenomen.

2. SDR-COT Factorisatietheorema:
   De auteurs bewijzen dat, onder milde regulariteitsvoorwaarden, de responscomponent van de optimale driehoekige COT-kaart en het geïnduceerde snelheidsveld factoriseren door elke voldoende representatie. Dit structurele resultaat koppelt de conditionele onafhankelijkheidsveronderstelling van SDR formeel aan de geometrische eigenschappen van optimale transport.

3. Verenigd Schattingskader:
   Het artikel ontwikkelt een populatie-niveau flow-matching criterium en biedt algoritmen voor zowel Euclidische als functionele data settings.

   • Euclidisch: Gebruikt standaard neurale netwerken voor de reductie en de snelheid.
   • Functioneel: Behandelt functionele covariabelen via basisprojectie en functionele responsen via Neural Operators (specifiek Fourier Neural Operators).
   • Gerelaxeerde Koppeling: Introduceert een strategie voor gerelaxeerde empirische koppeling om de conditionele transportkaart uit data te benaderen.

4. Statistische Consistentie voor Lineaire SDR:
   Het artikel stelt consistentie vast voor lineaire SDR in zowel Euclidische als Hilbert-settings:

   • Euclidisch: Consistentie wordt bewezen met behulp van Caffarelli's contractietheorema om de Lipschitz-constante van het snelheidsveld te begrenzen, waardoor de centrale subspace kan worden geïdentificeerd via een zero-loss conditie.
   • Hilbert (Functioneel): Consistentie wordt vastgesteld zonder ambient Lipschitz continuïteit door gebruik te maken van Cameron–Martin-gewaardeerde Sobolev-snelheden en de uniciteit van de Gaussische continuïteitsvergelijking.

Resultaten

• Theoretisch: Het factorisatietheorema bevestigt dat de conditionele onafhankelijkheidsstructuur wordt overgenomen door de optimale transportkaart en het snelheidsveld. De consistentietheorema's garanderen dat, onder correcte specificatie en regulariteit, de geschatte lineaire reductie convergeert naar de ware centrale subspace in projectieafstand.
• Empirisch: Numerieke studies op synthetische nietlineaire Euclidische data, lineaire Euclidische data, functionele covariabelen en function-on-function data demonstreren dat SDR-COT concurrerend is met gevestigde benchmarks. Met name presteert de methode goed wanneer voldoende informatie aanwezig is in de distributionele kenmerken buiten het conditionele gemiddelde (bijv. variantie of vorm), waar klassieke moment-gebaseerde methoden kunnen falen.
• Reële Data: In een analyse van de vraag naar Capital Bikeshare (functionele data) bereikte SDR-COT lagere testfouten dan FPCA en concurrenten gebaseerd op zwakke conditionele momenten over de meeste reductiedimensies.

Betekenis en Claims
Het artikel claimt een geometrisch gefundeerde benadering van SDR te bieden die direct de conditionele wet target in plaats van de momenten daarvan. Door gebruik te maken van Conditionele Optimale Transport, vangt de methode van nature complexe distributionele afhankelijkheden (heteroscedasticiteit, multimodaliteit) op die vaak worden gemist door inverse regressie of methoden gebaseerd op het conditionele gemiddelde.

De auteurs zijn bescheiden over het algemene nietlineaire geval: hoewel het populatie-criterium "uitputtend" is (elke representatie die de centrale $\sigma$-algebra bevat, bereikt de optimale waarde), garandeert het criterium alleen niet de selectie van een minimale representatie zonder aanvullende beperkingen (zoals het vastleggen van de outputdimensie). Daarom zijn de rigoureuze consistentieresultaten expliciet beperkt tot de lineaire setting met een vaste structurele dimensie. Het werk overbrugt de kloof tussen de theorie van optimale transport en sufficient dimension reduction, en biedt een schaalbare, simulatievrije schattingsprocedure die zich uitstrekt tot oneindig-dimensionale functionele data.