Technische Samenvatting: Het Leren van Orthonormale Basissen voor Functieruimten

Probleemstelling

Oneindig-dimensionale expansies met orthonormale basissen (ONB) zijn fundamenteel voor het representeren en berekenen van functieruimten, en bieden gunstige lineair-algebraïsche eigenschappen. Standaard vaste basissen (zoals Fourier of wavelets) falen echter vaak om zich aan te passen aan de specifieke structuur van een gegeven probleem of dataset. Hoewel datagedreven methoden zoals Principal Component Analysis (PCA) of spectrale methoden optimale basissen kunnen identificeren, vertrouwen zij doorgaans op discretisatie (roosters of meshes), wat benaderingsfouten introduceert en de representatie beperkt tot eindige dimensies. Omgekeerd laten neural network-gebaseerde benaderingen die continue functies leren vaak de lineair-algebraïsche structuur van de functieruimte varen, waardoor bewerkingen zoals optelling of differentiatie in de gewichtenruimte onvoorspelbaar worden.

De kernuitdaging die door dit artikel wordt aangepakt, is hoe een oneindige, continue en orthonormale basis geparametriseerd en geoptimaliseerd kan worden die zich aanpast aan specifieke taken, terwijl de lineaire structuur van de functieruimte strikt behouden blijft, zonder discretisatiefouten te veroorzaken.

Methodologie

Formulering via Lie-groepen

De auteurs stellen voor om de ruimte van orthonormale basissen niet te zien als een statische verzameling, maar als een pad op het Lie-variëteit van de oneindig-dimensionale orthogonale groep ($SO(\mathcal{H})$). In plaats van een orthogonale operator $Q$ direct te optimaliseren, modelleert de methode $Q$ als de oplossing van een Gewone Differentiaalvergelijking (ODE) gedreven door een tijdsafhankelijke, schuif-geadjungeerde infinitesimale generator $K(t)$:

$$\frac{d}{dt}Q(t) = K(t)Q(t), \quad Q(0) = I$$

Omdat $K(t)$ schuif-geadjungeerd is ($K^* = -K$), blijft de oplossing $Q(t)$ voor alle $t$ orthogonaal, waardoor de resulterende basis altijd orthonormaal is.

Generatoren met eindige rang en universaliteit

Een belangrijke theoretische bijdrage is het bewijs dat de oneindig-dimensionale ruimte van orthogonale operatoren willekeurig goed benaderd kan worden met generatoren met eindige rang. Specifiek bewijzen de auteurs een universaliteitsstelling (Stelling 1) waarin staat dat elke rotatie in de Hilbert-Schmidt orthogonale groep benaderd kan worden door de stroming van een ODE die wordt bestuurd door een schuif-geadjungeerde operator van rang 2.

De generator $K_\theta(t)$ wordt geparametriseerd door neurale netwerken. Voor een generator van rang $r$ wordt de kern gedefinieerd als:
$$K_\theta(t)[x, y] = \sum_{k=1}^r \left( u_k(t, x) v_k(t, y) - v_k(t, x) u_k(t, y) \right)$$
waarbij $u_k$ en $v_k$ geleerde functies zijn (geïmplementeerd als MLP's) die afhankelijk zijn van tijd $t$ en ruimtelijke coördinaten. Dit reduceert de optimalisatie van een oneindig-dimensionale basis tot het trainen van de parameters $\theta$ van deze neurale netwerken met eindige rang.

Integratie met behoud van structuur

Om de ODE numeriek op te lossen terwijl de orthogonaliteitsbeperking behouden blijft, hanteren de auteurs de Cayley-transformatie (een Lie-groep integrator). In tegenstelling tot standaard oplosmethoden (zoals Forward/Backward Euler) die fouten accumuleren en orthogonaliteit schenden, maakt de Cayley-methode gebruik van een $(1,1)$-Padé-benadering:
$$\tilde{Q}_\ell = \left(I - \frac{\Delta t}{2} \tilde{K}_\ell\right)^{-1} \left(I + \frac{\Delta t}{2} \tilde{K}_\ell\right)$$
Dit zorgt ervoor dat de discrete update op elke stap exact inproducten en normen behoudt. De auteurs maken gebruik van de Woodbury-identiteit om de inverse actie efficiënt te berekenen, waardoor de rekencomplexiteit lineair wordt in het aantal kwadratuurpunten $D$ en kubisch in de rang $r$ ($O(r^3 + r^2D)$).

Variatie-objectieven

Het kader optimaliseert de basis door specifieke variatie-objectieven te minimaliseren:

1. Eigenproblemen (PCA): Het maximaliseren van de verklaarde variantie van een stochastisch proces door de covariantieoperator te diagonaliseren.
2. Neural Tangent Kernel (NTK): Het diagonaliseren van de NTK-operator om trainingsdynamiek te analyseren.
3. Koopman-operatoren: Het leren van een basis die de Koopman-operator voor dynamische systemen benadert, waarbij energiebehoud wordt gegarandeerd zelfs wanneer de onderliggende stroomafbeelding niet strikt volumebewarend is.

Belangrijkste Resultaten

Het artikel demonstreert de effectiviteit van het kader op verschillende domeinen:

• 1D Synthetische PCA: Op een dataset van signalen met scherpe discontinuïteiten presteert de geleerde basis beter dan zowel de Fourier-basis als eindig-dimensionale PCA. Het vermijdt het Gibbs-fenomeen en het Nyquist-limiet die inherent zijn aan rooster-gebaseerde methoden, en bereikt reconstructiefouten van een orde van grootte lager met ongeveer 100 basiselementen.
• PCA op Real Data (MNIST & CelebA): Met behulp van Implicit Neural Representations (INRs) voor MNIST en CelebA leert de methode "eigenfaces" en cijferrepresentaties die continu en discretisatie-vrij zijn. De geleerde basissen vangen meer cumulatieve energie en leveren hogere PSNR-reconstructies op dan Fourier-baselines met minder elementen.
• NTK-diagonalisatie: Wanneer toegepast op een two-moon-classificator, lost de methode fijne ruimtelijke details op nabij de beslissingsgrens die rooster-gebaseerde eigenoplossers missen vanwege een vaste resolutie.
• Leren van Koopman-operatoren: In de stromingsleer (Taylor-Green-vortices) genereert de geleerde basis toekomstige staten-snapshots die strikt energie (Hilbert-norm) behouden, terwijl standaard numerieke oplosmethoden (RK-methoden) falen om energie te behouden over lange trajecten.

Betekenis en Claims

Het artikel claimt een principieel kader te bieden voor het leren van continue, orthonormale basissen dat de kloof overbrugt tussen de aanpasbaarheid van neurale netwerken en de structurele garanties van lineaire algebra.

• Theoretische Garantie: De universaliteitsstelling garandeert dat zelfs generatoren met lage rang (rang 2) voldoende zijn om elke gewenste orthonormale basis te benaderen, wat een sterke theoretische onderbouwing biedt voor de parametrisatie.
• Discretisatie-vrij: In tegenstelling tot spectrale methoden die roosters vereisen, werkt deze aanpak direct in de functieruimte, waardoor evaluatie, differentiatie en integratie op elk punt in het domein mogelijk zijn.
• Behoud van structuur: Door de basis te modelleren als een pad op het orthogonale Lie-variëteit, garandeert de methode exacte orthonormaliteit en energiebehoud, eigenschappen die vaak verloren gaan bij standaard neurale benaderingen.
• Veelzijdigheid: Het kader blijkt toepasbaar op diverse taken, variërend van statistische dimensiereductie (PCA) tot het analyseren van trainingsdynamiek van neurale netwerken (NTK) en het simuleren van fysische systemen (Koopman-operatoren).

De auteurs erkennen dat optimalisatie via ODE-trajecten computatieel uitdagend kan zijn en dat het bereiken van theoretische limieten lange integratiehorizonten kan vereisen. Zij stellen echter dat deze aanpak een krachtig nieuw perspectief biedt voor het modelleren van complexe systemen die functieruimten omvatten, vooral waar het behoud van lineaire structuur en continuïteit van het grootste belang is.