On a joint simultaneous learning of relevant feature subsets and subspaces in regression-like problems

Technische Samenvatting: Entropy-Optimal Manifold Regression (EOMR)

Probleemstelling
Het artikel behandelt de uitdaging van het modelleren en voorspellen van niet-stationaire en niet-lineaire regressieproblemen, specif으로 in de context van chaotische dynamische systemen en vloeistofdynamica. Een primair geïdentificeerd probleem is de "small data learning challenge", waarbij de dimensie van de featureruimte ($D$) groot is ten opzichte van de beschikbare observatiestatistieken ($T$). Dit scenario komt veel voor in velden zoals de vloeistofmechanica (vanwege dure numerieke simulaties) en klimaatonderzoek (vanwege korte observatiegeschiedenissen).

De auteur stelt dat de huidige state-of-the-art AI- en ML-tools, inclusief gradient-boosted random forests, diepe neurale netwerken (NN) en transformer-gebaseerde modellen (bijv. TabPFN), moeite hebben in deze regimes. Deze methoden lijden vaak aan:

1. Overfitting: Ze hebben de neiging om trainingsdata te memoriseren in plaats van generaliseerbare patronen te leren, wat resulteert in een slechte prestatie op testdata (vaak slechter dan triviale "persistente" voorspellers).
2. Computationele Schaalbaarheid: Transformer-architecturen schalen kwadratisch met zowel de featuredimensie als de datagrootte, wat ze computationeel onhaalbaar maakt voor grote, realistische problemen.
3. Modelcomplexiteit: Deze tools vereisen vaak een aantal instelbare parameters die vergelijkbaar zijn met of groter zijn dan de omvang van de trainingsdataset, wat leidt tot hoge geheugen- en iteratiekosten.

Methodologie: Entropy-Optimal Manifold Regression (EOMR)
Het artikel stelt Entropy-Optimal Manifold Regression (EOMR) voor, een gesuperviseerde uitbreiding van de eerder geïntroduceerde unsupervised Entropy-Optimal Manifold Clustering (EOMC). EOMR beoogt gezamenlijk relevante feature-subsets en subspaces te identificeren voor regressietaken.

• Wiskundige Formulering:
  Het model gaat uit van $K$ "lokale" mappings van een feature-vector $X(:, t)$ naar een scalaire doelvariabele $Y(t)$. Elke mapping wordt gekenmerkt door:
  • Een orthogonale $d$-dimensionale lineaire manifold projector $T_k$ (subspace reductie).
  • Een diagonale gewichtsmatrix $W$ (subset selectie), waarbij de diagonale elementen $w_i$ de waarschijnlijkheid vertegenwoordigen dat feature $i$ relevant is.
  • Regressiecoëfficiënten $\tilde{\theta}_k$.

De voorspelling wordt geformuleerd als een gewogen verwachting over deze lokale lineaire modellen, geregulariseerd door entropie-termen. Het leerdoel is het minimaliseren van een geconstrueerd optimalisatieprobleem ($L_{EOMR}$) dat de volgende bevat:
* Een kleinste-kwadraten-foutterm voor regressie.
* Een metrietie-term (variantie-achtige regularisatie) om de stabiliteit van de manifold projectie te waarborgen.
* Entropische regularisatietermen ($\phi_1$ voor model-waarschijnlijkheden $\gamma$, en $\phi_2$ voor feature-gewichten $W$) om sparsiteit en onbevooroordeeldheid (maximaal entropie principe) af te dwingen.

• Numerieke Oplossing:
  De optimalisatie wordt opgelost via een subspace-iteratie-algoritme. Het probleem wordt gedecomposed in vijf stappen, waarbij afwisselend variabelen worden bijgewerkt terwijl anderen bevroren blijven:

  1. Manifold Projectors ($T_k$): Opgelost via Riemannian gradient descent op de Stiefel manifold.
  2. Centroid Vectoren ($\mu_k$): Opgelost analytisch als steekproef-gewogen gemiddelden.
  3. Regressiecoëfficiënten ($\tilde{\theta}_k$): Opgelost analytisch via geregulariseerde normale vergelijkingen.
  4. Model Waarschijnlijkheden ($\gamma$): Opgelost analytisch met behulp van een softmax-functie afgeleid van het Euler-Lagrange principe.
  5. Feature Gewichten ($W$): Opgelost met een Sequential Projected Gradient algoritme gebaseerd op een Fast Entropy Approximation (FEA).

• Complexiteit:
  Het algoritme vertoont lineaire schaling in zowel iteratietijd als geheugencomplexiteit ten opzichte van de featuredimensie $D$ en de datagrootte $T$ (specifiek $O(KDT)$), mits de subspace dimensie $d \ll D$. Dit staat in scherp contrast met de kwadratische schaling van transformer-gebaseerde methoden.

Belangrijkste Bijdragen

1. Gezamenlijk Leren: EOMR leert gelijktijdig relevante feature-subsets (via $W$) en subspaces (via $T_k$), waardoor dimensionaliteitsreductie en feature selectie worden verenigd in één enkel probabilistisch kader.
2. Schaalbaarheid: De methode biedt lineaire computationele en geheugenschaalbaarheid, wat het geschikt maakt voor hoog-dimensionale, kleine-data problemen waar deep learning en transformers onhaalbaar of inefficiënt zijn.
3. Interpreteerbaarheid en Sparsiteit: Door gebruik te maken van entropische regularisatie produceert EOMR sparse, entropie-optimale modellen. Het identificeert de minimale set features en parameters die nodig zijn om de systeemdynamica te beschrijven.
4. Robuustheid in Chaos: De methode is ontworpen om niet-stationaire en niet-lineaire dynamica te verwerken zonder globale lineariteit of stationariteit te veronderstellen, maar kan toch eenvoudige, causale en zwak-stationaire autoregressieve structuren extraheren wanneer deze aanwezig zijn.

Experimentele Resultaten
Het artikel evalueert EOMR op twee uitdagende benchmarks:

1. Lorenz-96 Systeem (F=8 en F=12):

   • Taak: Voorspellen van de leidende Essential Orthogonal Function (EOF) van het systeem in sterk en zeer-sterk chaotische regimes.
   • Vergelijking: EOMR werd vergeleken met Lasso-geregulariseerde multilineaire regressie, Random Forests/XGBoost, diepe neurale netwerken en TabPFN v3.0.
   • Bevindingen: Deep learning en boom-gebaseerde methoden presteerden slechter dan een triviale "persistente" voorspeller op de testdata, wat duidt op ernstige overfitting. EOMR bereikte een Root Mean Squared Error (RMSE) van $\approx 7 \times 10^{-6}$, wat orden van grootte lager is dan de concurrenten. Bovendien waren de EOMR-modellen aanzienlijk sparser (ongeveer 100 parameters) vergeleken met de complexiteit van de trainingsdata, terwijl andere modellen parameters vereisten die de omvang van de dataset overstegen.

2. Gemodificeerd Hasegawa-Wakatani (mHW) Model:

   • Taak: Voorspellen van drift-wave turbulentie dynamica in de rand van een tokamak-plasma.
   • Bevindingen: Vergelijkbaar met de Lorenz-96 resultaten, faalden standaard AI-tools (NN, RF/XGB, TabPFN) op de testdata en presteerden slechter dan de persistente voorspeller. EOMR bereikte een RMSE van $\approx 4.5 \times 10^{-4}$, bijna een orde van grootte beter dan de persistente voorspeller en aanzienlijk beter dan Lasso MLR.
   • Model Distillatie: EOMR destilleerde de complexe dynamica tot een eenvoudig lineair AutoRegressive Moving Average (ARMA) model met slechts 8 instelbare parameters. Het geïdentificeerde model bleek zwak-stationair en causaal te zijn (wortels van het karakteristieke polynoom buiten de eenheidscirkel).
   • Efficiëntie: Een enkele EOMR-voorspelling duurde $\approx 2$ nanoseconden op een standaard laptop, wat 160 keer sneller is dan de fysieke lag van het voorspelde proces. In contrast hiermee nam TabPFN $\approx 0.02$ seconden in beslag (vijf orders van grootte langzamer dan de fysieke lag).

Betekenis en Claims
Het artikel claimt dat EOMR een "game-changer" vertegenwoordigt voor het modelleren van chaotische en vloeistofdynamische systemen onder beperkingen van kleine datasets. De betekenis ligt in:

• Paradigmaverschuiving: Het daagt de "double-descent" trend uit waarbij modelcapaciteit en complexiteit toenemen, en pleit in plaats daarvan voor entropie-optimale, sparse en eenvoudige modellen die beter generaliseren.
• Praktisch Nut: De extreme computationele efficiëntie (nanoseconden-schaal voorspellingen) maakt real-time online voorspelling, optimalisatie en controle van snelle chaotische systemen mogelijk, wat momenteel onmogelijk is met zware transformer-gebaseerde modellen.
• Robuustheid: Het demonstreert dat voor specifieke klassen van complexe systemen, het "beste" model niet het meest complexe model is, maar degene die de onderliggende laag-dimensionale, sparse structuur correct identificeert en zo de valkuilen van memorisatie door data-hongerige AI vermijdt.

De auteur concludeert dat EOMR een robuust, interpreteerbaar en computationeel haalbaar alternatief biedt voor de huidige state-of-the-art AI-tools voor regressie in niet-stationaire, niet-lineaire en chaotische omgevingen.