On a joint simultaneous learning of relevant feature subsets and subspaces in regression-like problems

Sintesi Tecnica: Regressione su Manifold Ottimale per Entropia (EOMR)

Enunciato del Problema
Il documento affronta la sfida di modellare e prevedere problemi di regressione non stazionari e non lineari, specificamente nel contesto dei sistemi dinamici caotici e della fluidodinamica. Una difficoltà primaria identificata è la "sfida dell'apprendimento con piccoli set di dati" (small data learning challenge), in cui la dimensione dello spazio delle caratteristiche ($D$) è elevata rispetto alla statistica delle osservazioni disponibili ($T$). Questo scenario è comune in campi come la meccanica dei fluidi (a causa di costose simulazioni numeriche) e la ricerca climatica (a causa di brevi serie storiche di osservazione).

L'autore sostiene che gli strumenti di Intelligenza Artificiale (AI) e Machine Learning (ML) allo stato dell'arte, inclusi i gradient-boosted random forests, le reti neurali profonde (NN) e i modelli basati su transformer (ad es. TabPFN), faticano in questi regimi. Questi metodi spesso soffrono di:

1. Overfitting: Tendono a memorizzare i dati di addestramento piuttosto che apprendere pattern generalizzabili, risultando in prestazioni scarse sui dati di test (spesso peggiori di predittori "persistenti" banali).
2. Scalabilità Computazionale: Le architetture basate su transformer scalano quadraticamente sia rispetto alla dimensione delle caratteristiche che alla dimensione dei dati, rendendole computazionalmente proibitive per problemi grandi e realistici.
3. Complessità del Modello: Questi strumenti richiedono spesso un numero di parametri regolabili comparabile o superiore alla dimensione del dataset di addestramento, portando ad alti costi di memoria e di iterazione.

Metodologia: Regressione su Manifold Ottimale per Entropia (EOMR)
Il documento propone la Regressione su Manifold Ottimale per Entropia (EOMR), un'estensione supervisionata della precedentemente introdotta Clustering su Manifold Ottimale per Entropia (EOMC). L'EOMR mira a identificare congiuntamente i sottoinsiemi di caratteristiche rilevanti e i relativi sottospazi per compiti di regressione.

• Formulazione Matematica:
  Il modello assume $K$ mappature "locali" da un vettore di caratteristiche $X(:, t)$ a un target scalare $Y(t)$. Ogni mappatura è caratterizzata da:
  • Un proiettore di manifold lineare ortogonale a $d$ dimensioni $T_k$ (riduzione del sottospazio).
  • Una matrice di pesi diagonale $W$ (selezione del sottoinsieme), dove gli elementi diagonali $w_i$ rappresentano la probabilità che la caratteristica $i$ sia rilevante.
  • Coefficienti di regressione $\tilde{\theta}_k$.

La predizione è formulata come un'aspettativa pesata su questi modelli lineari locali, regolarizzata da termini entropici. L'obiettivo di apprendimento è minimizzare un problema di ottimizzazione vincolata ($L_{EOMR}$) che include:
* Un termine di errore dei minimi quadrati per la regressione.
* Un termine di metrizzazione (regolarizzazione di tipo varianza) per garantire la stabilità della proiezione del manifold.
* Termini di regolarizzazione entropica ($\phi_1$ per le probabilità del modello $\gamma$, e $\phi_2$ per i pesi delle caratteristiche $W$) per imporre la sparsità e l'assenza di bias (principio di massima entropia).

• Soluzione Numerica:
  L'ottimizzazione è risolta tramite un algoritmo di iterazione di sottospazio. Il problema è decomposto in cinque fasi, alternando l'aggiornamento delle variabili mentre le altre vengono mantenute costanti:

  1. Proiettori di Manifold ($T_k$): Risolti tramite gradiente riemanniano su un manifold di Stiefel.
  2. Vettori di Centroide ($\mu_k$): Risolti analiticamente come medie pesate sui campioni.
  3. Coefficienti di Regressione ($\tilde{\theta}_k$): Risolti analiticamente tramite equazioni normali regolarizzate.
  4. Probabilità del Modello ($\gamma$): Risolte analiticamente utilizzando una funzione softmax derivata dal principio di Euler-Lagrange.
  5. Pesi delle Caratteristiche ($W$): Risolti utilizzando un algoritmo di Gradiente Proiettato Sequenziale basato su una Fast Entropy Approximation (FEA).

• Complessità:
  L'algoritmo presenta una scalabilità lineare sia nel tempo di iterazione che nella complessità di memoria rispetto alla dimensione delle caratteristiche $D$ e alla dimensione dei dati $T$ (specificamente $O(KDT)$), a condizione che la dimensione del sottospazio $d \ll D$. Ciò contrasta nettamente con la scalabilità quadratica dei metodi basati su transformer.

Contributi Chiave

1. Apprendimento Congiunto: L'EOMR apprende simultaneamente i sottoinsiemi di caratteristiche rilevanti (tramite $W$) e i sottospazi (tramite $T_k$), unificando la riduzione della dimensionalità e la selezione delle caratteristiche in un unico framework probabilistico.
2. Scalabilità: Il metodo offre una scalabilità computazionale e di memoria lineare, rendendolo adatto a problemi ad alta dimensionalità e piccoli set di dati dove il deep learning e i transformer sono impraticabili o inefficienti.
3. Interpretabilità e Sparsità: Utilizzando la regolarizzazione entropica, l'EOMR produce modelli sparsi e ottimali per l'entropia. Identifica il set minimo di caratteristiche e parametri necessari per descrivere la dinamica del sistema.
4. Robustezza nel Caos: Il metodo è progettato per gestire dinamiche non stazionarie e non lineari senza assumere una linearità globale o la stazionarietà, pur potendo distillare strutture autoregressive semplici, causali e debolmente stazionarie laddove esistano.

Risultati Sperimentali
Il documento valuta l'EOMR su due benchmark impegnativi:

1. Sistema Lorenz-96 (F=8 e F=12):

   • Task: Predire la funzione ortogonale essenziale (EOF) principale del sistema in regimi caotici forti e molto forti.
   • Confronto: L'EOMR è stato confrontato con la regressione multilineare regolarizzata Lasso, Random Forests/XGBoost, Reti Neurali Profonde e TabPFN v3.0.
   • Risultati: I metodi di deep learning e quelli basati su alberi hanno performato peggio di un predittore "persistente" banale sui dati di test, indicando un grave overfitting. L'EOMR ha raggiunto un errore quadratico medio (RMSE) di $\approx 7 \times 10^{-6}$, che è di ordini di grandezza inferiore rispetto ai competitor. Inoltre, i modelli EOMR erano significativamente più sparsi (circa 100 parametri) rispetto alla complessità dei dati di addestramento, mentre altri modelli richiedevano parametri superiori alla dimensione del dataset stesso.

2. Modello Hasegawa-Wakatani Modificato (mHW):

   • Task: Predire la dinamica della turbolenza delle onde di deriva nell'edge di un plasma di tokamak.
   • Risultati: Similmente ai risultati di Lorenz-96, gli strumenti standard di AI (NN, RF/XGB, TabPFN) sono falliti sui dati di test, performando peggio del predittore persistente. L'EOMR ha ottenuto un RMSE di $\approx 4.5 \times 10^{-4}$, quasi un ordine di grandezza migliore del predittore persistente e significativamente migliore di Lasso MLR.
   • Distillazione del Modello: L'EOMR ha distillato la complessa dinamica in un semplice modello AutoRegressive Moving Average (ARMA) con soli 8 parametri regolabili. Il modello identificato è stato dimostrato essere debolmente stazionario e causale (le radici del polinomio caratteristico sono esterne all'unità).
   • Efficienza: Una singola predizione EOMR ha richiesto circa 2 nanosecondi su un laptop standard, il che è 160 volte più veloce del lag fisico del processo predetto. Al contrario, TabPFN ha richiesto circa 0.02 secondi (cinque ordini di grandezza più lento del lag fisico).

Significatività e Rivendicazioni
Il documento sostiene che l'EOMR rappresenti un "cambio di paradigma" per la modellazione di sistemi caotici e fluidodinamici sotto vincoli di piccoli set di dati. La sua significatività risiede in:

• Cambio di Paradigma: Sfida la tendenza del "doppio declino" (double-descent) di aumentare la capacità e la complessità del modello, promuovendo invece modelli sparsi, semplici e ottimali per l'entropia che generalizzano meglio.
• Utilità Pratica: L'estrema efficienza computazionale (predizioni su scala nanosecondo) consente la predizione, l'ottimizzazione e il controllo in tempo reale di sistemi caotici veloci, cosa attualmente impossibile con i pesanti modelli basati su transformer.
• Robustezza: Dimostra che per specifiche classi di sistemi complessi, il "miglior" modello non è il più complesso, ma quello che identifica correttamente la struttura a bassa dimensionalità e sparsa sottostante, evitando le trappole della memorizzazione tipiche dell'AI vorace di dati.

L'autore conclude che l'EOMR fornisce un'alternativa robusta, interpretabile e computazionalmente fattibile agli attuali strumenti di AI allo stato dell'arte per la regressione in ambienti non stazionari, non lineari e caotici.