DynaTab: Dynamic Feature Ordering as Neural Rewiring for High-Dimensional Tabular Data

Riepilogo Tecnico di "DynaTab: Dynamic Feature Ordering as Neural Rewiring for High-Dimensional Tabular Data"

1. Definizione del Problema

I dati tabulari ad alta dimensionalità mancano della struttura spaziale o sequenziale intrinseca presente in immagini e testi, ponendo una sfida significativa per i modelli di deep learning. Le architetture tradizionali come CNN e Transformer spesso offrono prestazioni inferiori nei compiti tabulari, in particolare nei regimi High-Dimensional Low-Sample Size (HDLSS). Sebbene gli ensemble di alberi rimangano dei baseline solidi, gli approcci di deep learning faticano con il "Column Permutation Problem" (CPP): la sensibilità delle prestazioni del modello all'ordine arbitrario delle feature di input. I tentativi esistenti di imporre una struttura, come l'ordinamento fisso delle feature (TabSeq) o le rappresentazioni invarianti alla permutazione (TabICL), non riescono a generalizzare su dataset diversificati o ad adattarsi alla complessità intrinseca dei dati. Inoltre, nei contesti HDLSS, i modelli semplici spesso superano le complesse architetture deep, suggerendo che la selezione e l'ordinamento delle feature siano critici, ma che la selezione statica sia insufficiente quando $n \ll m$.

2. Metodologia: DynaTab

Gli autori propongono DynaTab, un'architettura di deep learning ispirata al neural rewiring (ricablaggio neurale) e alla neuroplasticità. La premessa fondamentale è che l'ordinamento delle feature debba essere un processo dinamico e apprendibile che si adatta alla complessità intrinseca del dataset, imitando il modo in cui il cervello rafforza o indebolisce le connessioni sinaptiche in base alla rilevanza dello stimolo.

Componenti Chiave:

• Intrinsic Dimensionality Factor (IDF) & Feature Ordering Effectiveness (FOE): Prima dell'addestramento, il modello quantifica la complessità del dataset utilizzando l'IDF (il rapporto tra il numero di feature intrinseche e il totale delle feature). Un criterio leggero, il FOE, prevede se l'ordinamento dinamico delle feature porterà a guadagni significativi. Un FOE elevato (basso IDF) indica ridondanza e un alto potenziale beneficio dal riordinamento.
• Dynamic Feature Ordering (DFO) tramite Neural Rewiring:
  • Clustering: Il dataset viene raggruppato (ad esempio, tramite K-Means) per formare grafi di feature locali.
  • Local Rewiring: All'interno di ogni cluster, un algoritmo di neural rewiring ottimizza l'ordinamento delle feature. Questo processo imita la plasticità sinaptica (apprendimento hebbiano), dove i pesi degli archi tra le feature vengono aggiornati in base ai punteggi di centralità (grado, betweenness, ecc.). Le feature ad alta centralità sono prioritarie e le connessioni deboli vengono rimosse per minimizzare la dispersione intra-cluster.
  • Global Ordering: Gli ordinamenti locali vengono aggregati in un ordinamento globale ($O_g$) che minimizza la dispersione globale pesata, garantendo una struttura coesa in tutto lo spazio delle feature.
• Order-Aware Fusion (DOF): Le feature riordinate vengono elaborate attraverso un modulo specializzato prima del backbone sequenziale. Questo modulo include:
  • Order-aware Positional Embedding (OPE): Apprende embedding posizionali dinamici basati sulla sequenza riordinata, sostituendo le codifiche sinusoidali fisse.
  • Positional-Importance Gating Layer (PIGL): Modula i contributi delle feature in base ai punteggi di importanza derivati dall'ordinamento.
  • Dynamic Masked Attention (DMA): Impone un flusso di attenzione direzionale coerente con l'ordine globale delle feature, prevenendo l'attenzione inversa nei backbone basati su attenzione.
• Backbone & Loss: L'architettura è compatibile con vari backbone sequenziali (Transformer, Mamba, LSTM, DAE). Viene addestrata end-to-end utilizzando una funzione di perdita composita che combina la perdita di predizione standard (BCE/CCE/MSE) con la DFO loss (che penalizza la fluidità locale delle feature e la coerenza dell'ordinamento globale) e la dispersion loss.

3. Contributi Chiave

1. Criterio Predittivo: Introduzione di un framework teorico che utilizza IDF e FOE per determinare quando l'ordinamento delle feature è benefico, quantificando la complessità del dataset e la sensibilità all'ordinamento.
2. Meccanismo di Neural Rewiring: Un nuovo approccio di Dynamic Feature Ordering (DFO) che riordina adattivamente le colonne simulando la plasticità strutturale e gli aggiornamenti dei pesi sinaptici, ottimizzando la connettività tra le feature per ogni dataset.
3. Architettura DynaTab: Un modello end-to-end che integra la fusione consapevole dell'ordine (OPE, PIGL, DMA) con backbone sequenziali plug-and-play, addestrato congiuntamente sotto le perdite DFO e di dispersione.
4. Benchmarking Completo: Una nuova tassonomia che categorizza i dataset tabulari in cinque regimi (HDLSS, HDHSS, LDHSS, LDLSS, Mixed) basati sulla dimensione del campione ($n$) e sulla dimensionalità delle feature ($m$). Il modello è stato testato contro 45 baseline allo stato dell'arte su 36 dataset del mondo reale.

4. Risultati Sperimentali

Gli autori hanno valutato DynaTab su 36 dataset che coprono cinque regimi strutturali:

• HDLSS (High Dimension, Low Sample): DynaTab ha ottenuto il miglior rank medio (2.63) tra 45 modelli, superando significativamente i metodi classici (Lasso, KNN) e i baseline deep (TabNet, Transformer). Ha dimostrato robustezza in condizioni estreme di scarsità di campioni dove i modelli deep tradizionali spesso falliscono.
• HDHSS (High Dimension, High Sample): DynaTab ha ottenuto il primo posto nel rank medio (2.50) su sei dataset tabulari derivati da immagini, superando sia i metodi di deep learning che quelli di gradient boosting.
• Regime Misto: DynaTab si è classificato al primo posto in cinque dei otto compiti, mostrando una superiorità nella generalizzazione attraverso domini eterogenei (clinici, geospaziali, proteomici).
• Regimi a Bassa Dimensionalità (LDHSS/LDLSS): In contesti a bassa dimensionalità, gli ensemble basati su alberi (CatBoost, XGBoost) hanno generalmente superato DynaTab. Gli autori osservano che i guadagni di DynaTab sono più pronunciati in contesti ad alta dimensionalità, mentre modelli più semplici sono sufficienti per dati a bassa dimensionalità.
• Significatività Statistica: I test di Friedman e le analisi post-hoc di Wilcoxon-Holm hanno confermato miglioramenti statisticamente significativi per DynaTab nei regimi ad alta dimensionalità rispetto ai baseline.

5. Significato e Rivendicazioni

Il paper posiziona DynaTab come un nuovo paradigma convincente per il deep learning tabulare ad alta dimensionalità. La sua importanza primaria risiede nel risolvere il "Column Permutation Problem" trattando l'ordinamento delle feature non come un passaggio di pre-processing statico, ma come una componente dinamica e apprendibile ispirata al ricablaggio neurale biologico.

Gli autori affermano che:

• L'ordinamento dinamico delle feature riduce efficacementamente la ridondanza ed espone le dipendenze a lungo raggio nei dati ad alta dimensionalità.
• Il meccanismo di neural rewiring proposto permette ai modelli deep di imitare l'adattabilità del cervello, rendendoli più robusti ai dataset eterogenei.
• L'integrazione di DFO con backbone sensibili alla sequenza (come Mamba o Transformer) consente prestazioni allo stato dell'arte specificamente nei regimi HDLSS e HDHSS, dove i precedenti modelli tabulari deep hanno incontrato difficoltà.
• Il lavoro fornisce un passaggio necessario dai design invarianti alla permutazione ad architetture adattive ai dati e consapevoli dell'ordine per dati tabulari complessi.

Il paper rimane modesto riguardo ai regimi a bassa dimensionalità, riconoscendo che i modelli classici spesso rimangono superiori in tali contesti, e identifica come lavoro futuro la scalabilità verso dimensioni di campionamento maggiori e l'estensione al multi-view e all'apprendimento continuo.