Sintesi Tecnica: LimiX-2M

1. Problematica

I Modelli Fondazionali per Dati Tabulari (TFM) hanno recentemente dimostrato la capacità di eguagliare o superare i tradizionali ensemble ad albero (es. XGBoost, CatBoost). Tuttavia, gli autori identificano due criticità strutturali nelle attuali architetture TFM che limitano il loro rapporto accuratezza-efficienza:

1. Collasso del Rango nelle Embedding (Low-Rank Collapse): I TFM standard (es. TabPFN-v2) tipicamente mappano le celle numeriche scalari in spazi latenti ad alta dimensionalità tramite una singola proiezione lineare, aumentata da ID delle feature o embedding posizionali. Gli autori sostengono che questa "tokenizzazione affine scalare" inietta la variazione dei valori attraverso un canale essenzialmente monodimensionale. Di conseguenza, le matrici delle feature negli strati superficiali esibiscono un rango effettivo estremamente basso (a volte collassando a ranghi a cifra singola), portando a una significativa ridondanza dei parametri e a una debole sensibilità ai valori. L'analisi teorica (Proposizione 3.1 e Teorema B.1) suggerisce che, senza un'aggiunta di non linearità, il rango degli input embeddati e degli stati latenti iniziali è limitato da una costante piccola (es. 2 per l'attenzione single-head, $H+1$ per la multi-head), indipendentemente dalla dimensione dello spazio latente.
2. Colli di Bottiglia dell'Attenzione e Disallineamento: Gli attuali stack di attenzione bidirezionale seguono spesso l'ordine Feature-Attention $\to$ Sample-Attention $\to$ FFN (F$\to$S$\to$N). Questo ordinamento costringe l'attenzione a livello di feature a integrare le colonne basandosi esclusivamente su valori grezzi e debolmente condizionati, prima ancora che vengano stabiliti i parametri statistici a livello di colonna. Inoltre, poiché le predizioni finali consumano spesso solo il token target, i calcoli dell'attenzione a livello di campione eseguiti sulle feature vengono effettivamente ignorati, portando a segnali di addestramento deboli per le parti della rete che non influenzano direttamente la lettura (readout).

2. Metodologia

Il paper propone LimiX-2M, un framework unificato che affronta questi problemi attraverso due componenti primarie:

A. RaBEL (Radial-Basis Embedding Layer)

Per mitigare il collasso del rango, gli autori sostituiscono la standard proiezione lineare con RaBEL, un'espansione compatta e localizzata basata su Funzioni di Base Radiale (RBF).

• Meccanismo: Invece di una proiezione lineare diretta, ogni input scalare $x_{i,j}$ viene espanso in un banco di feature non lineari localizzate $\phi_j(x_{i,j})$ utilizzando kernel gaussiani. Queste feature vengono poi proiettate alla dimensione del modello.
• Gating dell'Esponente (Exponent Gating): Per gestire i dati tabulari del mondo reale che coprono ordini di grandezza ed esibiscono eteroschedasticità, RaBEL introduce un "gate dell'esponente". Questo meccanismo condiziona i centri RBF e la larghezza di banda (bandwidth) in base alla magnitudo logaritmica del valore di input. Ciò consente al modello di mantenere l'invarianza di scala e la località attraverso diversi regimi di valore senza ricorrere a un binning rigido e fragile.
• Effetto: Questo design inietta non linearità nella fase di tokenizzazione, aumentando il rango effettivo delle rappresentazioni superficiali e migliorando il condizionamento del primo strato appreso senza richiedere un deep stacking per scoprire la curvatura.

B. Attenzione Bidirezionale Riordinata (S$\to$N$\to$F)

Gli autori propongono di riordinare lo stack di attenzione dal classico F$\to$S$\to$N a Sample-Attention $\to$ FFN $\to$ Feature-Attention (S$\to$N$\to$F).

• Sample-Attention per Primo: Il modello aggrega prima le correlazioni a livello di colonna e le statistiche distributive (es. momenti, prevalenza) attraverso i campioni.
• Condizionamento Intermedio: Una rete Feed-Forward (FFN) leggera comprime e condiziona questi segnali.
• Feature-Attention in Secondo: Lo strato di attenzione delle feature modella quindi le relazioni tra le feature utilizzando questi input più ricchi e meglio condizionati.
• Allineamento del Readout: La predizione finale viene ottenuta tramite pooling di attenzione su tutti i token delle feature, garantendo che tutti i calcoli di attenzione (sia a livello di campione che di feature) contribiscano direttamente all'output, rafforzando così i segnali di addestramento.

3. Contributi Chiave

1. Diagnosi del Collasso del Rango: Il paper fornisce prove teoriche ed empiriche (tramite la Decomposizione ai Valori Singolari degli stati latenti) dimostrando che le embedding lineari + ID inducono un severo collasso del rango negli strati iniziali, rendendo inefficienti le grandi dimensioni dello spazio latente.
2. Architettura RaBEL: L'introduzione di un encoder di celle compatto, basato su RBF, che espande gli input scalari in feature non lineari localizzate, aumentando significativamente il rango effettivo delle rappresentazioni superficiali e migliorando il condizionamento.
3. Stack di Attenzione Riordinato: L'identificazione di una "patologia dell'ordine di permutazione" nell'attuale attenzione bidirezionale e la proposta di uno stack S$\to$N$\to$F che stabilisce le statistiche a livello di colonna prima dell'aggregazione delle feature e instrada tutti i segnali di attenzione verso il readout.
4. Modello LimiX-2M: La realizzazione di un modello da 2M di parametri che integra questi componenti, dimostrando che l'uso di embedding non lineari principati e il riordino dell'attenzione possono sbloccare migliori compromessi tra accuratezza ed efficienza.

4. Risultati Sperimentali

Gli autori hanno valutato LimiX-2M contro una vasta gamma di baseline, inclusi ensemble ad albero (XGBoost, LightGBM, CatBoost), architetture deep specializzate (TabNet, SAINT, FT-Transformer) e altri modelli fondazionali (TabPFN-v2, TabICL, Mitra).

• Performance: Nonostante abbia solo 1,92M di parametri, LimiX-2M supera TabPFN-v2 (7,24M di parametri) e TabICL (27M di parametri) nella maggior parte dei benchmark tabulari più utilizzati (coprendo task di classificazione e regressione su suite OpenML-CC18, TabZilla, TabArena, TALENT e BCCO).
• Efficienza: Il modello raggiunge costi di addestramento e inferenza significativamente inferiori. Su GPU, LimiX-2M è circa 2 volte più veloce di TabPFN-v2 e >10 volte più veloce di TabICL.
• Studi di Ablazione:
  • Sostituire l'embedding lineare con RaBEL aumenta significativamente il rango numerico e il Rank@99% dei primi tre strati rispetto a una baseline con la stessa architettura.
  • L'ordinamento S$\to$N$\to$F (Attenzione Bidirezionale Riordinata) supera costantemente l'ordinamento standard F$\to$S$\to$N.
  • Esperimenti su grafi aciclici diretti (DAG) sintetici mostrano che l'architettura S$\to$N$\to$F assegna punteggi di attenzione più alti alle cause dirette della variabile target rispetto all'ordinamento standard.

5. Significato e Rivendicazioni

Il paper sostiene che i limiti principali degli attuali TFM non sono semplicemente una mancanza di capacità, ma inefficienze strutturali nel modo in cui i valori vengono tokenizzati e in come l'attenzione viene instradata. Affrontando il "collo di bottiglia del valore" tramite RaBEL e il "disallineamento del readout" tramite l'attenzione riordinata, LimiX-2M dimostra che:

• La tokenizzazione consapevole del valore è una leva chiave per migliorare il compromesso accuratezza-efficienza.
• L'instradamento allineato al readout assicura che tutte le risorse computazionali contribuiscano alla predizione finale.
• Le alte prestazioni sui dati tabulari non richiedono necessariamente conteggi massicci di parametri; un modello da 2M di parametri può superare modelli fondazionali più grandi quando l'architettura è ottimizzata per le proprietà statistiche specifiche dei dati tabulari (es. trend a tratti, code pesanti e tipi misti).

Gli autori concludono che questi risultati suggeriscono una strada verso uno scaling più affidabile per i modelli fondazionali tabulari, andando oltre il semplice scaling dei parametri verso principi architettonici che si allineano meglio alla struttura intrinseca dei dati.