FEAT: A Linear-Complexity Foundation Model for Extremely Large Structured Data

Il paper presenta FEAT, un modello fondazionale a complessità lineare che supera i limiti delle architetture esistenti per dati strutturati su larga scala grazie a un'innovativa architettura dual-axis e a un'addestramento ibrido, ottenendo prestazioni superiori e un'inferenza fino a 40 volte più veloce su 11 dataset reali.

L'essenziale

Immagina di dover analizzare milioni di fogli Excel (dati strutturati) per prendere decisioni importanti, come prevedere se un paziente si ammalerà o se un cliente comprerà un prodotto.

Fino a oggi, i computer erano come studenti molto bravi ma con una memoria limitata: potevano studiare bene un foglio alla volta o pochi fogli insieme, ma se provavi a dar loro un intero archivio di milioni di documenti, il loro cervello si spegneva (si bloccavano per mancanza di memoria).

Ecco come FEAT risolve questo problema, usando tre metafore semplici:

1. Il Problema: La "Folla" che blocca il traffico

I modelli precedenti (chiamati Foundation Models) funzionavano come un moderatore di una folla enorme.
Per capire chi è chi, il moderatore doveva guardare ogni singola persona e confrontarla con tutte le altre persone presenti nella stanza.

• Se ci sono 100 persone, il moderatore fa 10.000 confronti.
• Se ci sono 1 milione di persone? Il numero di confronti diventa astronomico. Il moderatore impazzisce, il sistema si blocca e non riesce a lavorare.
  Questo è il problema della "complessità quadratica": più dati hai, più il tempo di calcolo esplode.

2. La Soluzione: FEAT è il "Direttore d'Orchestra" intelligente

FEAT è un nuovo modello che cambia le regole del gioco. Invece di far confrontare tutti con tutti, usa un approccio lineare (se raddoppi i dati, raddoppi solo il tempo di lavoro, non lo moltiplichi per mille).

FEAT funziona come un Direttore d'Orchestra che ha due assistenti speciali per gestire la musica (i dati):

• Assistente A (AFBM): Il "Gossip di Vicinato"
  Questo assistente guarda le persone che stanno vicine nella fila. Capisce le relazioni locali e immediate. È veloce e si muove in entrambe le direzioni (guarda chi c'è prima e chi c'è dopo), evitando di perdere il contesto.
• Assistente B (Conv-GLA): Il "Libro degli Appunti Globale"
  Questo assistente ha un quaderno magico. Mentre la musica avanza, lui scrive le note importanti in un "memoria globale". Invece di dover ricordare tutto a memoria (che è impossibile per un cervello umano), tiene traccia delle tendenze generali. Questo evita che il modello dimentichi le informazioni importanti quando la lista diventa lunghissima.

L'innovazione: FEAT combina questi due assistenti. Uno guarda i dettagli locali (chi è vicino a chi) e l'altro tiene d'occhio il quadro generale (la storia complessiva). In questo modo, riesce a gestire 500.000 righe di dati in pochi secondi, mentre i vecchi modelli si bloccavano già a 50.000.

3. L'Allenamento: Imparare dalla Realtà, non dai Fumetti

C'è un altro problema: i vecchi modelli si allenavano solo su dati "perfetti" e inventati (come se imparassimo a guidare solo in un videogioco). Quando arrivavano i dati reali, pieni di errori, valori strani e imprevisti (come un'auto che frena di colpo), i modelli andavano in tilt.

FEAT è stato allenato in modo diverso:

• Ha studiato sia dati inventati che dati reali e "sporchi" (con errori e valori estremi).
• Usa una "penna speciale" (una funzione matematica chiamata Huber Loss) che non va in panico se trova un valore strano. Invece di urlare "ERRORE!", dice: "Ok, questo valore è strano, ma continuiamo a lavorare con calma".
• Questo lo rende robusto: non si rompe quando incontra dati del mondo reale, pieni di imprevisti.

I Risultati: Cosa significa per noi?

Grazie a FEAT, otteniamo tre cose fantastiche:

1. Velocità: È fino a 40 volte più veloce dei modelli attuali quando deve analizzare grandi quantità di dati.
2. Scalabilità: Può gestire dataset enormi (milioni di righe) senza esplodere di memoria.
3. Intelligenza: Non perde in precisione. Anche se è più veloce e usa meno risorse, fa previsioni accurate quanto i modelli lenti e pesanti, sia per classificare (es. "Sì/No") che per prevedere numeri (es. "Quanto venderemo?").

In sintesi:
FEAT è come passare da un archivio di carta dove devi leggere ogni documento e confrontarlo con tutti gli altri (lento e impossibile per grandi quantità) a un sistema digitale intelligente che legge velocemente, prende appunti globali e capisce le relazioni locali, permettendoci di analizzare il mondo dei dati su scala industriale senza impazzire.

Sommario tecnico

1. Il Problema: Limiti dei Modelli Strutturati Attuali

I dati strutturati (tabelle) sono fondamentali in settori come sanità, finanza ed e-commerce. Sebbene i modelli fondazionali (Foundation Models) abbiano rivoluzionato NLP e visione artificiale, la loro applicazione ai dati strutturati incontra tre ostacoli principali quando si tratta di dataset reali su larga scala:

1. Complessità Quadratica ($O(N^2)$): I modelli esistenti (es. TabPFN, LimiX) si basano su meccanismi di self-attention completa per modellare le interazioni tra campioni. Questo comporta una complessità computazionale e di memoria quadratica rispetto al numero di campioni ($N$), limitando drasticamente la dimensione del contesto (spesso fallendo oltre 50.000 campioni) e rendendo impossibile l'osservazione della distribuzione globale dei dati reali che possono contenere milioni di righe.
2. Collasso delle Rappresentazioni nei Modelli Lineari: Sostituire l'attention con modelli sequenziali a complessità lineare ($O(N)$), come gli State Space Models (SSM) o l'Linear Attention, porta a un degrado delle prestazioni sui dati strutturati. Questo accade perché:
   • I dati tabulari sono invarianti alla permutazione (l'ordine delle righe non ha significato semantico), mentre i modelli sequenziali standard impongono un bias causale unidirezionale.
   • Gli stati nascosti fissi degli SSM comprimono eccessivamente le informazioni globali, causando un "collasso rappresentazionale" e una perdita di contesto a lungo termine.
3. Instabilità nell'Ottimizzazione su Dati Reali: I dati strutturati reali sono spesso eteroschedastici e presentano distribuzioni a "coda pesante" (heavy-tailed) con molti outlier. I metodi di pre-training attuali, basati su dati sintetici e funzioni di perdita statiche (es. MSE), falliscono nel gestire questa variabilità, portando a esplosioni del gradiente e instabilità numerica.

2. Metodologia: L'Architettura FEAT

Per superare queste limitazioni, gli autori propongono FEAT, un modello fondazionale a complessità lineare progettato specificamente per dati strutturati massivi.

A. Architettura di Codifica Dual-Asse Multi-Livello

FEAT introduce un'architettura ibrida che combina due meccanismi di codifica complementari per gestire le dipendenze tra campioni senza costruire matrici di attenzione $N \times N$:

1. Modellazione dell'Asse delle Feature (Feature-axis): Utilizza l'attenzione self-attention multi-testa (MHSA) standard, ma applicata indipendentemente su ogni campione lungo la dimensione delle feature ($D$). Questo cattura le correlazioni semantiche interne a ogni riga.
2. Modellazione dell'Asse dei Campioni (Sample-axis): Sostituisce l'attention quadratica con un blocco ibrido a complessità lineare composto da quattro strati:
   • 3 Strati AFBM (Adaptive-Fusion bi-Mamba-2): Utilizzano due flussi di stati (in avanti e all'indietro) basati su Mamba-2 per catturare le dipendenze locali dinamiche tra i campioni. La fusione bidirezionale elimina il bias causale artificiale, rispettando l'invarianza alla permutazione.
   • 1 Strato Conv-GLA (Convolutional Gated Linear Attention): Questo strato introduce una memoria globale esplicita (matrice di covarianza accumulata) per mantenere le interazioni a lungo raggio senza comprimere eccessivamente lo stato nascosto. Utilizza un meccanismo di gate convoluzionale per filtrare il rumore e accumulare memoria in modo stabile, prevenendo il collasso rappresentazionale tipico dei modelli lineari puri.

B. Incapsulamento dei Dati (Cell-level Embedding)

Per preservare l'invarianza alla permutazione sia delle righe che delle colonne, FEAT non appiattisce i dati in una sequenza 1D. Utilizza:

• Un embedding non lineare per i valori delle celle.
• Un S-DFE (Subspace Orthogonal Discriminative Feature Encoding): Un encoding dinamico delle colonne che assegna identità ortogonali alle feature, garantendo che ogni colonna sia distinguibile senza introdurre un ordine spaziale fittizio.

C. Pipeline di Pre-training Ibrida e Robusta

• Generazione Ibrida SCM: Per colmare il divario tra dati sintetici e reali, FEAT viene addestrato su un corpus generato da un processo SCM (Structural Causal Model) avanzato che include:
  • Grafi causali scale-free (topologia preferenziale).
  • Inizializzazione delle radici basata su prototipi (per rompere l'assunzione i.i.d.).
  • Rumore eteroschedastico (la varianza dipende dal valore del segnale).
  • Warping delle code pesanti (Kumaraswamy) per simulare gli outlier reali.
• Funzione di Perdita Robusta: Viene utilizzato un obiettivo di ricostruzione basato sulla perdita di Huber (Smooth L1) invece del MSE, per essere meno sensibile agli outlier. Inoltre, il bilanciamento dinamico dei pesi della perdita tra classificazione, regressione e imputazione assicura la stabilità durante l'addestramento multi-task.

3. Contributi Chiave

1. FEAT: Il primo modello fondazionale industriale per dati strutturati basato su un'architettura a complessità strettamente lineare $O(N)$, che abilita l'apprendimento su dataset con milioni di campioni.
2. Design Ibrido AFBM + Conv-GLA: Una soluzione innovativa che combina la modellazione locale dinamica (Mamba) con la memoria globale esplicita (Linear Attention), risolvendo il compromesso tra efficienza computazionale e capacità rappresentazionale su dati permutabili.
3. Strategia di Pre-training Resiliente: Un approccio che unisce dati sintetici causali e reali con obiettivi di ottimizzazione robusti, garantendo stabilità su distribuzioni eteroschedastiche e a coda pesante.
4. Scalabilità Estrema: FEAT dimostra di poter gestire contesti di inferenza fino a 500.000 campioni mantenendo prestazioni zero-shot competitive.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su 11 dataset reali provenienti da benchmark diversificati (TabPFN Suite, Tabzilla, TALENT, TabArena, e dataset industriali proprietari).

• Efficienza e Scalabilità (RQ1):
  • FEAT mostra una crescita lineare della latenza di inferenza al crescere del numero di campioni.
  • A 500.000 campioni, FEAT completa l'inferenza in circa 564 ms, mentre i modelli basati su attention (TabICL v2, LimiX) richiedono oltre 22 secondi o falliscono con errori di memoria (OOM).
  • FEAT è fino a 40 volte più veloce rispetto ai baselines a complessità quadratica su contesti estremi.
• Prestazioni Predittive (RQ2):
  • Zero-shot: FEAT mantiene prestazioni competitive (e spesso superiori) rispetto ai migliori modelli basati su Transformer (TabPFN, LimiX) e modelli classici (XGBoost, CatBoost) senza necessità di fine-tuning specifico per dataset.
  • Classificazione: FEAT ottiene l'AUC più alto (0.9251) sul benchmark Tabzilla-CLS, superando i modelli basati su attention.
  • Regressione: FEAT dimostra robustezza su dataset sparsi e rumorosi, evitando il collasso rappresentazionale che affligge i modelli lineari puri.

5. Significato e Impatto

Il lavoro di FEAT rappresenta un passo fondamentale verso l'adozione di modelli fondazionali per i dati strutturati su scala industriale.

• Superamento del Collo di Bottiglia Computazionale: Dimostra che è possibile modellare interazioni globali su milioni di righe senza la proibitiva complessità quadratica, rendendo fattibile l'analisi di dataset che prima erano intrattabili per i Foundation Models.
• Generalizzazione Reale: La capacità di gestire distribuzioni reali (rumorose, a coda pesante) e di operare in modalità zero-shot su domini diversi (finanza, sanità, e-commerce) apre nuove possibilità per l'automazione decisionale e l'analisi predittiva senza la necessità di costosi ri-addestramenti.
• Nuovo Paradigma Architetturale: L'approccio "Dual-Axis" offre una direzione di ricerca promettente per l'integrazione di modelli sequenziali efficienti con dati non sequenziali, risolvendo il conflitto tra invarianza alla permutazione e modellazione delle dipendenze.

In sintesi, FEAT trasforma i dati strutturati da un dominio dominato da ensemble di alberi decisionali e modelli specifici per task, a un dominio abilitato per l'apprendimento fondazionale scalabile, efficiente e generalizzabile.