📊 statistics

GEAR: Generative Expansion and Real Anchoring for Two-Stage Distillation of Tabular Foundation Models

Il documento propone GEAR, un framework di distillazione modulare a due stadi che converte i modelli fondativi tabulari ad alta intensità di risorse in predittori leggeri e ad alte prestazioni per CPU comuni, combinando l'espansione sintetica delle query con il riancoraggio su dati reali, ottenendo guadagni significativi in termini di accuratezza ed efficienza rispetto ai baseline supervisionati.

Autori originali: Qi Qin, Jiajie Zhu, Dali Chen, Yuzhao Zhang, Jia-Xing Han, Yu Su, Peng Zhang, Ying Yan, Yifan Sun

Pubblicato 2026-08-20

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Qi Qin, Jiajie Zhu, Dali Chen, Yuzhao Zhang, Jia-Xing Han, Yu Su, Peng Zhang, Ying Yan, Yifan Sun

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Nel mondo della scienza dei dati, l'informazione arriva spesso sotto forma di fogli di calcolo: righe di numeri e categorie che descrivono di tutto, dalle domande di prestito alle cartelle cliniche dei pazienti. Per decenni, il modo più affidabile per trovare schemi in queste tabelle è stato quello di addestrare programmi informatici specializzati sui dati specifici a disposizione. Questi programmi imparano per esempi, regolando le proprie impostazioni interne finché non riescono a prevedere il risultato per una nuova riga basandosi sui modelli osservati in precedenza. Tuttavia, una nuova generazione di modelli è emersa e funziona diversamente. Invece di apprendere un insieme fisso di regole, questi "modelli di base" (foundation models) agiscono come un esperto universale capace di guardare una tabella etichettata e prevedere istantaneamente cosa accadrà dopo, semplicemente leggendo il contesto fornito. Sebbene questo approccio sia incredibilmente potente e accurato, comporta un prezzo elevato. Per effettuare una previsione, il modello deve mantenere l'intera tabella originale nella sua memoria e processarla ogni singola volta, il che è lento, costoso e spesso impossibile per i dispositivi quotidiani.

I ricercatori cercano da tempo un modo per mantenere l'intelligenza di questi potenti esperti pur liberandoli del loro pesante bagaglio. L'obiettivo è insegnare a un programma informatico piccolo, veloce e semplice imitare il comportamento dell'esperto, affinché possa fare previsioni in autonomia, senza bisogno della tabella originale o del modello massiccio. Un team di scienziati ha introdotto un metodo chiamato GEAR per risolvere questo problema. Il loro approccio non cerca di costringere il piccolo programma a imparare tutto in una volta. Inveve, scompone il processo in due fasi distinte. Primo, generano migliaia di nuovi punti dati sintetici che somigliano ai dati reali e li usano per insegnare al piccolo programma come pensa l'esperto. Successivamente, riportano il programma ai dati reali per perfezionarne la comprensione, assicurandosi che rimanga ancorato alla realtà. Questo processo in due fasi permette al piccolo programma di apprendere i segreti dell'esperto senza mai aver bisogno di vedere l'esperto durante l'uso effettivo.

La sfida centrale che i ricercatori hanno affrontato era che i dati reali disponibili per l'addestramento sono spesso limitati. Se un piccolo programma impara solo dalle poche righe di dati che ha a disposizione, potrebbe perdere i modelli più ampi che l'esperto ha padroneggiato. Per risolvere questo, il primo passo del team consiste nel creare una vasta quantità di nuovi dati finti che imitano la struttura del mondo reale. Alimentano questi dati sintetici con il potente modello esperto per vedere cosa prevede, e poi insegnano al piccolo programma di copiare tali previsioni. Questo espande l'esperienza del piccolo programma, permettendogli di esercitarsi su una varietà di scenari molto più ampia rispetto a quella che potrebbe gestire con i soli dati reali. Tuttavia, fare affidamento esclusivamente sui dati finti è rischioso; il piccolo programma potrebbe imparare a imitare troppo bene l'esperto sui dati finti, ma fallire quando si trova di fronte alla realtà disordinata dei record effettivi.

Per risolvere questo problema, i ricercatori hanno aggiunto un secondo passaggio, che chiamano "ancoraggio reale" (real anchoring). Una volta che il piccolo programma ha imparato dai dati sintetici, lo riportano alla tabella originale reale. Qui, non permettono al programma di limitarsi a memorizzare le risposte. Invece, utilizzano una tecnica intelligente in cui il programma impara dalle previsioni dell'esperto su dati che l'esperto non ha mai visto prima. Questo impedisce al programma di fare affidamento su risposte memorizzate che invece dovrebbe imparare. Mescolando le risposte reali con la guida dell'esperto, il piccolo programma corregge eventuali errori commessi durante l'apprendimento dai dati sintetici. Il risultato è un modello che possiede la vasta esperienza dei dati sintetici ma la precisione accurata del mondo reale.

Il team ha testato questo metodo su una vasta gamma di compiti, dalle scelte binarie come "sì o no" a classificazioni più complesse con molti risultati possibili. Hanno scoperto che i piccoli programmi addestrati con questo metodo in due fasi erano significativamente migliori di quelli addestrati solo sui dati reali. Nei compiti binari, il nuovo metodo ha migliorato l'accuratezza di quasi due punti percentuali rispetto all'addestramento standard e, nei compiti più complessi, ha comunque guadagnato oltre un punto percentuale. Questi miglioramenti si sono mantenuti costanti anche quando i ricercatori hanno utilizzato diversi tipi di piccoli programmi, inclusi quelli basati su alberi decisionali, che sono comuni nell'industia. I piccoli modelli non erano solo più accurati, ma anche molto più efficienti. In termini di velocità, il nuovo metodo rendeva le previsioni tra le 57 e le 2.866 volte più veloci rispetto ai modelli grandi originali. Ha inoltre ridotto la quantità di memoria informatica necessaria per effettuare una previsione di quasi tre volte, consentendo a questi strumenti potenti di girare su processori informatici standard anziché richiedere hardware specializzato ed costoso.

I ricercatori hanno anche esplorato quanto fosse effettivamente necessario il dato sintetico. Hanno scoperto che aggiungere più dati finti aiutava inizialmente, ma solo fino a un certo punto. Una volta che il piccolo programma aveva visto abbastanza esempi sintetici, aggiungerne altri non migliorava le prestazioni e talvolta le danneggiava se i dati finti non corrispondevano perfettamente al mondo reale. Ciò ha confermato che il secondo passaggio, il ritorno ai dati reali, era essenziale. Senza di esso, il piccolo programma sarebbe rimasto bloccato nel mondo dei dati sintetici, incapace di gestire le sfumature della realtà. Lo studio ha dimostato che semplicemente addestrare più a lungo o iniziare con un tipo diverso di modello pre-addestrato non produceva gli stessi risultati. La specifica combinazione di espansione dell'ambito di addestramento con i dati sintetici e successivo radicamento con i dati reali era la chiave del successo.

Questo lavoro dimostra che è possibile distillare l'intelligenza di modelli massicci e dipendenti dal contesto in strumenti leggeri e indipendenti senza perdere gran parte del loro potere. Il metodo non richiede che il piccolo programma abbia accesso all'esperto originale o ai dati di addestramento al momento della previsione. Ciò apre la porta alla distribuzione di questi modelli avanzati in contesti in cui la velocità e la privacy sono critiche, come sui dispositivi mobili o in ambienti sicuri dove i dati non possono essere condivisi. I ricercatori hanno dimostrato che, bilanciando attentamente l'uso dei dati generati con la verifica del mondo reale, potevano creare modelli che fossero sia intelligenti che pratici. Le scoperte suggeriscono che il futuro dell'analisi dei dati potente non risieda nel costruire modelli più grandi, ma nell'insegnare ai modelli più piccoli come pensare come i giganti, usando un mix di immaginazione e realtà.

Sintesi Tecnica: GEAR per la Distillazione di Modelli Fondativi Tabulari

1. Definizione del Problema

I Modelli Fondativi Tabulari (TFM), come TabPFN, TabICL e TabDPT, hanno dimostrato una forte performance few-shot attraverso l'apprendimento in-context (ICL). Tuttavia, il loro dispiegamento è ostacolato da costi significativi di latenza e memoria. A differenza dei modelli supervisionati standard, i TFM richiedono l'intera tabella di contesto etichettata per condizionare le predizioni al momento dell'inferenza. Questo inferenza dipendente dal contesto scala male con la dimensione del contesto e il carico di lavoro delle query, portando spesso a errori di esaurimento della memoria (out-of-memory) e un'elevata latenza di inferenza, rendendoli inadatti per applicazioni su larga scala e in tempo reale su hardware comune.

Sebbene approcci recenti tentino di mitigare il problema ottimizzando la selezione del contesto o utilizzando il mixture-of-experts, essi si affidano ancora a un modello teacher di grandi dimensioni e a un contesto in fase di inferenza. La distillazione della conoscenza (KD) offre una via per comprimere il comportamento adattivo al compito del teacher in uno studente leggero e privo di contesto (ad esempio, un MLP o un modello basato su alberi). Tuttavia, la KD standard affronta due sfide primarie in questo scenario:

Copertura delle Query: I dati reali forniscono solo un numero finito di posizioni di query, il che è particolarmente restrittivo nei regimi a campionamento ridotto.
Leakage dell'Auto-Etichettatura (Self-Labeling Leakage): Se un teacher effettua una predizione su una riga che fa parte del proprio contesto, l'etichetta target filtra nel target di distillazione, influenzando negativamente lo studente.

2. Metodologia: GEAR

Gli autori propongono GEAR (Generative Expansion and Real Anchoring), un framework modulare a due stadi progettato per distillare TFM congelati in predittori efficienti, affrontando al contempo i problemi di copertura e leakage.

Stadio 1: Espansione Generativa (Generative Expansion)

Obiettivo: Espandere la copertura delle posizioni di query del teacher oltre i dati reali osservati.
Meccanismo: Un generatore (ad esempio, GAN, modello di diffusione o modello basato sull'energia) produce covariate sintetiche. Queste righe sintetiche sono trattate esclusivamente come posizioni di query per il teacher congelato; le loro etichette generate vengono scartate.
Addestramento: Lo studente viene addestrato tramite pura imitazione del teacher utilizzando target "soft" generati dal TFM su queste covariate sintetiche. Questo stadio mira ad acquisire una conoscenza ampia dal comportamento del teacher attraverso uno spazio di feature più vasto.

Stadio 2: Ancoraggio Reale (Real Anchoring)

Obiettivo: Ri-allineare lo studente alla distribuzione del dominio target e correggere eventuali bias introdotti dai dati sintetici.
Meccanismo: Lo studente dello Stadio 1 viene inizializzato e ulteriormente addestrato sul dataset reale etichettato.
Prevenzione del Leakage: Per evitare il leakage dell'auto-etichettatura, il framework utilizza predizioni del teacher Out-of-Fold (OOF). I dati reali sono partizionati in $K_{cf}$ fold; per ogni fold, il teacher è condizionato sui dati rimanenti (escludendo il fold corrente) per generare target soft.
Funzione di Perdita: Viene ottimizzato un obiettivo misto, combinando le etichette ground-truth "hard" con i target soft OOF del teacher:
$\mathcal{L}_\lambda(p, y, q) = (1-\lambda)\ell(p, y) + \lambda\ell_T(p, q)$
dove $\ell$ è la perdita supervisionata standard e $\ell_T$ è la perdita delle etichette soft.

Garanzia Teorica
Il documento deriva un certificato di rischio che caratterizza il compromesso tra il volume di query generate ( $M$ ) e la fedeltà del generatore ( $Q_X$ rispetto alla distribuzione reale $P_X$ ). L'analisi mostra che, sebbene l'aumento del volume di query riduca l'errore a campioni finiti (decadendo come $M^{-1/2}$ ), non può superare un "pavimento di fedeltà" (fidelity floor) causato dal disallineamento della distribuzione. Lo Stadio 2 è teoricamente necessario per de-biasizzare lo studente quando la distribuzione sintetica non corrisponde perfettamente a quella reale.

3. Contributi Chiave

Design del Framework: Introduzione di GEAR, un protocollo a due stadi che decoppia l'espansione generativa delle query dall'ancoraggio sui dati reali, supportando diverse famiglie di generatori, teacher TFM e architetture di studenti (MLP, LightGBM, XGBoost).
Performance Empirica: Esperimenti estesi sui benchmark TALENT e TabArena dimostrano che GEAR supera significativamente sia i baseline supervisionati che i metodi di distillazione basati solo su dati reali.
Insight Teorico: Derivazione di un certificato di rischio che spiega i rendimenti decrescenti dell'espansione sintetica e il ruolo critico dell'ancoraggio sui dati reali per mitigare lo shift distributivo.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti utilizzando TabICL, TabPFN e TabDPT come teacher, e TabPFGen, Copula, CTGAN e TabDiff come generatori.

Guadagni di Performance (Studenti MLP):
- Compiti Binari: Gli MLP di GEAR hanno superato gli MLP supervisionati di 1.81–2.00 punti AUC e hanno superato la distillazione basata solo su dati reali di 1.76–2.19 punti.
- Compiti Multiclass: Gli MLP di GEAR hanno superato gli MLP supervisionati di 1.19–1.35 punti AUC e la distillazione basata solo su dati reali di 2.09–2.40 punti.
- Modelli ad Alberi: Nei compiti binari, i modelli a due stadi LightGBM e XGBoost hanno mostrato guadagni rispetto all'addestramento supervisionato e hanno superato CatBoost (il più forte baseline non-TFM) nella media AUC.
Efficienza:
- Tempo di Inferenza: GEAR ha ridotto il tempo di inferenza mediano di 57–2.866× rispetto all'inferenza diretta del TFM.
- Memoria: La memoria di picco per la predizione è stata ridotta di 1.9–3.3×.
- Accuratezza vs Costo: Gli studenti GEAR hanno mantenuto un AUC superiore rispetto ai baseline supervisionati corrispondenti, operando però a una frazione del costo.
Studi di Ablazione:
- Impatto del Generatore: Generatori ad alta fedeltà (es. TabPFGen, TabDiff) hanno prodotto guadagni maggiori. Generatori a bassa fedeltà (es. Copula) hanno mostrato rendimenti decrescenti, in linea con il pavimento di fedeltà teorico.
- Due Stadi vs Misto: Separare gli stadi (GEAR) ha fornito maggiore stabilità e guadagni mediani superiori rispetto all'ottimizzazione mista (addestramento simultaneo su dati sintetici e reali).
- Meccanismo: I guadagni sono stati confermati come derivanti dalle posizioni di query informative fornite dai dati sintetici, e non semplicemente da programmi di addestramento più lunghi o warm start generici.

5. Significatività

Il documento afferma che GEAR fornisce una soluzione pratica al collo di bottiglia del dispiegamento dei Modelli Fondativi Tabulari. Distillando con successo le capacità di apprendimento in-context dei grandi TFM (dipendenti dal contesto) in modelli leggeri e privi di contesto, GEAR consente l'uso delle performance dei modelli fondativi su CPU comuni con latenza nell'ordine dei millisecondi. Il lavoro evidenzia come, sebbene i dati sintetici possano espandere la copertura effettiva del teacher, uno stadio dedicato di ancoraggio sui dati reali sia essenziale per correggere gli shift distributivi e prevenire il leakage dell'auto-etichettatura, offrendo un percorso robusto per il dispiegamento dei TFM in domini ad alto rischio come la finanza e la sanità.