Riepilogo Tecnico: Modelli Fondamentali Tascabili

Enunciato del Problema

I Modelli Fondamentali per Dati Tabellari (TFM) come TabICLv2, TabPFNv2.6 e LimiX hanno dimostrato una precisione all'avanguardia su piccoli dataset strutturati sfruttando l'apprendimento in contesto (ICL) tramite grandi transformer. Tuttavia, questi modelli affrontano una barriera critica per il deployment: richiedono di considerare l'intero set di training al momento della query, risultando in latenze di inferenza comprese tra 151 ms e 1.275 ms su GPU. Tale latenza è incompatibile con applicazioni in tempo reale come il rilevamento delle frodi, lo scoring del credito o la triage dei pazienti, che spesso richiedono risposte inferiori a 2 ms. Inoltre, i costi delle GPU e i vincoli di produzione su CPU-only rendono impraticabile il deployment diretto dei TFM.

Sebbene la distillazione della conoscenza offra una via per comprimere questi modelli in studenti Gradient-Boosted Decision Tree (GBDT) più veloci, sorge un ostacolo tecnico specifico con gli insegnanti basati su ICL. Quando un insegnante ICL valuta esempi già presenti nel suo contesto (ovvero il suo stesso set di training), le sue previsioni collassano in vettori quasi one-hot con entropia quasi nulla. Questa "perdita" distrugge la struttura inter-classe (etichette morbide) necessaria per una distillazione efficace, causando allo studente di apprendere non più di quanto farebbe con etichette rigide, spesso performando peggio rispetto all'addestramento standard.

Metodologia

Il paper propone una pipeline di distillazione consapevole della perdita che converte insegnanti TFM in studenti GBDT o MLP pronti per la CPU. L'innovazione centrale è l'uso di etichettatura Stratificata Out-of-Fold (OOF) per prevenire la perdita di contesto.

1. Etichettatura OOF: Il dataset di training $D$ viene partizionato in $K=5$ fold stratificati. Per ogni fold $k$, il modello insegnante viene adattato su $D \setminus D_k$ e utilizzato per prevedere le probabilità solo per il set tenuto fuori $D_k$. Questo garantisce che l'insegnante non veda mai gli esempi di query nel suo contesto, preservando il segnale delle etichette morbide (struttura inter-classe) richiesto per la distillazione.
2. Media Multi-Insegnante: In configurazioni multi-insegnante, le previsioni OOF provenienti da diverse famiglie di TFM (ad es. TabPFN, TabICL, LimiX) vengono mediate con pesi uguali prima di essere utilizzate come target.
3. Obiettivo dello Studente: Lo studente (XGBoost, CatBoost, LightGBM o MLP) viene addestrato utilizzando una funzione di perdita mista in stile Hinton:
   $$\mathcal{L} = \alpha \sum_i w_i T_i^2 \text{KL}(\hat{p}_i^{T_i} \parallel q_i^{T_i}) + (1-\alpha) \sum_i w_i \ell_{\text{CE}}(y_i, q_i)$$
   Dove $\alpha=0.7$, $T_i$ è una scalatura della temperatura per campione basata sull'entropia dell'insegnante, e $w_i$ è un peso di confidenza che riduce il peso delle previsioni eccessivamente confidenti o quasi casuali. Per studenti basati su alberi, il termine KL si semplifica in regressione MSE per classe sui logit delle etichette morbide.
4. Selezione dell'Insegnante: Il paper rileva che la classifica degli insegnanti basata sul loro AUC singolo su un campione tenuto fuori si trasferisce esattamente alla classifica degli studenti risultanti. Pertanto, selezionare il miglior insegnante non richiede una complessa ricerca architetturale; è sufficiente scegliere l'insegnante con il più alto AUC singolo.

Contributi Chiave

1. Etichettatura OOF Obbligatoria: Gli autori identificano che l'etichettatura OOF non è opzionale per i TFM basati su ICL. Senza di essa, il segnale delle etichette morbide collassa e la distillazione produce studenti inferiori rispetto alle baseline con etichette rigide.
2. Prestazioni vs Latenza: La distillazione di TabICLv2 in XGBoost raggiunge un AUC medio macro di 0.882 (96,5% dell'AUC dell'insegnante) con una latenza di 1,9 ms su un singolo core CPU. Ciò rappresenta un speedup da 38× a 860× rispetto all'insegnante, superando statisticamente una baseline CatBoost ottimizzata sul 51% dei 153 dataset (Wilcoxon $p=0.0008$).
3. Guadagni Prevedibili: I benefici della distillazione sono altamente prevedibili in base alla dimensionalità dei dati:
   • Dati a bassa dimensionalità ($\le$ 21 feature): La distillazione fornisce un guadagno significativo (+0,011 AUC su CatBoost).
   • Dati ad alta dimensionalità ($>$ 21 feature): I guadagni sono trascurabili (+0,001 AUC) e, se l'insegnante stesso performa peggio di CatBoost, la distillazione può degradare ulteriormente le prestazioni.
4. Dinamiche Multi-Insegnante:
   • Studenti ad Albero: La media multi-insegnante fornisce un guadagno statisticamente rilevabile ma praticamente trascurabile (+0,0006 AUC). Un singolo insegnante forte è sufficiente.
   • Studenti MLP: La media multi-insegnante agisce come un efficace smoothing delle etichette, producendo un guadagno significativo (+0,006 AUC, $p=0.003$) rispetto all'addestramento con un singolo insegnante.
5. Pipeline Open-Source: L'intera pipeline è implementata e rilasciata come parte della libreria TabTune.

Risultati

La valutazione copre 153 dataset di classificazione provenienti da TALENT, OpenML-CC18, TabZilla e TabArena.

• Accuratezza: La migliore configurazione distillata (TabICLv2 $\to$ XGBoost) raggiunge un AUC di 0,882, mantenendo il 96,5% delle prestazioni dell'insegnante.
• Latenza: Gli studenti ad albero distillati eseguono in 1,9–4,0 ms su CPU, rispetto ai 151–1.275 ms degli insegnanti su GPU.
• Baseline: I modelli distillati battono una baseline CatBoost ottimizzata sul 51% dei dataset. Al contrario, OrionMSP, un insegnante più debole, produce studenti che vincono solo il 22,6% delle volte.
• Ablazione: Per studenti MLP su dati a bassa dimensionalità, l'uso di etichette rigide con OOF ($\alpha=0$) ha effettivamente superato l'intera pipeline di etichette morbide Hinton di 0,034 AUC, suggerendo che per dati puliti a bassa dimensionalità, la complessa meccanica delle etichette morbide è opzionale, ma l'etichettatura OOF rimane critica.

Significato

Il paper dimostra che il "problema di deployment" dei modelli fondamentali per dati tabellari può essere risolto senza sacrificare i loro vantaggi in termini di accuratezza. Affrontando il problema specifico della perdita intrinseco agli insegnanti ICL, gli autori mostrano che è possibile distillare la "struttura inter-classe" di un TFM in un GBDT leggero e nativo per CPU.

Il significato risiede nella prevedibilità e nel fallimento elegante dell'approccio:

• Se un TFM è forte, la distillazione trasferisce tale forza a uno studente veloce.
• Se un TFM è debole (o i dati sono ad alta dimensionalità), la distillazione non gonfia artificialmente le prestazioni; fallisce in modo pulito, spesso performando peggio di un GBDT standard, segnalando che l'insegnante non era un buon candidato.
• Il metodo non richiede una complessa ottimizzazione degli iperparametri per lo studente; la decisione principale è semplicemente selezionare l'insegnante con le migliori prestazioni.

Gli autori concludono che per dati strutturati a bassa dimensionalità, i praticanti possono raggiungere un'accuratezza vicina a quella dell'insegnante al 1% del costo di inferenza, a condizione che aderiscano rigorosamente al protocollo di etichettatura OOF per evitare il collasso del segnale.