Riepilogo Tecnico: TFM-Retouche

Enunciato del Problema

I Modelli Fondamentali Tabulari (TFM), come TabPFN-2.6 e TabICLv2, hanno dimostrato prestazioni zero-shot elevate attraverso l'Apprendimento in Contesto (ICL), sfruttando bias induttivi trasferibili appresi durante un preaddestramento sintetico. Tuttavia, questi modelli possiedono bias induttivi fissi al momento dell'inferenza. L'adattamento a dataset specifici per compiti downstream richiede solitamente o un fine-tuning completo, computazionalmente proibitivo, o metodi di Fine-Tuning Efficiente in Parametri (PEFT) come LoRA. Gli approcci PEFT sono spesso specifici dell'architettura, richiedendo l'inserimento manuale di moduli addestrabili nel backbone, e recenti evidenze empiriche suggeriscono che l'adattamento nello spazio dei pesi può talvolta degradare accuratezza o calibrazione erodendo i fragili prior sintetici codificati nei pesi preaddestrati. Inoltre, i metodi esistenti di adattamento nello spazio degli input (ad es. BETA) spesso si basano su colli di bottiglia a larghezza fissa progettati per modelli precedenti, con capacità limitata, che potrebbero non allinearsi alle esigenze di allineamento dei moderni TFM ad alta capacità.

Metodologia

Gli autori propongono TFM-Retouche, un adattatore residuo nello spazio degli input leggero e agnostico rispetto all'architettura, progettato per allineare i backbone TFM congelati a compiti downstream specifici senza modificare i pesi preaddestrati.

Architettura Principale

Il framework introduce un adattatore residuo controllato da un cancello, $g_\phi(x)$, applicato alle caratteristiche di input $x$ prima che entrino nel TFM congelato $f_\theta$:
$$g_\phi(x) = (1 - \alpha) \odot x + \alpha \odot \delta(x)$$
Dove:

• $\alpha$: Un parametro di cancello addestrabile (uno scalare o un vettore per canale) che controlla l'intensità dell'intervento. È inizializzato a un valore piccolo (0.02) per garantire che l'adattatore inizi vicino alla funzione identità.
• $\delta(x)$: Una trasformazione di un blocco interno addestrabile che mappa $R^d \to R^d$. Gli autori implementano due varianti:
  1. Cross Block (DCNv2): Una rete incrociata che modella esplicitamente interazioni moltiplicative delle caratteristiche ancorate all'input originale.
  2. Blocco MLP Residuo: Un MLP a collo di bottiglia residuo standard.
• Preservazione della Dimensione: A differenza di encoder precedenti che comprimono gli input, TFM-Retouche preserva la dimensionalità dell'input, agendo come una "spinta" piuttosto che come una sostituzione.

Addestramento e Meccanismi di Sicurezza

• Addestramento End-to-End: I parametri dell'adattatore sono addestrati tramite backpropagation attraverso il backbone TFM congelato. I pesi del backbone rimangono completamente invariati.
• Guardia Identità: Per mitigare il rischio che l'adattamento degradi le prestazioni, viene impiegata una guardia identità post-addestramento. Durante l'inferenza, il sistema valuta le prestazioni dell'adattatore su un set di validazione tenuto da parte. Se l'adattatore non migliora le prestazioni di base di una piccola tolleranza (predefinito 0.5%), il sistema bypassa completamente l'adattatore, ricadendo sul TFM non modificato. Ciò garantisce che l'adattamento sia strettamente opzionale per ogni dataset.

Contributi Chiave

1. Framework TFM-Retouche: Un adattatore nello spazio degli input innovativo e che preserva la dimensione, agnostico rispetto all'architettura del backbone TFM. Supporta sia classificazione che regressione e può essere istanziato con blocchi interni modulari (DCNv2 o MLP).
2. Strategia di Addestramento con Guardia Identità: Un metodo per addestrare adattatori end-to-end attraverso TFM congelati, accoppiato a un meccanismo di sicurezza che previene il degrado delle prestazioni revertendo alla baseline zero-shot quando l'adattamento non è utile.
3. Valutazione Completa: Il framework è stato istanziato su TabICLv2 (denominato TabICLv2-Retouche) e valutato su TabArena-Lite, un benchmark composto da 51 dataset che coprono classificazione binaria, classificazione multiclasse e regressione.
4. Rilascio Open-Source: Gli autori si impegnano a rilasciare il framework come libreria open-source.

Risultati Sperimentali

La valutazione è stata condotta sulla classifica di TabArena-Lite (51 dataset). Le scoperte chiave includono:

• Prestazioni: TabICLv2-Retouche (variante T+E, sintonizzata e in ensemble) ha raggiunto il primo posto (Elo 1651) nella classifica, superando la base TabICLv2 congelata (+56 Elo) e altri metodi all'avanguardia come TabPFN-2.6 e RealTabPFN-2.5.
• Efficienza: Il metodo ha raggiunto queste prestazioni con un budget di ottimizzazione degli iperparametri (HPO) significativamente più piccolo (10 configurazioni casuali contro le 200 standard utilizzate da altri pari sintonizzati).
• Compromessi Computazionali:
  • Tempo di Addestramento: TabICLv2-Retouche (T+E) si colloca sulla frontiera di Pareto per tempo di addestramento versus qualità, dominando altri metodi sintonizzati e in ensemble (ad es. RealMLP, RealTabPFN-2.5) che richiedono tempi di addestramento significativamente maggiori.
  • Tempo di Inferenza: Rimane sulla frontiera di Pareto del tempo di inferenza, offrendo previsioni di alta qualità con latenza di inferenza moderata rispetto ai modelli zero-shot più veloci.
• Studi di Ablazione:
  • La Guardia Identità è stata identificata come il componente più critico; la sua rimozione ha causato un'esecuzione dell'adattatore addestrato peggiore rispetto alla base non modificata in media.
  • L'adattamento nello spazio dei pesi (LoRA e SFT completo) applicato al backbone TabICLv2 congelato non ha migliorato le prestazioni rispetto alla baseline zero-shot in questo contesto, mentre la "spinta" residua nello spazio degli input ha avuto successo.
  • Gli encoder stile BETA (colli di bottiglia a larghezza fissa) hanno performato male su TabICLv2, confermando che il collo di bottiglia per i moderni TFM è l'allineamento, non la capacità.

Significato e Affermazioni

Il paper posiziona TFM-Retouche non come una sostituzione per i flussi di lavoro TFM zero-shot, ma come un meccanismo di raffinamento a basso rischio e in fase avanzata.

• Allineamento oltre la Capacità: Il lavoro sostiene che per i moderni TFM ad alta capacità, la sfida primaria è allineare il prior sintetico generico con strutture di compiti specifiche, piuttosto che comprimere la capacità di input.
• Sicurezza e Modularità: Mantenendo il backbone congelato e utilizzando una guardia identità, il framework permette ai praticanti di catturare guadagni predittivi marginali senza il rischio di destabilizzare il modello o impegnarsi in un'architettura di backbone specifica.
• Praticità: Il metodo richiede risorse computazionali minime (addestrando solo 102–105 parametri per dataset) ed è compatibile con pipeline zero-shot esistenti, rendendolo uno strumento pratico per migliorare le prestazioni una volta che le decisioni sui dati a monte si sono stabilizzate.

Gli autori concludono che l'adattamento nello spazio degli input può fornire qualità all'avanguardia senza sacrificare l'efficienza, a condizione che l'adattamento sia leggero, vicino all'identità e protetto contro il degrado delle prestazioni.