Sintesi Tecnica: Verso il Pretraining di Encoder di Testo per TabPFN

Problematica

I modelli fondazionali per dati tabulari, esemplificati da TabPFN, hanno dimostrato forti capacità predittive su dataset contenenti dati numerici e categorici. Tuttavia, mancano di un supporto nativo per feature testuali ad alta cardinalità. Le attuali pipeline standard affrontano questo problema tramite l'embedding del testo mediante un modello linguistico (LM) e la successiva compressione dei vettori ad alta dimensionalità risultanti in un numero limitato di feature scalari tramite Analisi delle Componenti Principali (PCA) prima dell'immissione in TabPFN.

Questo approccio introduce due criticità fondamentali:

1. Collo di bottiglia informativo (Information Bottleneck): Il passaggio della PCA scarta la maggior parte delle dimensioni dell'embedding, privando i dati della loro ricchezza semantica prima che raggiungano il modello tabulare.
2. Non differenziabilità: La compressione impedisce alla pipeline di essere completamente differenziabile, eliminando la possibilità di effettuare il fine-tuning del modello linguistico basandosi sui segnali predittivi di TabPFN.

Approcci end-to-end alternativi (es. ConTextTab, TabSTAR) che evitano la PCA richiedono spesso un esteso pretraining su collezioni di dati reali (come T4), che sono frequentemente di bassa qualità poiché derivate da scraping del web. Questi metodi possono degradare le prestazioni su compiti puramente numerici e categorici rispetto a modelli pretrainati su grandi quantità di dati sintetici, e possono vincolare il modello a specifici LM o strategie di verbalizzazione.

Metodologia

Gli autori propongono il TabPFN Text Adapter, una strategia di allineamento post-training leggera, ispirata alle tecniche di allineamento multimodale nei Large Language Models (es. LLaVA, TableGPT). L'obiettivo principale è proiettare direttamente gli embedding testuali del LM nello spazio di embedding interno di TabPFN senza aggiornare i pesi del modello fondazionale o dell'encoder di frase.

Architettura e Pipeline

1. Separazione delle Feature: Le colonne di testo vengono separate dalle colonne numeriche e categoriche. TabPFN elabora queste ultime utilizzando il proprio encoder standard per preservare le sue robuste prestazioni.
2. Verbalizzazione del Testo: Per le colonne di testo libero, ogni cella viene verbalizzata prependendo il nome della colonna (es. nome_colonna: testo). Questa contestualizzazione aiuta il modello linguistico a disambiguare valori testuali identici con significati diversi.
3. Generazione degli Embedding: Il testo verbalizzato viene codificato utilizzando un sentence transformer (specificamente all-MiniLM-L6-v2), producendo embedding ad alta dimensionalità.
4. Proiezione dell'Adapter: Un adapter leggero mappa questi embedding in una breve sequenza di token (da 1 a 10) all'interno dello spazio di embedding a 192 dimensioni di TabPFN.
   • Struttura: L'adapter rispecchia l'encoder di feature di TabPFN: uno strato lineare per i compiti di classificazione e un MLP a 2 strati per i compiti di regressione.
   • Conteggio dei Token: Gli studi di ablazione suggeriscono l'uso di 5 token per cella di testo per la classificazione (bilanciando prestazioni e computazione) e 1 token per la regressione (ottenendo risultati ottimali).
5. Fusione: I token di testo adattati vengono concatenati con gli embedding tabulari standard e inviati ai blocchi transformer di TabPFN.

Procedura di Training

• Congelamento (Freezing): Sia il sentence transformer che l'architettura di TabPFN sono congelati. Solo i pesi dell'adapter vengono aggiornati.
• Inizializzazione: L'adapter viene inizializzato dai pesi dell'originale encoder di TabPFN per fornire un punto di partenza forte, allineato con la distribuzione di embedding attesa da TabPF parte.
• Dati: Il pretraining utilizza un sottoinsieme del benchmark STRABLE, selezionando specificamente dataset con colonne di testo libero significative (distinte dal testo categorico per avere >20 valori unici).
• Invarianza alla Permutazione: Per incoraggiare l'adapter a apprendere mappature invarianti all'ordine delle dimensioni dell'embedding, viene applicata una permutazione casuale alle dimensioni dell'embedding del LM prima dell'adapter durante il training. Durante l'ensemble di inferenza, vengono utilizzate diverse permutazioni per ogni membro dell'ensemble e le predizioni vengono mediate.

Contributi Chiave

1. Rimozione del Collo di Bottiglia della PCA: L'adapter elimina la perdita di informazioni associata alla compressione PCA proiettando il testo direttamente nello spazio dei token del modello.
2. Preservazione dei Punti di Forza Numerici: Mantenendo i pesi core di TabPFN congelati e addestrando solo un lightweight adapter, il metodo conserva le superiori prestazioni di TabPFN sui segnali numerici e categorici, che vengono spesso compromesse nelle pipeline end-to-end testo-tabulare.
3. Efficienza: L'approccio è computazionalmente più efficiente da addestrare rispetto al pretraining end-to-end e evita le penalità di complessità quadratica di un eccessivo numero di token ottimizzando il numero di token proiettati per tipo di task.
4. Allineamento di Modalità: Il metodo trasferisce con successo il principio di allineamento dal fine-tuning delle istruzioni visive (LLaVA) e dai sistemi table-to-LLM (TableGPT) al dominio della predizione tabulare.

Risultati

Il metodo è stato valutato su TextTabBench, un benchmark composto da 13 dataset (6 classificazione, 7 regressione) con colonne di testo lungo e libero.

• Regressione: Il TabPFN Text Adapter ha superato tutti i baseline, inclusi ConTextTab e il baseline PCA-30. Ha ottenuto questo risultato utilizzando significativamente meno token rispetto all'approccio PCA-30, offrendo un vantaggio computazionale dovuto alla complessità quadratica dei meccanismi di attenzione.
• Classificazione: L'adapter ha ottenuto prestazioni molto vicine al baseline PCA-30 (84,5% vs 86,4% di ROC-AUC normalizzato) ma non lo ha superato. È rimasto sensibilmente al di sotto di ConTextTab (97,65%), suggerendo che per la classificazione, il pretraining specifico di ConTextTab su dati reali ricchi di testo mantiene ancora un vantaggio, o che la strategia di compressione dei token richieda un ulteriore affinamento per questo tipo di task.

Approfondimenti dall'Ablazione:

• Conteggio dei Token: Il numero ottimale di token differisce per task (10 token per la classificazione, 1 per la regressione), probabilmente a causa delle differenze architettoniche negli encoder di feature di TabPFN (lineare vs MLP) e nei priori di pretraining.
• Profondità di Fusione: La fusione precoce (early fusion, prima del primo strato transformer) ha costantemente superato la fusione tardiva (late fusion), indicando che TabPFN beneficia dell'elaborazione dei token di testo insieme alle feature numeriche sin dall'inizio.
• Inizializzazione: L'inizializzazione dell'adapter dai pesi di TabPFN ha fornito chiari benefici per la regressione, sebbene l'effetto sia stato modesto per la classificazione.

Significato e Limitazioni

Il paper posiziona il TabPFN Text Adapter come un primo passo vitale verso l'ottimizzazione della pipeline completa text-encoder per TabPFN. Offre un'alternativa più semplice, economica e flessibile al pretraining end-to-end, consentendo con successo al modello fondazionale tabulare di stato dell'arte di sfruttare le feature testuali senza sacrificare la sua abilità numerica.

Limitazioni:
Gli autori riconoscono che l'attuale adapter applica lo stesso strato lineare o MLP pretrainato a tutti i task, mentre l'importanza di specifiche dimensioni dell'embedding può variare in base al compito. Ipotizzano che mappare gli embedding del LM ad alta dimensionalità in un singolo token di TabPFN introduca una significativa perdita di informazioni. Il lavoro futuro proposto mira a sviluppare un adapter che possa condizionarsi sull'intera colonna di testo o anche su altre colonne della tabella (inclusi i target) per determinare dinamicamente come ridurre le dimensioni, sfruttando così più efficacemente le capacità di ragionamento statistico di TabPFN.