Sintesi Tecnica: Quando i Modelli Fondazionali Tabulari si Trasferiscono tra le Modalità

Definizione del Problema

Le pipeline di classificazione sono attualmente frammentate per modalità, con strumenti e ricette di tuning distinti per dati tabulari (gradient-boosted trees), visione/testo (linear probe calibrati), molecole (ChemBERTa), audio (AST) e grafi (GIN). Questa frammentazione rende difficile valutare le affermazioni di "trasferimento cross-modalità", poiché spesso si basano su baseline di confronto inconsistenti (ad esempio, confrontare contro probe non calibrati o selezioni oracle). Il paper postula che una volta che i dati vengono mappati in una rappresentazione vettoriale fissa, il passaggio di classificazione a valle non debba essere specifico per la modalità. La sfida centrale è determinare se una singola pipeline uniforme possa competere con le più forti baseline lightweight calibrate attraverso diverse modalità senza il tuning degli iperparametri per ogni dataset.

Metodologia

Gli autori propongono una pipeline di classificazione unificata a tre stadi, applicata in modo identico su 95 dataset appartenenti a sette modalità (visione, audio, parlato, testo, molecolare, serie temporali e tabulare). La pipeline opera su rappresentazioni di feature congelate e consiste in:

1. Preprocessing ETF Adattivo:

   • Uno stadio di preprocessing tramite Equiangular Tight Frame (ETF) rimodella la geometria delle feature per incoraggiare le medie delle classi ad avvicinarsi alla geometria dell'equiangular tight frame associata al neural collapse.
   • Un MLP a profondità 4 mappa le feature di input in una sfera unitaria a 256 dimensioni, ottimizzando rispetto a un target simplex ETF fisso.
   • Skip Adattivo: Questo stadio viene saltato se la dimensione dell'input $d \le 30$, poiché l'overhead supera i guadagni geometrici su feature ingegnerizzate a bassa dimensionalità.
   • Stop di Training: Il training si interrompe in base a un criterio geometrico (rapporto tra scatter intra-classe e inter-classe $R$) o un limite massimo (200 epoche), evitando l'uso di un set di validazione per prevenire bias di confronto.

2. Inferenza TabICL:

   • La pipeline utilizza TabICL, un modello fondazionale tabulare, per l'inferenza in-context.
   • Strategia di Ensemble: Per le feature grezze, il modello utilizza un ensemble di 8 permutazioni di contesto. Per le feature pre-elaborate con ETF, l'ensemble viene eliminato a favore di una singola permutazione, poiché la trasformazione geometrica riduce la varianza che l'ensemble solitamente cattura.

3. Temperature Scaling Post-hoc:

   • Il preprocessing ETF induce eccessiva confidenza (overconfidence). Viene applicato uno stadio di temperature scaling su un 20% di holdout del set di training per ripristinare la calibrazione della probabilità, consentendo il deployment con soglie di confidenza (confidence-gated).

Protocollo di Valutazione:
Il paper adotta un rigoroso protocollo di confronto "same-features". Le prestazioni sono giudicate contro la più forte baseline lightweight calibrata sugli stessi frozen features (ad esempio, un linear probe calibrato o XGBoost con ricerca Optuna). Il fine-tuning completo del backbone e le selezioni di celle oracle sono riportati separatamente per fornire contesto, ma non sono il confronto primario.

Contributi Chiave

1. Valutazione Sistematica Cross-Modalità: La prima valutazione di un modello fondazionale tabulare attraverso una vasta diversità di embedding di encoder congelati (oltre 10 famiglie di encoder) e sette modalità sotto un protocollo unificato a zero-tuning.
2. Preprocessing ETF Modulare: Introduce il preprocessing ETF come uno stadio modulare e agnostico rispetto all'encoder, distinto dal pre-training dell'encoder, utilizzando un criterio di early-stopping geometrico ($R < 0.05$) che opera senza dati di validazione.
3. Calibrazione e Segnali di Fiducia: Dimostra che, sebbene TabICL sia ben calibrato per costruzione, il preprocessing ETF ne interrompe la calibrazione. Il proposto rescaling post-hoc ripristina la calibrazione, fornendo un segnale di confidenza affidabile per il deployment a soglia di confidenza (auto-accettazione di predizioni ad alta confidenza).
4. Caratterizzazione dei Regimi: Identifica due regimi operativi distinti:
   • Regime di Equivalenza: La pipeline eguaglia la baseline più forte (statisticamente indistinguibile), ma offre significativi vantaggi di velocità.
   • Regime di Miglioramento: La pipeline eleva significativamente l'usabilità delle rappresentazioni (guadagno medio +12.6pp), osservato principalmente in feature audio ingegnerizzate a bassa dimensionalità e in casi di disallineamento tra feature e task.
5. Linee Guida per il Deployment: Fornisce un framework pratico per il deployment, includendo un predittore di regime pre-deployment (accuratezza LOO del 91.4% sul Pannello A) per distinguere tra casi di equivalenza e di miglioramento, e regole specifiche per quando saltare il preprocessing ETF.

Risultati

• Prestazioni: Su 95 dataset, la pipeline ottiene un tasso di vittoria o pareggio del 77,1% contro le più forti baseline lightweight calibrate nel protocollo di deployment (Pannello A, cross-modality) e del 91,5% sui dati tabulari tenuti fuori (Pannello B).
• Suddivisione dei Regimi:
  • Equivalenza (30/35 dataset): La pipeline eguaglia la baseline. Il valore qui è operativo: un singolo stack gestisce tutte le modalità senza tuning per task.
  • Miglioramento (5/35 dataset): La pipeline supera significativamente la baseline, specialmente su feature audio a bassa dimensionalità (MFCC, statistiche mel) ed embedding disallineati (es. Wav2Vec2 su UrbanSound8K).
• Velocità: La pipeline è da 4 a 200 volte più veloce del fine-tuning completo del backbone (AST, ChemBERTa, GIN) ed è paragonabile in velocità ai linear probe calibrati, pur evitando l'overhead di tuning per dataset tipico di questi ultimi.
• Calibrazione: Dopo il temperature scaling, la pipeline produce probabilità ben calibrate. Con una soglia $\tau=0.9$, conferma automaticamente il 79,5% delle predizioni con un'accuratezza condizionale del 93,6%, riducendo il carico di revisione umana di 4,9 volte.
• Limitazioni: La pipeline non aiuta nei casi di moderni embedding fondazionali dove un linear probe calibrato è già vicino al ceiling (es. foundation di testo, foundation di audio) e non riesce a salvare i task di parlato nel benchmark attuale.

Significato e Affermazioni

Il paper sostiene che il trasferimento cross-modalità non è un successo o un fallimento binario, ma si divide in due regimi strutturalmente diversi. Il contributo primario è un confronto onesto su feature fisse che rivela:

1. La parità è comune: Per la maggior parte dei dataset, una singola pipeline uniforme eguaglia le prestazioni delle baseline specializzate e calibrate.
2. La velocità è il differenziatore: La pipeline offre una riduzione massiccia del tempo di adattamento e dei costi computazionali rispetto al fine-tuning specializzato, senza perdita di qualità nella maggior parte dei casi.
3. Il miglioramento esiste ma è raro: Esistono casi specifici (feature a bassa dimensionalità, disallineamento) in cui la pipeline fornisce un reale incremento di qualità, sebbene siano difficili da prevedere in anticipo.

Gli autori posizionano questo lavoro come un passo verso la semplificazione del panorama frammentato della classificazione, offrendo una ricetta "zero-touch" che è ampiamente competitiva, significativamente più veloce del fine-tuning specializzato e capace di produrre segnali di confidenza affidabili per il deployment. Dichiarano esplicitamente che la pipeline non sempre batte i migliori modelli specializzati o le pipeline pesantemente calibrate, ma rimane abbastanza vicina da essere un default valido, specialmente quando la velocità e la semplicità operativa sono prioritarie.