🤖 machine learning

The Importance of Encoder Choice:A Tabular-Image Study

Questo studio valuta per la prima volta modelli tabulari allo stato dell'arte come encoder nell'apprendimento multimodale immagine-tabella, affrontando la sfida di applicare metodi di in-context learning senza accesso alle etichette di test per dimostrare la critica importanza della selezione dell'encoder.

Autori originali: Ilia Koloiarov, Diego Coello de Portugal Mecke, Vijaya Krishna Yalavarthi, Tom Hanika, Lars Schmidt-Thieme

Pubblicato 2026-07-10

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Ilia Koloiarov, Diego Coello de Portugal Mecke, Vijaya Krishna Yalavarthi, Tom Hanika, Lars Schmidt-Thieme

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di voler costruire l'ultimo "bot detective" per risolvere misteri. Questo bot deve esaminare due tipi di indizi: una foto della scena e un foglio di calcolo di fatti (come temperatura, tempo o nomi). Per rendere questo bot intelligente, hai bisogno di un "traduttore" speciale per ogni tipo di indizio, che trasformi tutto nel linguaggio che il bot comprende.

Per le foto, abbiamo dei traduttori incredibili (come i famosi modelli ViT). Ma per i fogli di calcolo? Per anni, gli scienziati hanno utilizzato un traduttore molto semplice e basilare chiamato MLP (una rete neurale semplice e superficiale). È come usare una bicicletta per consegnare una pizza quando hai a disposizione una flotta di auto sportive. Il paper sostiene che questo sia un errore enorme perché la bicicletta potrebbe essere il motivo per cui la pizza arriva fredda, non il percorso di consegna stesso.

La Grande Scoperta: Il "Traduttore" Conta Più di Quanto Pensi

Gli autori di questo studio hanno deciso di testare questa teoria. Hanno sostituito la noiosa bicicletta (il semplice MLP) con alcuni dei più avanzati e all'avanguardia "auto sportive" disponibili per i fogli di calcolo. Questi nuovi traduttori sono chiamati In-Context Learning Tabular Foundation Models (un nome complicato, quindi chiamiamoli Super-Traduttori ICL).

Ecco il colpo di scena che hanno scoperto: la classifica di quale bot detective sia il "migliore" cambia completamente a seconda del traduttore che utilizzi.

Se testi il tuo bot con un traduttore debole, un metodo investigativo complesso e sofisticato potrebbe sembrare un genio. Ma se passi a un traduttore forte, quello stesso metodo sofisticato potrebbe sembrare mediocre, mentre un metodo semplice e noioso improvvisamente sembrerebbe un supereroe. Il paper suggerisce che per anni potremmo aver lodato i metodi sbagliati semplicemente perché stavamo usando cattivi traduttori.

Il Problema del "Fantasma nella Macchina"

C'era un ostacolo importante con questi nuovi Super-Traduttori ICL. Questi modelli funzionano guardando un "contesto" (una lista di esempi risolti con le risposte) per indovinare la risposta per una nuova "query" (un mistero senza risposta).

Gli autori hanno scoperto un glitch spettrale: il modello vede la stessa informazione in modo diverso a seconda che si trovi nel "contesto" o nella "query".

Immagina di descrivere il tuo film preferito a un amico.

Modalità Contesto: Stai descrivendo il film dopo aver già visto il finale. Conosci i colpi di scena.
Modalità Query: Stai descrivendo il film prima di aver visto il finale. Stai cercando di indovinare cosa succederà dopo.

Anche se si tratta dello stesso film, la tua descrizione (l'embedding) è totalmente diversa perché il tuo stato di conoscenza è diverso. Il paper ha scoperto che quando questi modelli inseriscono i dati di addestramento nel ruolo di "contesto" e i dati di test nel ruolo di "query", finiscono in due quartieri diversi nella memoria del computer. È come cercare di far corrispondere una mappa di New York con una mappa di Londra perché il modello si è confuso su quale città stesse guardando.

Cosa il paper esclude:
Gli autori hanno testato esplicitamente e scartato l'idea che questa differenza fosse dovuta semplicemente al fatto che i dati fossero diversi. Hanno dimostrato che anche quando veniva usato lo stesso identico punto dati in entrambi i ruoli, il modello li trattava comunque in modo differente. È un difetto strutturale nel modo in cui funzionano questi modelli, non un problema di dati.

La Trappola "Vanilla"

A causa di questo glitch, gli autori hanno testato tre modi per fornire i dati a questi modelli:

Vanilla (Il modo "Naif"): Alimentare semplicemente i dati di addestramento come contesto e i dati di test come query.
LOFO (Leave-One-Fold-Out): Un modo complesso di rimescolare i dati affinché tutto abbia un turno per essere una query.
NP (Non-Partitioned): Un trucco intelligente dove il modello vede i dati di addestramento sia come contesto che come query contemporaneamente.

Il Verdetto: Il metodo "Vanilla" è un disastro. Il paper mostra che l'uso del metodo ingenuo rende costantemente il bot meno performante. È come cercare di guidare un'auto sportiva con il freno a mano tirato. Gli autori suggeriscono fortemente di evitare questo metodo interamente. Inveve, il metodo NP (Non-partitioned) è il "chiave" raccomandata per sbloccare tutto il potere di questi modelli.

Abbiamo Bisogno di una Fusione Elaborata?

Per molto tempo, i ricercatori hanno pensato che avessero bisogno di sistemi incredibilmente complessi ed costosi per combinare foto e fogli di calcolo. Questi sistemi spesso hanno milioni di parametri e richiedono un pre-addestramento speciale.

Il paper ha scoperto qualcosa di sorprendente: su dataset in cui sia le foto che i fogli di calcolo sono utili, un semplice "bilinear fusion" (un trucco matematico di base) abbinato a un forte traduttore performa altrettanto bene dei sistemi super complessi.

In effetti, i sistemi complessi utilizzati hanno, in media, 13,2 volte più parametri del baseline semplice. Gli autori suggeriscono che, se si utilizza un traduttore abbastanza forte, non è necessario ricorrere ai metodi di fusione eccessivamente ingegnerizzati e costosi. L'approccio semplice è altrettanto efficace e molto più economico.

L'Avvertimento sulla "Singola Modalità"

Il paper mette anche in guardia riguardo ai dataset in cui un tipo di indizio è inutile.

Se hai un dataset in cui il foglio di calcolo è solo rumore (come il dataset CCD), aggiungere il foglio di calcolo alla foto in realtà danneggia le prestazioni del bot.
Se la foto è inutile (come in Petfinder, dove il foglio di calcolo è il re), aggiungere la foto danneggia le prestazioni.

Gli autori hanno scoperto che il modulo di fusione non impara magicamente a "ignorare" l'indizio inutile. Invece, si confonde e performa peggio rispetto a quando si usa solo l'indizio buono. Questo suggerisce che combinare i dati ciecamente non è sempre la soluzione; a volte, devi solo scegliere l'indizio giusto.

Di quanto siamo sicuri?

Gli autori non si sono limitati a indovinare; hanno eseguito esperimenti estesi su sette diversi dataset del mondo reale (che spaziano da immagini mediche della pelle ad aste d'arte e annunci di auto).

Hanno misurato le prestazioni utilizzando i punteggi F1 (uno standard per misurare l'accuratezza).
Hanno utilizzato strumenti statistici (come la regressione OLS e la correlazione di Spearman) per dimostrare che il "guadagno" (lift) dalla combinazione diminuisce man mano che il traduttore diventa migliore.
Hanno confermato lo "spostamento contesto-query" utilizzando la MMD (Maximum Mean Discrepancy), un modo matematico per misurare quanto siano distanti due gruppi di dati.

Il paper conclude che la scelta del traduttore è un "confound critico". Ciò significa che se non scegli il traduttore giusto, l'intero esperimento potrebbe essere fuorviante. Le scoperte si basano su dati misurati, non solo su simulazioni, e gli autori sono fiduciosi che il metodo di estrazione "Vanilla" debba essere evitato e che il metodo "NP" sia la via da seguire nella maggior parte dei casi.

Quindi, la prossima volta che costruisci un bot detective, ricorda: non concentrarti solo sul detective; assicurati che il tuo traduttore non stia indossando una benda sugli occhi.

Sintesi Tecnica: L'Importanza della Scelta dell'Encoder: Uno Studio su Immagini Tabulari

Definizione del Problema

L'apprendimento multimodale richiede tipicamente un encoder dedicato per ogni modalità. Sebbene gli encoder per immagini e testo si siano evoluti significativamente, la modalità tabulare nei contesti multimodali si è ampiamente affidata a semplici Percetti Multistrato (MLP) superficiali. Gli autori sostengono che tale dipendenza persiste perché il dominio tabulare ha storicamente carellato di candidati forti nel deep learning; i Gradient-Boosted Decision Trees (GBDT) hanno dominato i benchmark tabulari, ma non producono rappresentazioni continue compatibili con le pipeline multimodali.

Recenti progressi nei Modelli Fondazionali Tabulari per l'In-Context Learning (ICL TFMs) offrono encoder tabulari plug-in robusti senza necessità di riaddestramento specifico per il compito. Tuttavia, un ostacolo critico sorge quando si utilizzano questi modelli: lo shift di rappresentazione contesto-query. Negli ICL TFMs, le istanze di addestramento vengono elaborate come "contesto" (con etichette visibili), mentre le istanze di test vengono elaborate come "query" (senza etichette). Il lavoro precedente (Ye et al., 2025) ha osservato che questo causa l'occorrenza di embedding delle stesse istanze in regioni diverse dello spazio latente a seconda del loro ruolo, violando l'assunzione di indipendenza e identica distribuzione (i.i.d.) richiesta dai modelli a valle. Era precedentemente sconosciuto se questo shift influenzasse altri modelli ICL e come impatti le prestazioni di fusione multimodale.

Metodologia

Lo studio conduce una valutazione sistematica degli encoder tabulari in un contesto di classificazione tabella-immagine.

Configurazione Sperimentale:

Encoder: Gli autori valutano tre classi di encoder tabulari:
- ICL TFMs: TabPFNv2, TabDPT e TabICLv2.
- Modelli Fondazionali Non-ICL: TARTE.
- Baseline: TabM (pre-addestrato da zero), TabM-SSL (auto-supervisionato) e TabVec (pre-elaborazione non appresa).
Schemi di Estrazione delle Caratteristiche: Per i modelli ICL, vengono testati tre metodi di estrazione per affrontare lo shift contesto-query:
1. Vanilla ( $\star$ ): Istanze di addestramento codificate come contesto.
2. Leave-one-fold-out ( $\dagger$ ): Istanze di addestramento codificate come query rispetto al fold complementare.
3. Non-partizionata ( $\wr$ ): Tutte le istanze di addestramento passate simultaneamente sia come contesto che come query, con estrazione delle rappresentazioni nel ruolo di query.
Fusione Multimodale: Viene utilizzato un semplice modulo di fusione bilineare come principale metodo multimodale, confrontato con un metodo allo stato dell'arte accuratamente ingegnerizzato (TIP) e con baseline unimodali.
Dataset: Sette dataset tabella-immagine del mondo reale che spaziano tra imaging medico, arte, veicoli e animali domestici (es. DVM, HAM10000, WikiArt, Petfinder).
Metriche:
- Relative Percentile Rank (RPR): Misura le prestazioni rispetto a una baseline di sola immagine.
- Excess Distribution Shift (EDS): Quantifica il divario distributivo tra gli embedding di addestramento e di test utilizzando la Maximum Mean Discrepancy (MMD), sottraendo la variazione intrinseca dei dati.

Contributi Chiave e Risultati

1. La Scelta dell'Encoder Determina i Ranking Multimodali

Le classifiche delle prestazioni multimodali non sono stabili tra diversi encoder tabulari. Un metodo multimodale accuratamente ingegnerizzato (TIP) può superare una semplice baseline con un encoder debole, ma può essere eguagliato o superato dalla stessa semplice baseline quando accoppiata con un encoder forte. Le conclusioni tratte da un singolo encoder non sono generalizzabili.

2. La Fusione Può Degradare le Prestazioni in Dataset Dominati da una Modalità

Nei dataset in cui una modalità trasporta la maggior parte del segnale predittivo (ad es. dominati dall'immagine o dominati dalla tabella), combinare le modalità può degradare le prestazioni al di sotto della baseline unimodale. Ciò suggerisce che i moduli di fusione non imparano automaticamente a sopprimere le modalità non informative.

3. La Qualità dell'Encoder Inflaziona i Vantaggi Osservati dalla Fusione

In dataset probabilmente multimodali, il miglioramento delle prestazioni osservato dalla fusione è inversamente correlato alla qualità dell'encoder. Man mano che l'encoder tabulare migliora, il guadagno marginale dalla fusione diminuisce. Ciò implica che gli encoder deboli possono gonfiare artificialmente il beneficio percepito della fusione multimodale compensando le scarse rappresentazioni unimodali.

4. Baseline Semplici Pareggiano Metodi Complessi con Encoder Forti

Nei dataset probabilmente multimodali, una semplice baseline di fusione bilineare accoppiata con un encoder forte (ad es. TabPFN con estrazione Non-partizionata) ottiene prestazioni paragonabili a TIP, un metodo complesso che richiede 13,2 volte più parametri e una fase di pre-addestramento dedicata.

5. Lo Shift Contesto-Query è Universale agli ICL TFMs

Lo shift di rappresentazione non è esclusivo di TabPFNv2; è osservato anche in TabDPT e TabICLv2.

L'estrazione Vanilla ( $\star$ ) degrada costantemente le prestazioni in tutti e tre i modelli ICL e dovrebbe essere evitata.
L'estrazione Non-partizionata ( $\wr$ ) è lo schema raccomandato per la maggior parte dei casi, mitigando efficacementamente lo shift e superando il metodo Leave-one-fold-out ( $\dagger$ ).

Significato

Il documento sostiene che la scelta dell'encoder tabulare è un fattore confondente critico e spesso trascurato nell'apprendimento multimodale. Lo studio evidenzia che:

Stabilità del Benchmarking: Le conclusioni sull'efficacia della fusione multimodale sono instabili se l'encoder tabulare non è selezionato con cura o se lo shift di rappresentazione dell'encoder viene ignorato.
Efficienza Pratica: Encoder tabulari forti e pre-addestrati possono consentire ad architetture di fusione semplici di eguagliare le prestazioni di pipeline complesse e ingegnerizzate, riducendo la necessità di enormi conteggi di parametri e fasi di pre-addestramento.
Correzione Metodologica: Lo studio fornisce prove empiriche che il metodo di estrazione "Vanilla" per i modelli ICL è deleterio e stabilisce l'estrazione Non-partizionata come un'alternativa robusta per l'integrazione multimodale.

Gli autori concludono che la futura ricerca multimodale deve tenere conto della qualità dell'encoder e degli shift di rappresentazione per valutare accuratamente il vero valore della combinazione delle modalità.