MultiModalPFN: Extending Prior-Data Fitted Networks for Multimodal Tabular Learning

Il paper presenta MultiModalPFN (MMPFN), un'estensione di TabPFN che integra dati tabellari e multimodali (come immagini e testo) tramite encoder specifici e proiettori basati su meccanismi di attenzione, dimostrando prestazioni superiori rispetto agli stati dell'arte su dataset medici e generali.

L'essenziale

Immagina di avere un super-intelligente detective (chiamiamolo "TabPFN") che è diventato un maestro nel risolvere casi basandosi solo su fogli di calcolo (dati tabellari: numeri, categorie, elenchi). Questo detective è stato addestrato su milioni di fogli di calcolo finti e sa trovare schemi incredibili anche con pochissimi dati reali. È veloce, preciso e non ha bisogno di studiare ogni volta da zero.

Tuttavia, c'è un problema: nella vita reale, i casi non sono solo numeri.

• Un medico ha bisogno di guardare una radiografia (immagine) insieme ai dati del paziente.
• Un agente immobiliare deve leggere le recensioni dei clienti (testo) insieme alle statistiche della casa.

Il nostro detective TabPFN, per quanto bravo, non capisce le immagini o le parole. Se gli mostri una foto, si blocca. Se gli dai un testo, non sa cosa farne.

La soluzione: MMPFN (Il Detective Multimodale)

Gli autori di questo paper hanno creato una versione potenziata chiamata MMPFN. Immaginalo come se avessero assunto due assistenti specializzati per il nostro detective: uno per le immagini e uno per il testo.

Ecco come funziona, passo dopo passo, con delle analogie semplici:

1. Gli Assistenti Specializzati (Encoder)

Prima che il detective guardi il caso, gli assistenti esaminano le prove:

• L'assistente Immagini guarda la radiografia e ne ricava un riassunto intelligente.
• L'assistente Testo legge le recensioni e ne estrae i punti chiave.

2. Il Traduttore Magico (Il Proiettore di Modalità)

Qui sta la vera magia. Il detective TabPFN parla solo la lingua dei "fogli di calcolo". Se gli assistenti gli passano un riassunto troppo lungo o confuso, lui si perde.
Per questo, MMPFN usa un traduttore speciale composto da due parti:

• Il Moltiplicatore (MGM - Multi-head Gated MLP):
  Immagina che l'assistente immagini ti dia un solo foglio di appunti molto denso e difficile da leggere. Il traduttore dice: "Aspetta, questo foglio è troppo compatto!". Quindi, lo scompone in molti piccoli foglietti (token) diversi, ognuno che cattura un aspetto diverso dell'immagine (colore, forma, texture). È come se trasformassi un libro intero in una serie di post-it colorati, ognuno con un'idea specifica.

• Il Filtratore Intelligente (CAP - Cross-Attention Pooler):
  Ora hai 100 post-it dall'assistente immagini e solo 5 fogli dal detective (i dati tabellari). Se li metti tutti insieme, il detective si concentrerà solo sui 100 post-it colorati e ignorerà i suoi 5 fogli importanti! È come se in una riunione avessi 100 persone che urlano e 5 che sussurrano: nessuno ascolta i 5.
  Il Filtratore (CAP) interviene: prende tutti quei 100 post-it e li riassume in un piccolo gruppo di 5-6 post-it perfetti e bilanciati. Ora il detective può ascoltare sia i suoi fogli che i riassunti delle immagini in modo equo.

3. La Risoluzione del Caso

Ora il detective TabPFN riceve tutto il materiale: i suoi dati originali + i riassunti bilanciati delle immagini e dei testi. Poiché il materiale è stato "tradotto" nella sua lingua, lui può applicare la sua intelligenza superiore per dare la risposta finale (la diagnosi, la previsione di vendita, ecc.).

Perché è così importante?

• Funziona anche con pochi dati: A differenza di altri sistemi che hanno bisogno di milioni di esempi per imparare, questo sistema usa la "saggezza pre-acquisita" del detective TabPFN. Funziona bene anche se hai solo poche centinaia di casi (come in medicina).
• Equilibrio: Risolve il problema del "disordine" quando si mescolano dati diversi. Non lascia che le immagini "urlino" più forte dei numeri.
• Versatilità: Funziona sia per la salute (radiografie + dati paziente), sia per il marketing (recensioni + dati di vendita).

In sintesi:
MMPFN è come dare al nostro super-detective degli occhiali speciali e un assistente traduttore. Non deve imparare da zero a vedere o a leggere; invece, gli viene fornito un riassunto perfetto di quelle informazioni, pronto per essere analizzato con la sua potenza di calcolo sui numeri. Il risultato è un sistema che è più intelligente, più veloce e più equilibrato di chiunque altro nel mondo dei dati misti.

Sommario tecnico

1. Il Problema

I dati tabellari sono onnipresenti in settori come sanità, finanza e marketing. Tradizionalmente, gli alberi di decisione potenziati (Gradient Boosted Decision Trees) dominano questo campo, ma i recenti modelli di deep learning hanno mostrato capacità superiori nell'apprendimento di rappresentazioni espressive. In particolare, TabPFN (Prior-Data Fitted Network) si è affermato come un modello fondazionale per i dati tabellari, trattando l'apprendimento supervisionato come inferenza bayesiana ammortizzata e ottenendo prestazioni eccellenti su dataset di piccole e medie dimensioni in un singolo passaggio in avanti (single forward pass).

Tuttavia, TabPFN presenta due limitazioni critiche:

1. Incapacità di gestire modalità eterogenee: È stato pre-addestrato esclusivamente su dati tabellari sintetici e non può integrare nativamente modalità non tabellari come immagini e testo, comuni in applicazioni reali (es. diagnosi medica con immagini e referti, marketing con recensioni e dati di vendita).
2. Sfide nell'integrazione multimodale: I tentativi precedenti di fondere dati tabellari con immagini o testo hanno spesso fallito a causa di:
   • Embedding non tabellari eccessivamente compressi: L'uso di un singolo token (es. [CLS]) per rappresentare un'immagine o un testo perde informazioni dettagliate.
   • Squilibrio nell'attenzione (Attention Imbalance): Quando il numero di token non tabellari è molto superiore a quello dei token tabellari, il meccanismo di attenzione del modello tende a dominare la modalità con più token, sopprimendo il segnale dei dati tabellari strutturati.

2. Metodologia: MultiModalPFN (MMPFN)

Gli autori propongono MMPFN, un'estensione di TabPFN che unifica l'elaborazione di dati tabellari, immagini e testo attraverso un'architettura modulare.

Architettura Generale

Il modello è composto da tre componenti principali:

1. Encoder per modalità (Per-Modality Encoders):
   • Tabellare: Utilizza l'encoder di TabPFN v2 (congelato durante il fine-tuning).
   • Immagini: Utilizza DINOv2 (ViT-B/14), estraendo il token [CLS] come rappresentazione globale.
   • Testo: Utilizza un encoder basato su ELECTRA, con tokenizzazione e truncation a 512 token, utilizzando anch'esso il token [CLS].
2. Proiettore di Modalità (Modality Projector): È il cuore dell'innovazione, progettato per allineare gli embedding non tabellari allo spazio vettoriale dei dati tabellari. È composto da due sottolivelli:
   • MGM (Multi-head Gated MLP): Risolve il problema della compressione eccessiva. Invece di usare un singolo token [CLS], MGM espande l'embedding in $N$ proiezioni parallele (token multipli). Utilizza unità GLU (Gated Linear Units) per modulare il contributo di ogni testa, preservando aspetti diversi della rappresentazione originale.
   • CAP (Cross-Attention Pooler): Risolve il problema dello squilibrio nell'attenzione. CAP prende i $N$ token generati da MGM e li comprime in un insieme compatto e bilanciato di $K$ token rappresentativi (usando $K$ vettori di query apprendibili). Questo impedisce che la modalità non tabellare (con molti token) sovrasti quella tabellare nel meccanismo di attenzione di TabPFN.
3. Backbone TabPFN: I token multimodali (tabellari + proiettati) vengono concatenati e alimentati al backbone di TabPFN pre-addestrato, che esegue l'inferenza contestuale.

Protocollo di Addestramento

• Fine-tuning leggero: Gli encoder delle modalità (TabPFN, DINOv2, ELECTRA) rimangono congelati. Vengono addestrati solo il proiettore di modalità (MGM + CAP), il backbone TabPFN e il decoder.
• In-context inference: Il modello riceve in input una concatenazione di righe di training e test, permettendo a TabPFN di fare inferenza bayesiana senza ottimizzazione specifica per il task.

3. Contributi Chiave

1. Primo Framework Unificato: MMPFN è il primo approccio che estende TabPFN (pre-addestrato su distribuzioni tabellari sintetiche) per gestire input eterogenei (tabellari + immagini/testo) in un'unica pipeline.
2. Identificazione e Risoluzione di Fallimenti: Gli autori identificano due modalità di fallimento specifiche nell'apprendimento multimodale (compressione eccessiva e squilibrio di attenzione) e introducono MGM e CAP come soluzioni architetturali specifiche.
3. Scalabilità e Robustezza: Il modello dimostra di scalare positivamente all'aggiunta di modalità e mantiene prestazioni robuste anche in scenari con pochi dati (low-data regimes), sfruttando i prior appresi durante il pre-addestramento su larga scala.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su dataset medici (PAD-UFES-20, CBIS-DDSM) e generali (Airbnb, Salary, Cloth, PetFinder).

• Prestazioni Superiori: MMPFN supera costantemente gli stati dell'arte (SOTA) come CatBoost, AutoGluon, MMCL, TIP, TIME e modelli basati su LLM (es. AllTextBERT, MulT) su quasi tutti i dataset.
  • Su PAD-UFES-20 (lesioni cutanee), raggiunge il 85.22% di accuratezza, superando TabPFN puro (82.17%) e altri modelli multimodali.
  • Su PetFinder (adozione animali), ottiene il miglior punteggio medio tra tutti i metodi testati.
• Analisi dell'Attenzione: Gli esperimenti confermano che senza CAP, un aumento dei token non tabellari porta a un calo delle prestazioni a causa dello squilibrio di attenzione. L'uso di MGM+CAP bilancia efficacemente i token, migliorando le prestazioni.
• Robustezza ai Dati Scarsi: Anche quando addestrato solo sul 10% dei dati etichettati, MMPFN mantiene prestazioni superiori rispetto a metodi concorrenti come TIP, dimostrando la forza dei prior sintetici di TabPFN.
• Efficienza: A differenza di ensemble pesanti come AutoGluon, MMPFN raggiunge risultati superiori con un'architettura leggera e specializzata.

5. Significato e Impatto

Questo lavoro è significativo perché:

• Colma un divario fondamentale: Estende il successo dei modelli fondazionali tabellari (TabPFN) al dominio multimodale, un'area finora dominata da approcci euristici o modelli pesanti.
• Efficienza Computazionale: Dimostra che è possibile integrare dati complessi (immagini, testo) senza dover ri-addestrare modelli massicci da zero, sfruttando il pre-addestramento su larga scala e un fine-tuning minimo.
• Applicabilità Pratica: Offre un framework scalabile per settori critici come la sanità e il marketing, dove la fusione di dati strutturati e non strutturati è essenziale per decisioni accurate, specialmente quando i dati etichettati sono scarsi.

In sintesi, MMPFN rappresenta un passo avanti verso modelli fondazionali veramente multimodali per dati strutturati, risolvendo problemi tecnici specifici di integrazione e mantenendo l'efficienza e la potenza predittiva di TabPFN.