Riepilogo Tecnico: CoMET - Classificazione Multimodale Modulare Senza Fine-Tuning

Enunciato del Problema

Le attività di classificazione multimodale richiedono tipicamente pipeline di addestramento complesse, end-to-end, che comportano il fine-tuning di grandi modelli fondazione su dataset specifici. Questo approccio è computazionalmente costoso, richiede molto tempo e spesso necessita di un'ottimizzazione degli iperparametri specifica per il dataset. Sebbene i Modelli Fondazione Tabulari (TFM) abbiano recentemente dimostrato la capacità di eseguire compiti predittivi di alto livello tramite apprendimento in contesto (in-context learning) senza fine-tuning, la loro applicazione è stata largamente limitata ai dati tabulari o ha richiesto fine-tuning quando applicata a contesti multimodali. La sfida principale affrontata da questo articolo è come sfruttare la natura "pronta all'uso" dei TFM per la classificazione multimodale (combinando testo, immagini e dati tabulari) senza alcun addestramento specifico per il compito o retropropagazione, superando al contempo la discrepanza tra gli encoder di modalità standard (che spesso producono token a dimensione fissa come CLS) e i requisiti di input del TFM.

Metodologia: CoMET

Gli autori propongono CoMET (Composing Modality Encoders with Tabular foundation models), una pipeline modulare che combina backbones pre-addestrati congelati con un TFM. Il metodo opera in quattro fasi distinte:

1. Estrazione delle Caratteristiche: Ogni modalità non tabulare (ad es. immagine, testo) viene passata attraverso un backbone pre-addestrato e congelato (ad es. DINOv3 per le immagini, ELECTRA per il testo) per estrarre embedding a livello di token specifici per il campione.
2. Pooling: Gli embedding dei token vengono aggregati in rappresentazioni vettoriali a dimensione fissa. L'articolo introduce PALPooling (Pseudo Attention Label Pooling) come alternativa leggera e adattiva ai token CLS standard o al pooling medio.
   • Meccanismo PALPooling: Invece della retropropagazione, PALPooling adatta un vettore di punteggio lineare tramite regressione ridge. Utilizza "Pseudo Attention Labels" (PAL) derivate dalle distribuzioni di label predette dal TFM stesso. Nello specifico, divide i dati di addestramento in un set di supporto e un set di query. Il TFM esegue previsioni sul set di query e una funzione di punteggio (basata sulla Divergenza Jensen-Shannon tra le previsioni e le frequenze di label a priori) genera target per un modello di regressione ridge. Questo modello impara a pesare i token per massimizzare lo spostamento dalla distribuzione a priori, identificando efficacemente i token informativi senza discesa del gradiente attraverso il TFM.
3. Riduzione della Dimensionalità (PCA): Gli embedding raggruppati vengono compressi utilizzando l'Analisi delle Componenti Principali (PCA). Gli autori dimostrano che la PCA non è semplicemente uno strumento di compressione, ma un adattatore cruciale che allinea la geometria degli embedding dell'encoder congelato con il prior di pre-addestramento del TFM (che è sintetico e ad alto rango).
4. Predizione: Le caratteristiche multimodali concatenate e compresse (tabulari + non tabulari proiettate) vengono inviate al TFM (nello specifico TabICLv2) insieme a un set di supporto di esempi etichettati. Il TFM esegue l'apprendimento in contesto per predire la distribuzione di label per il campione di query.

Contributi Chiave

1. PCA come Adattatore Sufficiente: L'articolo dimostra che applicare la PCA agli embedding provenienti da backbones congelati è sufficiente per rendere i TFM classificatori multimodali competitivi. Questa proiezione migliora significativamente le prestazioni aumentando il rango effettivo degli embedding, allineandoli alla distribuzione di pre-addestramento sintetica del TFM e bilanciando i segnali tra caratteristiche tabulari e non tabulari.
2. Framework CoMET: Un framework modulare e facile da implementare che ottiene risultati all'avanguardia (SOTA) su diversi benchmark multimodali senza alcun fine-tuning. I componenti (encoder, TFM) possono essere scambiati indipendentemente.
3. PALPooling: Un metodo di pooling adattivo innovativo e privo di addestramento. Evita la necessità di retropropagazione attraverso il TFM utilizzando pseudo-label derivate dalle uscite del modello stesso. Supera costantemente i token CLS e il pooling medio, specialmente in scenari in cui i token CLS non riescono a catturare caratteristiche rilevanti per il compito (ad es. immagini con oggetti multipli).
4. Classificazione Gerarchica Scalabile: Gli autori mostrano l'applicazione di CoMET alla classificazione gerarchica (H-CoMET). Decomponendo grandi problemi di classificazione (ad es. >500k campioni, >2.000 classi) in sottocompiti più piccoli all'interno di una struttura ad albero, il metodo consente inferenze rapide e scalabili senza addestrare modelli separati per ogni sottocompito.

Risultati

L'articolo valuta CoMET su benchmark unimodali e multimodali:

• Prestazioni Unimodali: Su dataset di immagini e testo, CoMET con PCA e PALPooling eguaglia o supera le prestazioni del linear probing e dei perceptron a più strati (MLP), spesso ottenendo risultati significativamente migliori (ad es. +3,4% fino a +6,2% su sottoinsiemi di ImageNet).
• Benchmark Multimodali: CoMET ottiene risultati competitivi o SOTA su dataset che combinano testo, immagini e dati tabulari (ad es. Jigsaw Toxicity, PetFinder, MM-IMDb, Airbnb). Supera i precedenti approcci multimodali basati su TFM come MMPFN, che richiedevano fine-tuning con proiettori specifici per modalità.
• Scalabilità Gerarchica: Su dataset gerarchici su larga scala come iNaturalist (2.896 classi) e Amazon MM, H-CoMET raggiunge un'alta accuratezza (82,50% su iNaturalist) con tempi di inferenza inferiori a 6 minuti, superando significativamente i classificatori piatti e eguagliando o battendo i modelli SOTA gerarchici per testo.
• Efficienza: Il metodo non richiede tempo di addestramento per il TFM o gli encoder. Il fitting di PALPooling richiede secondi (ad es. da 16s a 54s per dataset di immagini).

Significato e Affermazioni

L'articolo sostiene che la composizione di modelli fondazione offra una soluzione semplice, potente e "pronta all'uso" per l'apprendimento multimodale. Il suo significato principale risiede nella sfida alla necessità di pipeline di addestramento complesse e end-to-end per nuovi problemi.

• Modularità: L'approccio consente la sostituzione indipendente di backbones o TFM man mano che migliorano, ereditando i progressi futuri senza re-addestramento.
• Efficienza Senza Addestramento: Dimostra che prestazioni predittive di alto livello possono essere ottenute ammortizzando l'inferenza bayesiana tramite apprendimento in contesto, anche per dati non tabulari, a condizione che gli embedding siano adeguatamente adattati (tramite PCA) e aggregati (tramite PALPooling).
• Scalabilità: Il metodo consente la gestione di dataset massicci e spazi di classi fini (migliaia di classi) che sono spesso intrattabili per gli approcci tradizionali di fine-tuning a causa di vincoli computazionali.

Gli autori mantengono una posizione modesta, riconoscendo che, sebbene la PCA sia un adattatore semplice, metodi di riduzione della dimensionalità più sofisticati informati dal TFM potrebbero produrre ulteriori guadagni. Notano inoltre che il lavoro attuale si concentra sulle modalità testo e immagine, ma il modello è generalizzabile ad altri domini con encoder pronti all'uso (ad es. audio, video).