Multimodal Large Language Models as Image Classifiers

Questo studio dimostra che le prestazioni apparentemente inferiori dei Modelli Linguistici Multimodali (MLLM) nella classificazione delle immagini sono spesso artefatti derivanti da protocolli di valutazione difettosi e da ground truth rumorosi, i quali, una volta corretti, rivelano che tali modelli possono raggiungere livelli di accuratezza paragonabili a quelli dei modelli supervisionati e risultano strumenti preziosi per la curatela dei dataset.

L'essenziale

Immagina che i Modelli Linguistici Multimodali (MLLM) siano come dei geni poliedrici appena usciti dall'università: sanno leggere, scrivere, vedere immagini e ragionare su tutto. Ma la domanda è: sono bravi a fare il lavoro "noioso" ma fondamentale di un classificatore di immagini? Cioè, riescono a guardare una foto e dire con certezza "Questo è un gatto" o "Questo è un cane"?

Questo studio dei ricercatori della Czech Technical University di Praga è come un grande esame di maturità per questi geni, ma con un twist: hanno scoperto che l'esame era stato preparato male!

Ecco i punti chiave, spiegati con delle metafore:

1. Il problema del "Voto Falso" (Protocolli di Valutazione)

Fino a ora, per testare questi modelli, si usavano tre metodi diversi, come se si valutasse un cuoco in tre modi diversi:

• Il metodo "Scegli la risposta" (Multiple Choice): Come un quiz a crocette. "È un gatto, un cane o un pesce?". Il problema è che le risposte sbagliate (i distrattori) erano troppo facili. Era come chiedere a un esperto di cucina: "È questo un risotto o una pizza?" (facile) invece di "È questo un risotto o un risotto con la zucca?" (difficile). Risultato: i modelli prendevano voti altissimi, ma ingannevoli.
• Il metodo "Libero" (Open World): "Descrivi l'immagine". Il modello dice "Vedo un animale peloso con le orecchie a punta". Poi un umano deve tradurre: "Ah, quindi è un gatto?". Se il traduttore è lento o sbaglia, il voto del modello scende ingiustamente.
• Il metodo "Lista Completa" (Closed World): "Scegli tra tutte le 1000 categorie possibili". Qui i modelli spesso si confondevano e dicevano cose che non erano nella lista (allucinazioni), venendo penalizzati anche se avevano ragione concettualmente.

La scoperta: Gli autori hanno sistemato questi "esami". Hanno reso le crocette più difficili e hanno creato un sistema intelligente per correggere le risposte "fuori lista" senza penalizzarle ingiustamente. Risultato? I modelli sembrano molto più bravi di quanto pensassimo prima!

2. Il problema dell'"Etichetta Sbagliata" (Ground Truth)

Immagina di avere un libro di testo (il dataset ImageNet) usato da tutti per studiare. Per anni, gli studenti hanno imparato a memoria le risposte. Ma gli autori hanno scoperto che il libro di testo aveva molte risposte sbagliate.

• C'era un'etichetta "cane" su una foto che in realtà era un "lupo".
• C'erano foto con due animali diversi, ma l'etichetta ne citava solo uno.

Hanno creato una nuova versione del libro di testo (chiamata ReGT), correggendo 625 categorie. Quando hanno fatto ripassare i modelli con questo libro corretto, i risultati sono schizzati in alto (fino al +10% di precisione).
La morale: Non è che i modelli fossero stupidi; era che il loro insegnante (l'etichetta originale) era confuso. I modelli più "intelligenti" e meno addestrati a memoria (quelli multimodali) hanno beneficiato di più di questa correzione, dimostrando che capiscono davvero l'immagine, non solo memorizzano l'etichetta.

3. I "Piccoli Dettagli" che fanno la differenza

Lo studio ha anche notato che cose apparentemente noiose, come l'ordine delle immagini o il numero di foto inviate insieme, cambiano il voto.

• È come se un esaminatore fosse più severo se gli mostri 10 foto in fila invece di una alla volta.
• Hanno scoperto che mescolando le foto in modo casuale si ottengono risultati più onesti.

4. I Geni come "Assistenti di Segreteria"

La parte più bella? Hanno fatto un esperimento umano. Hanno preso le foto difficili dove il modello e l'etichetta originale non erano d'accordo e hanno chiesto a umani esperti di guardare di nuovo.
In metà dei casi difficili, l'umano ha detto: "Hai ragione tu, modello! L'etichetta vecchia era sbagliata".
Questo significa che questi modelli non sono solo studenti da esaminare, ma possono diventare assistenti super-potenti per correggere i database di immagini, aiutando gli umani a trovare errori che altrimenti rimarrebbero nascosti.

In sintesi

Questo studio ci dice che:

1. Non giudicare un libro dalle copertine: I modelli multimodali sono molto più bravi a classificare immagini di quanto pensassimo, ma i vecchi test li sottostimavano.
2. Controlla il libro di testo: Spesso l'errore non è nell'intelligenza artificiale, ma nei dati sporchi su cui è stata addestrata.
3. Lavoro di squadra: I modelli AI sono diventati così bravi da poter aiutare gli umani a pulire e correggere i dati, creando un circolo virtuoso per il futuro.

È come se avessimo scoperto che i nostri studenti erano geniali, ma stavamo usando un righello storto per misurarli e un libro di testo pieno di errori. Ora che abbiamo raddrizzato il righello e corretto il libro, vediamo che il futuro dell'IA visiva è molto più luminoso!

Sommario tecnico

Titolo: Multimodal Large Language Models come Classificatori di Immagini

1. Il Problema

Le prestazioni dei Modelli Linguistici Multimodali (MLLM) nel compito di classificazione delle immagini sono oggetto di dibattito nella comunità scientifica. Studi precedenti riportano conclusioni contraddittorie: alcuni affermano che gli MLLM performano significativamente peggio dei modelli di visione supervisionati tradizionali, mentre altri suggeriscono prestazioni comparabili.
Gli autori identificano che queste discrepanze derivano da protocolli di valutazione difettosi e dalla bassa qualità delle ground truth (etichette di riferimento). In particolare:

• I protocolli attuali spesso ignorano le uscite del modello che non corrispondono esattamente alla lista di classi fornita (Out-of-Prompt o OOP), trattandole come errori senza tentare di mapparle semanticamente.
• Le valutazioni a scelta multipla (Multiple-Choice) utilizzano distrattori troppo facili, gonfiando artificialmente le prestazioni.
• Il dataset standard ImageNet-1k contiene errori di etichettatura significativi (rumore), ambiguità e immagini con oggetti multipli, rendendo la valutazione monolabel inaffidabile.

2. Metodologia

Gli autori hanno sviluppato un framework di valutazione sistematico e un nuovo dataset di riferimento per analizzare cinque MLLM (GPT-4o, Qwen3-VL, LLaVA-OneVision, InternVL3.5, PaliGemma 2) e confrontarli con modelli di visione supervisionati e Vision-Language Models (VLM) come SigLIP e DINOv3.

A. Nuovo Dataset di Riferimento (ReGT)

• È stata effettuata una rianotazione multilabel di 625 classi di ImageNet-1k (sottoinsieme di 31.250 immagini).
• Le annotazioni sono state eseguite da esperti che hanno identificato e corretto errori, ambiguità e casi multilabel (immagini con più oggetti di classi diverse).
• Questo nuovo set, chiamato ReGT, riduce drasticamente il rumore delle etichette rispetto alla ground truth originale (ImGT).

B. Protocolli di Valutazione
Sono stati testati tre task principali:

1. Open-World (OW): Il modello genera una descrizione libera che viene poi mappata alla classe più vicina nello spazio degli embedding testuali.
2. Multiple-Choice (MC): Il modello sceglie tra un'opzione corretta e distrattori. Gli autori hanno testato diverse strategie di campionamento dei distrattori (casuali vs. basati sulla matrice di confusione di un modello supervisionato).
3. Closed-World (CW) e CW+:
   • CW: Il modello deve scegliere tra tutte le 1000 classi di ImageNet.
   • CW+ (Novità): Per risolvere il problema delle uscite "Out-of-Prompt" (OOP), dove il modello genera un'etichetta non presente nella lista fornita, gli autori propongono di mappare queste uscite alla classe più vicina nello spazio degli embedding testuali, invece di scartarle come errori.

C. Analisi delle Variabili
Lo studio ha quantificato l'impatto di scelte progettuali spesso ignorate: dimensione del batch, ordinamento delle immagini, selezione del codificatore testuale e formato dell'output.

3. Contributi Chiave

1. Benchmark Migliorato per la Classificazione: Introduzione del protocollo CW+, che risolve le uscite OOP tramite mappatura negli embedding, permettendo una valutazione Closed-World completa su 1000 classi senza costose tecniche di decoding vincolato.
2. Sensibilità al Rumore delle Etichette: Dimostrazione che gli MLLM traggono il maggior beneficio dalla correzione delle etichette (fino a +10.8% di accuratezza), molto più dei modelli supervisionati. Questo suggerisce che le prestazioni inferiori riportate in precedenza erano in gran parte un artefatto del rumore nelle ground truth e non una carenza intrinseca dei modelli.
3. Sensibilità al Protocollo di Valutazione: Dimostrazione che la scelta dei distrattori e il formato del task influenzano drasticamente i risultati. Distrattori più difficili (basati sulla confusione semantica) riducono le prestazioni del 10-15% rispetto a distrattori casuali, rivelando che le valutazioni precedenti erano troppo ottimistiche.
4. MLLM come Assistenti per l'Annotazione: In uno studio di caso, gli annotatori umani hanno confermato o integrato le previsioni degli MLLM in circa il 50% dei casi difficili, dimostrando che questi modelli possono aiutare a identificare errori residui nei dataset su larga scala.

4. Risultati Principali

• Riduzione del Gap di Prestazioni: Utilizzando le etichette corrette (ReGT), il divario tra i migliori MLLM (es. GPT-4o) e i modelli supervisionati di punta (es. EVA-02, EfficientNet) si è ridotto drasticamente (circa il 50% in meno).
• Impatto della Ground Truth: I modelli meno dipendenti da segnali di addestramento supervisionato (come gli MLLM e i VLM self-supervised) sono risultati più sensibili alla qualità delle annotazioni, mostrando guadagni significativi quando le etichette sono corrette. Al contrario, i modelli supervisionati addestrati su ImageNet mostrano guadagni minimi, indicando un sovrainvestimento (overfitting) sulle etichette originali rumorose.
• Efficacia del CW+: La mappatura delle uscite OOP (CW+) ha migliorato significativamente l'accuratezza, specialmente per modelli come LLaVA-OneVision che tendono a generare più uscite fuori lista.
• Confronto OW vs CW: Contrariamente a studi precedenti, alcuni MLLM (come LLaVA-OV e Qwen3-VL) hanno performato meglio nel setting Open-World rispetto al Closed-World quando si utilizzano mappature basate su embedding, sfidando l'idea che la classificazione a lista chiusa sia sempre superiore.
• Studio sui Mustelidi: Su un sottoinsieme di animali selvatici (furbacchioni, faine, ecc.) noto per essere difficile da annotare, i modelli multimodali hanno mostrato una maggiore robustezza al rumore rispetto ai modelli supervisionati, recuperando prestazioni quasi perfette con le nuove etichette esperte.

5. Significato e Implicazioni

Il lavoro ribalta la percezione comune secondo cui gli MLLM siano intrinsecamente inferiori ai modelli di visione tradizionali per la classificazione.

• Rivalutazione dei Benchmark: Sottolinea la necessità di benchmark più puliti (come ReGT) e protocolli di valutazione più rigorosi che tengano conto della semantica delle uscite (tramite embedding) e non solo della corrispondenza stringa-esatta.
• Ruolo Futuro: Dimostra che gli MLLM non sono solo strumenti di ragionamento, ma possono essere integrati efficacemente nei pipeline di curatela dei dataset per assistere gli annotatori umani, riducendo i costi e migliorando la qualità dei dati su larga scala.
• Direzione per la Ricerca: Invita a considerare la sensibilità alle annotazioni come una metrica chiave per valutare la robustezza e la generalizzazione dei nuovi modelli multimodali.

In sintesi, il paper conclude che le apparenti limitazioni degli MLLM nella classificazione sono spesso il risultato di una valutazione inadeguata e di dati di riferimento imperfetti, piuttosto che di una reale incapacità del modello.