How Well Does GPT-4o Understand Vision? Evaluating Multimodal Foundation Models on Standard Computer Vision Tasks
Questo articolo valuta le prestazioni dei principali modelli fondazionali multimodali, come GPT-4o, su compiti standard di visione artificiale utilizzando un nuovo framework di concatenazione di prompt per rivelare che, sebbene essi funzionino come generalisti rispettabili con una forte comprensione semantica, rimangono ancora indietro rispetto ai modelli specialistici nei compiti geometrici e mostrano specifici modi di fallimento.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Immagina di avere un gruppo di bibliotecari incredibilmente intelligenti e colti (i Modelli Fondamentali Multimodali o MFMs, come GPT-4o, Gemini e Claude). Questi bibliotecari hanno letto quasi ogni libro su Internet e possono descrivere un'immagine con dettagli belli e poetici. Sono famosi per rispondere a domande come: "Cosa sta succedendo in questa foto?" o "Scrivi una storia su questo cane".
Ma i ricercatori dell'EPFL hanno posto una domanda diversa: "Questi bibliotecari possono effettivamente fare il lavoro di un fotografo professionista o di un architetto 3D?"
Per scoprirlo, non si sono limitati a chiedere ai bibliotecari di chiacchierare; li hanno sottoposti a una serie di esami rigorosi e tecnici solitamente riservati a robot specializzati nella visione artificiale. Ecco come hanno fatto e cosa hanno scoperto, spiegato in modo semplice.
La Sfida: Il Problema "Solo Testo"
Il problema principale è che questi modelli AI sono addestrati a parlare, non a disegnare o misurare. Se chiedi a un robot di visione standard di "trovare il gatto", disegna un riquadro attorno ad esso. Se chiedi a un'AI basata sul testo, potrebbe dire: "Vedo un gatto".
Per testarli equamente, i ricercatori hanno inventato un gioco di traduzione chiamato "Prompt Chaining" (Catena di Prompt).
- L'Analogia: Immagina di essere bendato e di dover trovare un libro specifico in una biblioteca immensa. Non puoi vedere, ma puoi fare domande a una guida.
- Il Metodo: Invece di chiedere all'AI di "disegnare un riquadro attorno al gatto" (cosa che non può fare nativamente), i ricercatori hanno scomposto il compito in piccoli passi basati sul testo. Hanno chiesto all'AI: "C'è un gatto nell'angolo in alto a sinistra?" "No." "C'è un gatto al centro?" "Sì." Poi: "È nella metà superiore del centro?" "Sì."
- Collegando insieme queste piccole domande "Sì/No", l'AI costruisce infine una mappa di dove si trova l'oggetto, "disegnando" efficacemente un riquadro o una maschera solo attraverso il testo. Questo ha permesso ai ricercatori di confrontare i "parlatori" con i "facenti" (modelli specialisti) sugli stessi identici compiti.
L'Esame: Cosa Hanno Testato?
I ricercatori hanno sottoposto i modelli a sei diversi tipi di test, che vanno dal facile al molto difficile:
- Classificazione: "Che cos'è questo?" (Come identificare una zebra).
- Rilevamento di Oggetti: "Dov'è la zebra?" (Disegnando un riquadro attorno ad essa).
- Segmentazione: "Quali pixel appartengono alla zebra?" (Colorando la zebra perfettamente).
- Raggruppamento: "Se tocco l'orecchio della zebra, quali altri pixel appartengono alla stessa zebra?"
- Predizione della Profondità: "Quale parte dell'immagine è più vicina alla telecamera?" (Creando una mappa di distanza 3D).
- Normali di Superficie: "In che direzione è rivolta la superficie?" (Questa parete è rivolta a sinistra, a destra, in alto o in basso?).
I Risultati: Il "Generalista" contro lo "Specialista"
1. Sono ottimi "Generalisti", ma non "Specialisti".
I modelli AI hanno fatto sorprendentemente bene per essere generalisti. Potevano identificare oggetti e comprendere la scena generale meglio di un'ipotesi casuale. Tuttavia, rimangono ancora significativamente indietro rispetto ai robot specializzati costruiti specificamente per questi lavori.
- Analogia: L'AI è come un brillante medico di base che sa un po' di tutto. I modelli specialisti sono come neurochirurghi. Il generalista può diagnosticare un mal di testa, ma non può eseguire un'operazione al cervello tanto bene quanto il chirurgo.
2. Il Divario tra "Semantica" e "Geometria"
I modelli erano molto migliori nei compiti Semantici (capire cosa sono le cose) rispetto ai compiti Geometrici (capire dove si trovano le cose nello spazio 3D).
- Potevano dirti facilmente "Quella è una zebra".
- Faticavano a dirti "Quella zebra è a 5 metri di distanza e la sua schiena è rivolta leggermente a sinistra".
- Analogia: Sono bravi a descrivere la trama di un film, ma terribili nel disegnare la scenografia o nel calcolare la fisica delle esplosioni.
3. Il Problema della "Visione Sfocata"
Quando i ricercatori hanno provato a far disegnare all'AI contorni precisi, i modelli spesso faticavano con i dettagli fini. Era come se avessero una "visione sfocata".
- Per risolvere questo, i ricercatori hanno dovuto fornire all'AI ritagli dell'immagine "ingranditi" (come guardare attraverso una lente d'ingrandimento) per aiutarla a vedere chiaramente i bordi. Senza questo aiuto, i contorni dell'AI erano disordinati.
4. I Modelli di "Ragionamento" Stanno Cambiando il Gioco
Il documento ha testato un nuovo tipo di AI chiamato "Modelli di Ragionamento" (come o1, o3 e o4-mini). Questi modelli impiegano più tempo per "pensare" prima di rispondere.
- Il Risultato: Questi modelli pensanti erano molto migliori nei difficili compiti di geometria 3D (profondità e normali di superficie) rispetto ai modelli standard. Sembravano usare la logica per capire le relazioni spaziali, mentre i modelli standard indovinavano basandosi sui pattern.
5. Il Problema delle "Allucinazioni"
Quando i ricercatori hanno testato il nuovissimo GPT-4o, che può effettivamente generare immagini (disegnare quadri) invece di limitarsi a parlare, hanno scoperto che era soggetto a allucinazioni.
- Analogia: Se gli chiedi di "disegnare la zebra", potrebbe disegnare una zebra, ma potrebbe anche aggiungere accidentalmente un corno di unicorno o posizionare le zampe della zebra nel punto sbagliato. La generazione di immagini è promettente ma attualmente inaffidabile per compiti precisi.
La Conclusione
Il documento conclude che, sebbene questi enormi modelli AI siano impressionanti "generalisti" capaci di comprendere il significato di un'immagine, non sono ancora pronti a sostituire gli strumenti specializzati utilizzati da ingegneri e scienziati per misurazioni precise e ricostruzioni 3D.
Tuttavia, i modelli di "Ragionamento" stanno mostrando i primi segni di colmare questo divario, suggerendo che mentre l'AI impara a "pensare" più profondamente, la sua capacità di comprendere il mondo fisico 3D sta iniziando a tenere il passo con la sua capacità di comprendere il linguaggio.
Nota Importante: I ricercatori sottolineano che il loro metodo "Prompt Chaining" è uno strumento di test, non un modo pratico per utilizzare questi modelli nella vita reale. È come usare un righello per misurare l'altezza di un modello; è un modo per ottenere un numero, ma non useresti un righello per costruire una casa. L'obiettivo era semplicemente vedere quanto sono bravi davvero questi modelli, e la risposta è: "Molto bravi a parlare di immagini, ma stanno ancora imparando a misurarle".
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.