What Color Is the Text? A Benchmark for Hallucination Induced by Image-Embedded Prompt
Questo articolo introduce il benchmark "Embedded Stroop" e il dataset "What-Color-Is-the-Text" (WCIT) per dimostrare che i Modelli Linguistici di Grandi Dimensioni Multimodali soffrono frequentemente di "allucinazioni di Stroop", in cui rispondono erroneamente con il significato semantico del testo incorporato in un'immagine anziché con il colore effettivo di quel testo, rivelando che la leggibilità semantica può prevalere sulla percezione del colore visivo.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Nel mondo dell'intelligenza artificiale, esiste una classe crescente di sistemi noti come modelli linguistici di grandi dimensioni multimodali. Queste sono menti digitali che possono vedere immagini e leggere testo, per poi combinare questi due sensi per rispondere a domande sul mondo. Sono diventate straordinariamente brave a descrivere una foto o a risolvere un enigma basato su un'immagine. Tuttavia, proprio come gli esseri umani, questi sistemi non sono immuni alla confusione. Possono talvolta essere ingannati da ciò che vedono, o più precisamente, da come interpretano ciò che vedono. Un classico esempio di questa confusione deriva da un famoso test psicologico chiamato effetto Stroop. In questo test, a una persona viene mostrata una parola come "ROSSO" stampata con inchiostro blu. Se le viene chiesto di nominare il colore dell'inchiostro, il cervello umano spesso inciampa perché legge automaticamente la parola "ROSSO" prima di poter concentrare l'attenzione sul colore blu. Il cervello deve lavorare duramente per ignorare il significato della parola e concentrarsi solo sul colore visivo. Per anni, gli scienziati si sono chiesti se questi avanzati modelli informatici soffrissero dello stesso tipo di errore mentale quando guardano le immagini.
Un team di ricercatori della Beihang University in Cina ha deciso di mettere alla prova questa questione con un nuovo esperimento progettato specificamente per le macchine. Hanno creato un benchmark chiamato "Che colore è il testo", che presenta al computer un'immagine semplice ma ingannevole. Invece di porre al computer una domanda in una casella di testo separata, hanno scritto la domanda direttamente sull'immagine stessa. Immaginate un quadrato bianco con le parole "Che colore è il testo?" scritte in inchiostro nero. All'interno della stessa immagine, c'è un'altra parola, come "BLU", ma questa parola è stampata con inchiostro rosso. Al computer viene chiesto di identificare il colore dell'inchiostro usato per la parola "BLU". La sfida è che il computer deve ignorare il significato della parola "BLU" e riferire che l'inchiostro è in realtà rosso. Questa configurazione costringe la macchina a scegliere tra ciò che il testo dice e ciò che gli occhi vedono.
Quando i ricercatori hanno sottoposto questo test a sedici diversi modelli di intelligenza artificiale, che spaziano da progetti open-source a potenti sistemi commerciali, i risultati sono stati sorprendenti. Le macchine hanno fallito molto più spesso di quanto abbiano avuto successo. Infatti, quando la domanda era incorporata direttamente nell'immagine, i modelli spesso ignoravano il colore reale dell'inchiostro e rispondevano semplicemente con il colore nominato nel testo. Per esempio, se la parola "VERDE" era scritta in inchiostro viola, il modello avrebbe affermato con sicurezza "verde". Questo accadeva anche se i modelli riuscivano a identificare correttamente il colore se la domanda veniva posta in una casella di testo separata anziché scritta sull'immagine. Lo studio ha scoperto che questo tipo specifico di errore, in cui la macchina viene distratta dal significato delle parole piuttosto che dalla realtà visiva, si verificava in una parte significativa dei tentativi. In alcuni casi, più della metà degli errori commessi dai modelli era dovuto a questa specifica confusione, in cui davano priorità al testo rispetto al colore.
I ricercatori volevano essere sicuri che non si trattasse solo di un caso in cui i modelli fossero scarsi nel nominare i colori in generale. Per verificare questo, hanno esaminato un gruppo di immagini in cui i modelli avevano precedentemente nominato correttamente i colori quando la domanda veniva posta separatamente. Anche quando i modelli conoscevano i nomi dei colori, cadevano comunque nella trappola quando la domanda era incorporata nell'immagine. Ciò ha dimostrato che il problema non era una mancanza di vocabolario o una semplice incapacità di vedere i colori, ma un problema più profondo in cui la capacità della macchina di leggere il testo sovrastava la sua capacità di vedere i dettagli visivi. Lo studio ha anche testato cosa sarebbe successo se avessero reso il testo più difficile da leggere. Quando hanno capovolto l'immagine o coperto parti delle parole con blocchi neri, i modelli hanno commesso meno errori. Ciò suggerisce che la confusione derivi dalla capacità della macchina di leggere chiaramente il significato semantico delle parole. Quando il testo è confuso o nascosto, la macchina si affida di più al colore visivo e le sue prestazioni migliorano.
Nonostante questi risultati, i ricercatori hanno osservato che il problema non si risolve facilmente semplicemente dicendo alla macchina di prestare attenzione. Hanno provato a dare ai modelli istruzioni speciali per avvertirli del trucco e, sebbene ciò abbia ridotto il numero di volte in cui i modelli cadevano nel tranello del testo, non li ha resi molto più bravi nell'identificare effettivamente il colore corretto. I modelli hanno semplicemente iniziato a commettere tipi diversi di errori. Lo studio conclude che gli attuali sistemi di intelligenza artificiale hanno una debolezza fondamentale: quando le informazioni visive e il testo sono in conflitto, il testo spesso vince. Ciò suggerisce che questi modelli non "vedono" veramente il mondo nel modo in cui lo fanno gli esseri umani, ma sono invece fortemente influenzati dai modelli del linguaggio che hanno appreso. Poiché questi sistemi vengono implementati in situazioni del mondo reale, come leggere segnali stradali o identificare oggetti in ambienti complessi, questa tendenza a fidarsi del testo piuttosto che della vista potrebbe portare a decisioni inaffidabili. Il lavoro funge da chiaro avvertimento che, affinché queste macchine diventino veramente robuste, devono imparare a bilanciare ciò che leggono con ciò che vedono, piuttosto che lasciare che un senso domini completamente l'altro.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.