Investigating Relational Reasoning in VLMs

Nel panorama moderno dell'intelligenza artificiale, una nuova generazione di computer ha imparato a vedere e parlare simultaneamente. Questi sistemi, noti come modelli visione-linguaggio, possono guardare una fotografia e descriverne il contenuto, rispondere a domande su ciò che vedono o persino risolvere enigmi basati su un'immagine. Per l'osservatore umano, essi sembrano possedere una genuina comprensione del mondo visivo, proprio come una persona che può dare un'occhiata a una scena e comprendere istantaneamente come gli oggetti si relazionano tra loro. Tuttavia, rimane una domanda fondamentale senza risposta: queste macchine comprendono davvero le relazioni spaziali e le connessioni tra gli oggetti, o sono solo abili ricercatrici di schemi che si affidano a trucchi linguistici e congetture statistiche? Questa incertezza è importante perché, se questi sistemi stanno solo imitando la comprensione attraverso scorciatoie, potrebbero fallire in modo imprevedibile di fronte a situazioni che non corrispondono ai loro dati di addestramento, portando a errori in applicazioni critiche.

Un team di ricercatori si è proposto di scoprire il funzionamento interno di questi modelli eliminando la complessità del mondo reale e sostituendola con un ambiente sintetico controllato. Hanno creato un dataset personalizzato composto da migliaoli di immagini semplici, ognuna caratterizzata da un piccolo numero di forme geometriche di base come cerchi, quadrati e triangoli disposti in schemi specifici. A queste forme sono stati assegnati colori e dimensioni distinte e, in alcuni casi, sono state disegnate delle frecce per connetterle esplicitamente, mentre in altri la connessione era solo implicita dalla loro posizione relativa. I ricercatori hanno poi posto una serie di domande precise a un moderno modello visione-linguaggio, chiedendogli di identificare il numero di forme, riconoscere colori specifici o determinare la direzione di una freccia tra due oggetti. Confrontando le risposte del modello con i fatti noti delle immagini sintetiche, sono riusciti a misurare esattamente quanto bene la macchina stesse performando.

I risultati hanno rivelato una netta divisione tra ciò che il modello poteva fare facilmente e ciò che faticava a comprendere. Quando interrogato su semplici domande di riconoscimento, come contare il numero totale di forme o identificare se era presente un quadrato verde, il modello ha ottenuto un'accuratezza quasi perfetta, superando spesso il novantasei percento. Sembrava avere una presa ferma sugli elementi tangibili dell'immagine. Tuttavia, non appena le domande richiedevano al modello di comprendere le relazioni senza indizi visivi espliciti, le sue prestazioni diminuivano significativamente. Ad esempio, quando gli veniva chiesto di identificare quali oggetti fossero connessi da una freccia senza che la freccia fosse disegnata, o di descrivere la posizione di una forma rispetto a un'altra basandosi solo sulla loro disposizione, l'accuratezza del modello scendeva intorno al sessanta percento o meno. Interessante è che, quando la query forniva marcatori visivi espliciti, come chiedere la direzione di una freccia disegnata, il modello manteneva un'alta accuratezza superiore al novantadue percento. Ciò suggeriva che la macchina non stava costruendo una mappa mentale coerente della scena, ma si stava invece affidando pesantemente alle parole specifiche usate nella domanda e ai marcatori visivi espliciti forniti.

Per determinare se il modello stesse realmente "vedendo" le relazioni o se stesse solo indovinando basandosi sul linguaggio, i ricercatori hanno condotto un test rigoroso alterando le immagini stesse. Hanno creato versioni modificate delle immagini originali dove hanno rimosso digitalmente un elemento specifico, come una singola forma o una freccia, e poi hanno posto nuovamente le stesse domande. Se il modello avesse realmente ragionato sull'evidenza visiva, rimuovere una parte chiave dell'immagine avrebbe dovuto causare un crollo della sua accuratezza. In alcuni casi, questo è esattamente ciò che è accaduto: quando il modello era chiamato a contare le forme o a seguire la direzione di una freccia, la rimozione del relativo elemento visivo ha causato una diminuzione delle prestazioni di quasi il venticinque percento. Ciò indicava che, per questi compiti, il modello stava effettivamente guardando l'immagine, ma stava anche mescolando tali dati visivi con bias interni che lo rendevano fragile quando la scena cambiava.

Più sorprendentemente, i ricercatori hanno scoperto che per altri tipi di domande, rimuovere elementi visivi migliorava la performance del modello o la lasciava invariata. Quando interrogato sulla posizione relativa delle forme o sull'esistenza di una connessione senza una freccia, il modello forniva risposte leggermente migliori quando l'evidenza visiva era oscurata. Questo risultato controintuitivo, che il paper nota come "sorprendente" e "direttamente contraddittorio del ragionamento visivo", suggerisce fortemente che il modello non stesse affatto usando i dati visivi per risolvere questi problemi. Inveve, si stava affidando a schemi statistici appresi dai suoi dati di addestramento, essenzialmente indovinando la risposta in base a come la domanda fosse formulata piuttosto che in base a ciò che era effettivamente presente nell'immagine. La macchina non stava ragionando sullo spazio; stava recitando una risposta probabile basata su indizi linguistici.

Guardando all'interno degli strati di elaborazione del modello, i ricercatori hanno tracciato come l'informazione fluisse dall'input iniziale dell'immagine fino alla risposta finale. Hanno scoperto che i primi strati del modello erano molto bravi nel individuare dettagli semplici come la presenza di un colore o di una forma specifica. Man mano che l'informazione si muoveva più in profondità nel sistema, il modello diventava più capace di contare e identificare relazioni grossolane. Tuttavia, gli strati più profondi non riuscivano a codificare costantemente le relazioni complesse e astratte tra gli oggetti, come la direzione precisa di una freccia o la disposizione spaziale degli elementi senza marcatori espliciti. Lo studio conclude che, sebbene questi potenti sistemi possano ottenere punteggi elevati in molti compiti visivi, la loro comprensione è strettamente limitata a ciò che è esplicitamente osservabile. Essi non mostrano una vera comprensione visiva, affidandosi invece a una strategia ibrida che combina la genuina percezione visiva con scorciatoie linguistiche. Questa scoperta evidenzia un limite critico nell'attuale intelligenza artificiale, suggerendo che la vera comprensione visiva richiede molto più del semplice processamento di pixel e parole; essa richiede una forma di ragionamento più profonda e robusta che questi modelli non hanno ancora raggiunto.