La visione umana non consiste semplicemente nel vedere; consiste nel confrontare. Quando guardiamo una stanza, non ci limitiamo a registrare che esistono sedie e tavoli; giudichiamo istantaneamente quale sedia sia più alta, quale tavolo sia più vicino, quante tazze ci siano sul bancone o se una fotografia mostri una scena del passato o del presente. Questa capacità di pesare un elemento rispetto a un altro è una parte fondamentale del modo in cui comprendiamo il mondo. Negli ultimi anni, i computer hanno imparato a vedere con straordinaria abilità, diventando capaci di descrivere immagini e rispondere a domande su ciò che contengono. Questi sistemi, noti come modelli visione-linguaggio, sono i motori dietro molti strumenti moderni in grado di leggere un grafico, descrivere una foto o risolvere un enigma visivo. Tuttavia, mentre queste macchine sono diventate esperte nel riconoscimento e nella descrizione, è rimasto poco chiaro se possiedano la stessa intuizione comparativa che gli esseri umani utilizzano ogni secondo della giornata.

Un ricercatore ha ora costruito un test specializzato per rispondere a questa domanda, creando un nuovo pacchetto di valutazione progettato per isolare l'atto specifico di confrontare informazioni visive. Ha scoperto che, sebbene i sistemi informatici più avanzati ottengano buoni risultati nei compiti generali, faticano significativamente quando viene chiesto loro di effettuare confronti diretti su quantità, dimensioni, distanza o tempo. Lo studio rivela che anche i modelli più intelligenti possono fallire nel contare oggetti chiaramente visibili, sbagliare nel giudicare quale di due articoli sia più lungo o confondersi su quale di due persone sia più vicina alla telecamera. Il ricercatore ha scoperto che questi sistemi inciampano spesso in compiti che sono banali per un essere umano, suggerendo che la capacità di confrontare dettagli visivi rimanga una debolezza sistematica nell'intelligenza artificiale attuale.

Per investigare questo divario, il ricercatore ha costruito un insieme completo di test chiamato CompareBench, che è supportato da altre due risorse da lui sviluppate: TallyBench e OmniCaps. TallyBench è una collezione di duemila immagini, ciascuna accompagnata da una domanda semplice che chiede al computer di contare un tipo specifico di oggetto, come cani, libri o cucchiai. Questa risorsa funge da base per testare quanto un modello sia capace di contare singoli elementi e fornisce anche le immagini sorgente per il compito di confronto delle quantità. OmniCaps è un set più piccolo di settecentodiciotto immagini che ritraggono eventi storici, monumenti famosi e persone celebri, ciascuna contrassegnata da una data specifica. Questa collezione permette al ricercatore di testare se un modello possa comprendere il passaggio del tempo ordinando le immagini cronologicamente. Il test principale, CompareBench, unisce questi elementi in milleduecento domande che chiedono al computer di effettuare confronti diretti. Queste domande sono suddivise in quattro categorie: confronto di quantità, confronto di proprietà geometriche come lunghezza e spessore, giudizio di relazioni spaziali come profondità e altezza, e ordinamento di eventi nel tempo. Il sottogruppo di confronto delle quantità attinge specificamente da TallyBench per formare seicento domande.

Il ricercatore ha testato nove diverse versioni di sistemi di visione artificiale all'avanguardia provenienti da tre grandi aziende tecnologiche. Ha chiesto a questi modelli di risolvere i milleduecento quesiti di confronto e i duemila compiti di conteggio. I risultati hanno mostrato una netta divisione tra le prestazioni umane e quelle delle macchine. Gli esseri umani hanno ottenuto punteggi quasi perfetti in quasi tutti i compiti, contando oggetti e giudicando dimensioni con facilità. I modelli informatici, invece, hanno mostrato errori persistenti. Nei compiti di conteggio, i migliori modelli hanno ottenuto circa l'ottantasette percento di risposte corrette, il che significa che hanno saltato o sbagliato il conteggio degli oggetti in più di un'immagine su dieci. Nei compiti di confronto, le prestazioni variavano in base alla categoria. I modelli erano ragionevolmente bravi a confrontare le quantità, ma hanno incontrato grandi difficoltà con il ragionamento spaziale, fallendo spesso nel determinare quale oggetto fosse più vicino alla telecamera o quale punto fosse più alto rispetto al suolo. Avevano inoltre problemi con i confronti geometrici, come decidere quale tra due libri fosse più spesso.

Uno dei risultati più sorprendenti è emerso nella categoria del confronto temporale, o basato sul tempo. In questa sezione, ai modelli è stato chiesto di guardare immagini di scene storiche, monumenti o persone famose e decidere quale apparisse prima nella storia. In questo caso, i modelli informatici hanno effettivamente superato i soggetti umani del test. Gli esseri umani, limitati a osservare solo le prove visive nelle immagini, spesso non riuscivano a determinare l'ordine corretto perché le immagini apparivano molto simili. I modelli informatici, tuttavia, avevano accesso a una vasta quantità di conoscenze preesistenti su storia, architettura e figure celebri. Potevano attingere a questo database interno per ordinare correttamente le immagini, anche quando gli indizi visivi da soli erano insufficienti. Ciò suggerisce che, sebbene i modelli manchino di una vera comprensità visiva di spazio e dimensione, possono talvolta compensare questa mancanza utilizzando la loro enorme memoria di fatti per risolvere problemi che richiedono conoscenze esterne.

Nonostante questi successi occasionali, lo studio evidenzia che la capacità fondamentale di confrontare elementi visivi non è ancora pienamente padroneggiata dall'intelligenza artificiale. Il ricercatore ha osservato che i modelli confondono frequentemente la lunghezza di un oggetto con la sua altezza, o non riescono a distinguere tra un oggetto in primo piano e uno sullo sfondo. Ha inoltre scoperto che i modelli spesso trascurano oggetti parzialmente nascosti durante il conteggio, un compito che gli esseri umani gestiscono istintivamente. Il ricercatore ha concluso che i sistemi attuali non sono ancora affidabili per compiti che richiedono un confronto visivo fine, e che questi fallimenti non sono semplici errori casuali, ma limitazioni sistematiche nel modo in cui i modelli elaborano le informazioni visive. Fornendo un set di test focalizzato che isola queste specifiche abilità, il nuovo benchmark offre un modo chiaro per misurare il progresso in quest'area. Il ricercatore spera che, rendendo pubblici i propri dati e metodi, altri scienziati possano utilizzare questi strumenti per costruire modelli migliori che possano eventualmente eguagliare la capacità umana di vedere, confrontare e comprendere il mondo che ci circonda.