GroundBench: A Factorized, Counterfactual Benchmark for Locating VLM Affordance Failures

Immaginate un braccio robotico che allunga la mano verso una tazza di caffè. Per riuscirci, la macchina deve risolvere tre distinti enigmi contemporaneamente: deve decidere quale parte della tazza sia rilevante (il manico, non il bordo), individuare esattamente dove si trova quella parte nel mondo visivo e comprendere quale azione quel componente invita (afferrare, non spingere). Per anni, i ricercatori hanno testato i sistemi di intelligenza artificiale su questi compiti chiedendo loro di descrivere cosa un robot dovrebbe fare con un oggetto. Uno studio recente ha suggerito che se si dice semplicemente all'IA la parte bersaglio — dicendo ad esempio "afferra il manico" invece di "afferra la tazza" — le prestazioni del sistema aumentano drasticamente. Ciò ha portato a una conclusione speranzosa: l'IA stava finalmente imparando a guardare l'immagine e a ragionare sulla meccanica fisica dell'oggetto.

Tuttavia, una nuova indagine chiamata GroundBench suggerisce che questa conclusione potrebbe essere prematura. I ricercatori dietro questo studio, guidati da Sattigeri della Manipal University Jaipur, sospettavano che l'IA non stesse in realtà imparando a vedere meglio l'oggetto. Al contrario, ipotizzavano che il sistema potesse fare affidamento su una scorciatoia: semplicemente memorizzare che certe parole, come "manico", sono quasi sempre accoppiate all'azione "afferrare", indipendentemente da ciò che mostra effettivamente l'immagine. Per testare questo, hanno costruito un nuovo benchmark rigoroso progettato per separare la capacità di trovare una parte in un'immagine dalla capacità di indovinare un'azione basandosi su una parola. Non si sono limitati a chiedere all'IA di eseguire un compito; hanno sistematicamente rimosso le informazioni, un pezzo alla volta, per vedere quale specifico indizio stesse effettivamente guidando il successo.

I ricercatori hanno costruito una serie di sei diversi scenari, o condizioni, per testare tre diverse versioni di un modello leader di intelligenza artificiale. Nel primo scenario, l'IA vedeva solo l'immagine di un oggetto, come una tastiera o una porta, senza istruzioni testuali. Nel secondo, hanno aggiunto il nome dell'oggetto, come "tastiera". Nel terzo, hanno nominato la parte specifica, come "la barra spaziatrice". Nel quarto, hanno fornito la posizione esatta della parte sullo schermo — un punto specifico e un riquadro intorno ad esso — ma hanno deliberatamente omesso il nome della parte. Nel quinto, hanno fornito sia il nome che la posizione. Infine, nel sesto, hanno aggiunto dettagli tecnici su come l'oggetto si muove, come ad esempio se un giunto è una cerniera o uno snodo scorrevole.

I risultati sono stati sorprendenti e controintuitivi. Quando i ricercatori hanno dato all'IA l'esatta posizione della parte bersaglio ma si sono rifiutati di dirle come si chiamasse la parte, le prestazioni del sistema sono crollate. Attraverso i tre modelli testati, l'accuratezza nella scelta dell'azione corretta è scesa al livello di un tentativo casuale, o addirittura inferiore. Un modello, pur ricevendo la posizione di un pulsante ma non il suo nome, ha ottenuto solo 0,26, mentre un semplice baseline che ignorava completamente l'immagine ha ottenuto 0,53. L'IA era in grado di riprodurre perfettamente la posizione che le veniva mostrata, posizionando il suo "dito" esattamente dove i ricercatori indicavano, eppure non riusciva a capire cosa fare con quella posizione. Era come se il robot potesse vedere il pulsante, ma non avesse idea che i pulsanti siano fatti per essere premuti.

Al contrario, quando i ricercatori hanno dato all'IA il nome della parte ma hanno omesso la sua posizione, le prestazioni sono decollate. Gli stessi modelli che avevano fallito con i dati di sola posizione sono passati a tassi di accuratezza compresi tra 0,68 e 0,74 quando venivano istruiti che la parte era un "pulsante" o una "porta", anche senza vedere dove si trovasse. Questo schema è stato confermato ovunque: nel momento in cui l'IA riceveva il nome della categoria della parte, riusciva quasi sempre a indovinare l'azione corretta. I ricercatori hanno scoperto che, nel loro insieme curato di oggetti, il nome della parte era sufficiente per determinare la risposta. L'IA non stava guardando l'immagine per capire la fisica; stava leggendo la parola e richiamando un'associazione pre-appresa.

Per confermare questo sospetto, i ricercatori hanno eseguito un test di controllo in cui hanno rimosso completamente l'immagine e hanno chiesto ai modelli di rispondere basandosi solo sul testo. Per il modello più avanzato testato, rimuovere l'immagine non ha fatto differenza alle sue prestazioni nelle condizioni in cui veniva fornito il nome della parte. Il modello otteneva punteggi uguali, o addirittura leggermente migliori, senza vedere l'oggetto. Ciò ha fornito una forte evidenza del fatto che il sistema non stava utilizzando il grounding visivo — il processo di connessione delle parole a specifici pixel in un'immagine — ma si stava invece affidando a una scorciatoia basata sul testo. L'IA sapeva che "porta a cerniera" implica "tirare" e "pulsante scorrevole" implica "spingere" perché aveva visto quelle coppie nei suoi dati di addestramento, non perché comprendesse la meccanica della specifica porta o pulsante davanti a sé.

Lo studio ha anche testato se l'IA potesse seguire una domanda trabocchetto. I ricercatori hanno preso l'immagine di un oggetto con più parti, come una tastiera con molti tasti, e hanno chiesto all'IA di eseguire un'azione su una parte non standard, come un tasto specifico che viene usato raramente. Volevano vedere se l'IA guarderebbe effettivamente quel tasto specifico o se tornerebbe all'azione più comune per l'intero oggetto. Sebbene i modelli seguissero generalmente la nuova istruzione, hanno avuto difficoltà significative quando l'azione richiesta era insolita, come sollevare una parte verticalmente. In questi casi, i modelli spesso tornavano all'azione standard, suggerendo che si stavano ancora appoggiando alle loro associazioni più comuni piuttosto che analizzare veramente la scena visiva.

Forse il risultato più sorprendente è stato che aggiungere più informazioni non ha sempre aiutato. Quando i ricercatori hanno dato all'IA la posizione e il nome della parte, e poi hanno aggiunto descrizioni meccaniche dettagliate su come l'oggetto si muoveva, le prestazioni sono in realtà diminuite. I modelli non sono migliorati; sono diventati meno accurati. Ciò suggerisce che le informazioni extra abbiano confuso il sistema o lo abbiano distratto dalla semplice ed efficace scorciatoia del solo uso del nome della parte. I ricercatori hanno concluso che, per questi compiti specifici, più dati non significavano un ragionamento migliore.

Le implicazioni di questo lavoro sono significative per il campo della robotica e dell'intelligenza artificiale. Esse rivelano che punteggi elevati in certi test possono essere fuorvianti. Un'IA può apparire come una maestra del ragionamento fisico quando è in realtà solo una maestra delle associazioni di parole. I ricercatori hanno scoperto che il drammatico miglioramento osservato negli studi precedenti, dove nominare una parte aumentava l'accuratezza di un ampio margine, non era probabilmente dovuto al fatto che l'IA avesse improvvisamente imparato a vedere meglio. Al contrario, era perché il nome stesso conteneva la risposta. Lo studio non afferma che questi modelli siano incapaci di ragionamento visivo, ma mostra che, in queste specifiche condizioni, non lo stavano utilizzando.

GroundBench funge da strumento diagnostico, un modo per scrostare gli strati delle prestazioni di un'IA per vedere cosa accade realmente sotto la superficie. Separando la posizione visiva dal nome semantico, i ricercatori hanno esposto una lacuna tra ciò che i modelli sembravano fare e ciò che stavano effettivamente facendo. Hanno scoperto che quando il nome della parte veniva rimosso, i modelli non riuscivano a trovare l'azione, anche quando la posizione era perfettamente chiara. Ciò suggerisce che, per questi sistemi, il percorso verso il vero ragionamento meccanico è più lungo di quanto precedentemente ipotizzato. Non hanno ancora imparato a guardare un oggetto e comprenderne la funzione; hanno imparato ad ascoltare una parola e indovinarne la funzione. Lo studio non si conclude con una dichiarazione di fallimento, ma con una mappa più chiara di dove sia necessario procedere: costruire sistemi che possano veramente connettere le parole che sentono con il mondo fisico che vedono, piuttosto che fare affidamento sulle scorciatoie che hanno servito loro così bene finora.