VideoGameBench: Can Vision-Language Models complete popular video games?
Il documento introduce VideoGameBench, un benchmark in cui i modelli visione-linguaggio devono giocare a videogiochi degli anni '90 utilizzando esclusivamente input visivi grezzi e istruzioni di alto livello, rivelando che persino i modelli più all'avanguardia faticano significativamente a gestire il gameplay in tempo reale a causa di limitazioni nella percezione, nella navigazione spaziale e nella latenza di inferenza.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Immagina di avere un robot molto intelligente che ha letto ogni libro della biblioteca e può risolvere problemi matematici complessi. Potresti pensare: "Ottimo! Vediamo se riesce a giocare ai videogiochi".
È esattamente quello che hanno fatto i ricercatori della Princeton University. Hanno creato un nuovo test chiamato VideoGameBench per verificare se questi modelli AI avanzati (chiamati Modelli Vision-Language) riescono effettivamente a giocare a videogiochi popolari degli anni '90, proprio come farebbe un umano.
Ecco la spiegazione del loro esperimento, dei risultati e del significato, utilizzando analogie semplici.
La Configurazione: Il Test del "Giocatore Bendato"
Di solito, quando gli scienziati testano l'AI sui videogiochi, le forniscono un foglio degli imbrogli. Potrebbero dire all'AI: "Il nemico si trova alle coordinate X, Y", oppure darle una mappa del livello. È come giocare a un videogioco con una guida aperta sulle ginocchia.
VideoGameBench ha cambiato le regole.
- Le Regole: All'AI vengono fornite solo immagini grezze dello schermo (come se tu stessi guardando una TV) e una semplice descrizione testuale di cosa fanno i pulsanti (ad esempio, "Premi 'A' per saltare").
- La Sfida: L'AI deve capire il gioco, ricordare dove è stata e reagire ai nemici in tempo reale, proprio come un giocatore umano.
- I Giochi: Hanno scelto 10 giochi classici degli anni '90, che vanno da Doom II (uno sparatutto veloce) a Civilization (un gioco di strategia lento) e Pokémon (un'avventura di ruolo).
Hanno persino nascosto tre giochi segreti all'AI. Questo serviva a garantire che l'AI non stesse semplicemente memorizzando risposte dai suoi dati di addestramento, ma stesse effettivamente imparando a giocare a cose nuove sul momento.
I Risultati: Il Problema del "Neonato"
I risultati sono stati sorprendenti. Anche i modelli AI più intelligenti e potenti disponibili oggi (come Gemini 2.5 Pro e Claude 3.7) hanno faticato enormemente.
- Il Punteggio: I migliori modelli sono riusciti a completare solo circa lo 0,48% dei giochi.
- La Realtà: In parole povere, questo significa che l'AI si è bloccata all'inizio stesso del gioco. Non è riuscita nemmeno a finire il primo livello.
Pensala così: consegni a un matematico geniale una console per videogiochi completamente nuova. Può calcolare la traiettoria di un razzo, ma quando prova a giocare a Super Mario, continua a cadere da una scogliera perché non capisce che "giù" sullo schermo significa "cadere", oppure dimentica di aver già raccolto una chiave tre minuti prima.
Perché Hanno Fallito?
Il documento identifica tre motivi principali per cui l'AI si è bloccata:
- Il Divario "Sapere-Fare": L'AI spesso "sapeva" cosa doveva fare (ad esempio, "Devo andare alla porta"), ma continuava a premere il pulsante sbagliato. Era come una persona che sa di dover girare a sinistra per arrivare al negozio, ma il suo piede continua a fare un passo a destra.
- Confusione Visiva: A volte l'AI non riusciva a capire cosa stava guardando. In Doom II, un'AI potrebbe sparare a un nemico morto che sembra un mucchio di rocce, sprecando tutta la sua munizione. In Zelda, potrebbe pensare di aver parlato con un personaggio semplicemente perché si è fermato accanto a lui, anche se non è avvenuta alcuna conversazione.
- Memoria Breve: I videogiochi richiedono di ricordare cose per lungo tempo (ad esempio, "Devo trovare la chiave blu per aprire la porta rossa"). L'AI dimenticava il suo obiettivo principale dopo pochi passi, sovrascrivendo la memoria con nuovi pensieri meno importanti.
L'Esperimento del "Pulsante di Pausa"
I ricercatori hanno realizzato che alcuni giochi sono molto veloci (in tempo reale) e l'AI è lenta nel pensare. Nel momento in cui l'AI decideva di premere un pulsante, il gioco era già cambiato, rendendo l'azione inutile.
Per risolvere questo problema, hanno creato VideoGameBench Lite.
- Il Cambiamento: Hanno premuto il pulsante di "pausa" sul gioco mentre l'AI stava pensando. Il gioco si muoveva solo quando l'AI dava un ordine.
- Il Risultato: I punteggi sono aumentati leggermente (fino a circa l'1,6%), ma l'AI non è riuscita a completare i giochi. Questo ha dimostrato che il problema non era solo che l'AI era lenta; era che l'AI semplicemente non riusciva a ragionare efficacemente sulla logica del gioco.
Il "Test di Allenamento"
Per verificare se l'AI poteva gestire compiti di base, hanno creato tre piccoli giochi di allenamento semplici:
- Cliccare: Cliccare su un punto in movimento.
- Trascinare: Trascinare un punto lungo una linea.
- Labirinto: Muovere un quadrato attraverso un semplice labirinto.
Anche qui, l'AI ha faticato. Mentre alcuni modelli riuscivano a cliccare sul punto, quasi tutti fallivano nel trascinare o nel navigare nel labirinto. Questo suggerisce che l'AI ha difficoltà con le interazioni fisiche di base e il ragionamento spaziale, non solo con la logica complessa dei giochi.
La Conclusione
Il documento conclude che, sebbene l'AI sia straordinaria in matematica e programmazione, al momento è terribile nel giocare ai videogiochi quando deve affidarsi solo a ciò che vede e alla propria memoria.
I ricercatori sperano che, creando questo test difficile, possano spingere gli sviluppatori AI a costruire sistemi migliori nel:
- Capire ciò che vedono (percezione).
- Ricordare ciò che è accaduto in precedenza (memoria).
- Pianificare passi in anticipo (strategia).
Finché l'AI non riuscirà a battere Doom o Pokémon senza un foglio degli imbrogli, non avrà ancora pienamente padroneggiato la capacità umana di imparare e adattarsi a nuovi ambienti complessi.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.