Nei paesaggi digitali dei videogiochi, il mondo è spesso un palcoscenico allestito per il viaggio di un singolo giocatore. Eppure, i momenti più memorabili nascono frequentemente non dalle azioni del giocatore stesso, ma dalle reazioni dei personaggi che incontra lungo il cammino. Questi personaggi non giocanti, o NPC, sono gli abitanti del mondo di gioco, incaricati di far sentire l'ambiente vivo. Per decenni, i game designer si sono affidati a script rigidi per far muovere e agire questi personaggi, creando comportamenti prevedibili e spesso ripetitivi. Più recentemente, l'intelligenza artificiale ha iniziato a offrire una nuova via da seguire, utilizzando modelli in grado di generare intere sequenze video di gameplay. Tuttavia, un ostacolo significativo rimane: in questi nuovi sistemi di IA, il comportamento dei personaggi è spesso solo un sottoprodotto del video che viene creato, oppure è costretto a seguire istruzioni provenienti dall'esterno del sistema. Ciò significa che i personaggi non possono veramente "vedere" la situazione mutevole intorno a loro e decidere come reagire nel momento stesso. Manca loro una mente che connetta ciò che accade sullo schermo a ciò che dovrebbero fare successivamente.

Un team di ricercatori della Tencent e della National University of Singapore ha affrontato questo vuoto introducendo un nuovo framework chiamato WorldMind. Il loro lavoro rappresenta un cambiamento nel modo in cui i mondi di gioco vengono modellati, allontanandosi dai sistemi in cui il comportamento del personaggio è nascosto all'interno del processo di generazione del video. Invece, hanno costruito un sistema che separa esplicitamente l'atto di comprendere lo stato del gioco dall'atto di generare il video. Immaginate un gioco in cui il computer prima si ferma per valutare la distanza tra un giocatore e un mostro, controlla quali abilità ha a disposizione il mostro e poi decide consapevolmente una mossa specifica prima di disegnare il fotogramma successivo del video. Questo è il cuore di WorldMind. I ricercatori hanno dimostrato che, scomponendo il processo in fasi distinte — comprendere la scena, ragionare su una risposta e poi generare l'esito visivo — potevano creare personaggi non giocanti che reagiscono alla realtà in evoluzione dello stato di gioco con un livello di consapevolezza tattica precedentemente invisibile nei modelli generativi.

La base di questo nuovo approccio risiede in una struttura a quattro strati che imita un ciclo di percezione e azione. Il primo strato funge da occhi del sistema, prendendo i fotogrammi video generati finora e ricostruendo un riassunto digitale compatto della situazione attuale. Questo riassunto include dettagli specifici come la distanza tra il giocatore e il boss, l'angolo con cui si fronteggiano e una cronologia di quali abilità il boss ha utilizzato di recente. Questo è un passaggio cruciale perché, nei modelli precedenti, l'IA doveva indovinare questi dettagli mentre cercava contemporaneamente di disegnare il video, il che portava spesso a comportamenti confusi o non reattivi. Creando questo riassunto chiaro e separato dello stato, il sistema assicura che il processo decisionale abbia una solida base di fatti su cui lavorare.

Una volta stabilito questo stato compatto, esso viene passato al secondo strato, che funge da cervello dell'operazione. Qui, un modello linguistico di grandi dimensioni (LLM) — un tipo di intelligenza artificiale addestrata a comprendere e generare il linguaggio umano — legge il riassunto dello stato del gioco insieme a un elenco delle abilità disponibili del boss e delle loro descrizioni. Il modello ragiona quindi sulla situazione per pianificare la mossa successiva. Si pone domande come: "Il giocatore è molto vicino, quindi è necessaria un'attacco per colmare la distanza", oppure "Il giocatore è lontano, quindi dovrei usare un'abilità a lungo raggio". Questo strato non si limita a indovinare; formula un piano tattico basato sulle meccaniche del gioco e sulla realtà attuale della scena. I ricercatori sono stati attenti a garantire che questo ragionamento fosse radicato nelle regole effettive del gioco, piuttosto che limitarsi a mimare schemi dai dati di addestramento. Hanno scoperto che quando modificavano le descrizioni delle abilità o lo stato del gioco, il modello cambiava le sue decisioni di conseguenza, provando che stava realmente comprendendo le meccaniche piuttosto che limitarsi a memorizzare gli esiti.

Il terzo strato funge da traduttore, convertendo il piano di alto livello proveniente dal cervello in un insieme di istruzioni che il generatore di video possa comprendere. Prende l'azione scelta e i movimenti del giocatore e li trasforma in una sequenza temporizzata di prompt in linguaggio naturale. Ad esempio, potrebbe generare una frase come "il giocatore sta eseguendo un attacco mentre il boss sta eseguendo un salto con impatto". Ciò assicura che lo strato di generazione video, il quarto e ultimo componente, riceva istruzioni precise e temporalmente allineate. Il generatore di video crea quindi il segmento successivo del video di gameplay basandosi su questi prompt. Fondamentalmente, i fotogrammi che produce non sono il punto finale; essi vengono reimmessi nel primo strato per ricominciare il ciclo. Questo crea un ciclo chiuso in cui il mondo viene costantemente osservato, analizzato e aggiornato, permettendo al personaggio non giocante di reagire alle conseguenze delle proprie azioni precedenti in tempo reale.

Per addestrare e testare questo sistema, i ricercatori hanno dovuto affrontare una significativa sfida di dati. Le registrazioni standard dei videogiochi catturano solitamente solo ciò che fa il giocatore e ciò che mostra lo schermo, mancando dei dati interni sullo stato del gioco necessari affinché l'IA impari come prendere decisioni. Per risolvere il problema, hanno costruito una pipeline automatizzata per raccogliere un enorme nuovo dataset chiamato BOSS-140K. Questo dataset contiene oltre 140.000 clip di gameplay, per un totale di più di 200 ore, che presentano battaglie contro 14 boss diversi in tre giochi distinti. A differenza dei dataset precedenti, questo accoppia il filmato video con annotazioni dettagliate, fotogramma per fotogramma, dello stato interno del gioco, incluse distanze esatte, tempi di recupero delle abilità e input del giocatore. Hanno utilizzato un agente specializzato per giocare ai videogiochi automaticamente, garantendo la registrazione di una vasta gamma di interazioni senza la necessità che operatori umani controllassero manualmente ogni mossa. Questi dati ricchi e strutturati sono stati essenziali per insegnare al sistema come collegare il mondo visivo alle regole sottostanti del gioco.

Quando i ricercatori hanno testato WorldMind, i risultati hanno mostrato un marcato miglioramento nel comportamento dei personaggi non giocanti. In confronti diretti contro i metodi esistenti, dove i personaggi agivano implicitamente all'interno del video o seguivano comandi esterni, il nuovo sistema è stato preferito dai valutatori in circa il 70% dei casi. I personaggi generati da WorldMind erano non solo tatticamente più appropriati, ma anche più coerenti, mantenendo una strategia costante durante il combattimento. Potevano adattarsi ai movimenti di un giocatore, colmare la distanza quando necessario o ritirarsi per usare attacchi a lungo raggio, il tutto mentre la generazione del video teneva il passo a circa 20 fotogrammi al secondo. Questa velocità è sufficiente per l'interazione in tempo reale, il che significa che il sistema può girare fluidamente mentre un essere umano sta giocando. Lo studio ha inoltre confermato che il sistema può generalizzare la propria comprensione a giochi che non aveva visto durante l'addestramento, a patto che gli venga fornita la corretta informazione sullo stato interno, suggerendo che l'approccio sia abbastanza robusto da poter essere applicato oltre i giochi specifici utilizzati nello studio.

Il lavoro presentato in questo articolo suggerisce una nuova strada per l'intrattenimento interattivo, dove l'intelligenza artificiale che governa un mondo di gioco non è solo un generatore di immagini, ma un partecipante alla logica del gioco. Decoupling (disaccoppiando) la comprensione dello stato dalla generazione del video, i ricercatori hanno creato un framework in cui i personaggi non giocanti possono possedere una forma di consapevolezza situazionale. Non sono più vincolati a script pre-scritti o ai limiti di un singolo processo generativo. Invece, possono osservare il mondo, ragionare sulle proprie opzioni e agire con intenzione. Sebbene il sistema sia attualmente focalizzato sui combattimenti contro i boss e su generi di gioco specifici, il principio fondamentale di separare la comprensione dello stato dalla generazione dell'azione offre una direzione promettente per la creazione di mondi digitali più dinamici e reattivi in futuro. I ricercatori hanno dimostrato che, quando si fornisce a un'IA una visione chiara dello stato del gioco e un modo per pensarci, i personaggi che essa crea possono davvero prendere vita.