MultiGen: Level-Design for Editable Multiplayer Worlds in Diffusion Game Engines

Each language version is independently generated for its own context, not a direct translation.

Immagina di giocare a un videogioco in cui il mondo non è stato costruito da architetti umani, ma viene "sognato" in tempo reale da un'intelligenza artificiale mentre giochi. È come se ogni volta che muovi il tuo personaggio, l'IA inventasse le pareti, i nemici e il paesaggio proprio davanti ai tuoi occhi.

Il problema con i primi tentativi di creare questi "mondi sognanti" (chiamati world models) era che erano un po' come un attore che improvvisa una commedia: se la scena dura troppo, l'attore inizia a dimenticare di dove si trova, le porte spariscono o i muri si spostano. Inoltre, se due persone giocavano insieme, ognuna vedeva un mondo diverso, perché l'IA non aveva un "libro di appunti" condiviso per ricordarsi cosa stava succedendo a entrambi.

MultiGen è la soluzione a questo problema. Ecco come funziona, spiegato in modo semplice:

1. Il "Quaderno Magico" (La Memoria Esterna)

Immagina che l'IA non abbia solo una memoria a breve termine (come il contesto di una conversazione), ma abbia un quaderno magico aperto su un tavolo.

Nei vecchi sistemi: L'IA cercava di ricordare tutto guardando solo le ultime immagini che aveva generato. Se il gioco durava troppo, si confondeva.
Con MultiGen: L'IA scrive su questo quaderno la mappa del livello (dove sono i muri, le porte, i corridoi) e la posizione di ogni giocatore. Questo quaderno è esterno al cervello dell'IA: non si cancella mai, non si confonde e tutti i giocatori possono leggerlo e scriverci sopra.

2. I Tre Maghi (I Moduli)

Invece di avere un unico "super-cervello" che deve fare tutto (ricordare, disegnare e muoversi), MultiGen divide il lavoro tra tre maghi specializzati che lavorano in squadra:

Il Custode della Mappa (Modulo Memoria): È lui che tiene il quaderno. Sa esattamente dove sono i muri e dove si trova ogni giocatore. Se un giocatore spara a un altro, il Custode aggiorna il quaderno: "Attenzione, il Giocatore 2 è caduto".
L'Artista (Modulo Osservazione): Questo mago guarda il quaderno e il contesto recente, poi dipinge il prossimo fotogramma del gioco. Non deve inventare la struttura del mondo da zero (perché la legge sul quaderno), quindi si concentra solo sui dettagli: le texture, la luce, i nemici.
Il Regista (Modulo Dinamica): È lui che decide come cambia la posizione dei giocatori dopo un'azione. Se premi "avanti", il Regista aggiorna le coordinate sul quaderno del Custode.

3. Due Giochi Magici

A. Il Livello Disegnato dal Giocatore (Level Design)

Prima di iniziare, tu puoi disegnare una mappa grezza su un foglio (come uno schema di muri e corridoi).

L'analogia: È come dare all'architetto (l'IA) solo lo schema delle fondamenta di una casa. L'architetto non deve inventare dove vanno le stanze, sa già dove sono. Quindi, mentre giochi per ore, l'IA non si perde mai: sa sempre che c'è un corridoio a sinistra perché lo ha letto sul tuo schema iniziale. Puoi modificare lo schema mentre giochi e il mondo si adatta istantaneamente.

B. La Partita Multiplayer (Tutti vedono la stessa cosa)

Immagina due giocatori, Mario e Luigi, che giocano insieme.

Senza MultiGen: Mario vede Luigi che spara, ma Luigi potrebbe vedere Mario che è sparito o che è in un'altra stanza, perché ognuno ha il suo "quaderno" privato che non si sincronizza.
Con MultiGen: Entrambi guardano lo stesso quaderno magico. Se Mario spara a Luigi, il Custode aggiorna il quaderno: "Luigi è morto". L'Artista di Mario disegna Luigi che cade, e l'Artista di Luigi disegna se stesso che cade. È come se avessero entrambi gli stessi occhi e la stessa memoria. Se Luigi risorge, il quaderno lo aggiorna e Mario lo vede risorgere istantaneamente.

Perché è rivoluzionario?

Fino a oggi, creare un videogioco generativo era come cercare di costruire una città mentre si guida un'auto a 100 km/h senza mappa: si rischiava di finire in un burrone o di vedere i palazzi cambiare forma.

MultiGen dà all'IA una mappa stabile e un quaderno condiviso. Questo significa che:

Puoi disegnare il livello e l'IA lo rispetterà per sempre.
Puoi giocare con gli amici e tutti vedranno la stessa realtà coerente.
Il mondo non diventa "allucinato" o confuso dopo pochi minuti.

In sintesi, MultiGen trasforma l'IA da un "artista che improvvisa" a un "regista esperto con una sceneggiatura e un set stabile", permettendoci di creare mondi di gioco interattivi, modificabili e condivisi in tempo reale.

Each language version is independently generated for its own context, not a direct translation.

Titolo: MultiGen: Progettazione di Livelli per Mondi Multiplayer Modificabili nei Motori di Gioco Diffusivi

1. Il Problema

I recenti progressi nei modelli generativi video (world models) hanno reso possibile la generazione di video interattivi in tempo reale controllabili dalle azioni dell'utente. Tuttavia, i sistemi attuali presentano due limitazioni fondamentali per l'interattività avanzata:

Mancanza di controllo editoriale e riproducibilità: La maggior parte dei modelli genera il mondo "al volo" basandosi su uno stato interno implicito (finestra temporale limitata). Questo rende difficile per gli utenti definire la struttura dell'ambiente in anticipo, portando a roll-out (sessioni di gioco) lunghi che diventano difficili da guidare, non riproducibili e spesso incoerenti con l'intento dell'utente.
Assenza di mondi condivisi: I sistemi attuali sono fondamentalmente esperienze a utente singolo. Non supportano nativamente mondi condivisi dove più giocatori interagiscono in modo coerente attraverso uno stato sottostante comune. Mantenere la consistenza tra diverse prospettive (viewpoint) su lunghi orizzonti temporali è estremamente difficile quando lo stato è implicito e legato alla storia visiva locale di ogni giocatore.

2. Metodologia

Per superare queste limitazioni, gli autori introducono MultiGen, un motore di gioco basato su diffusione che incorpora una memoria esterna esplicita. A differenza dei precedenti motori diffusivi che agiscono come predittori del fotogramma successivo basandosi solo sulla storia visiva recente, MultiGen scompone il sistema in tre moduli specializzati:

A. Memoria Esterna (External Memory)

Il cuore del sistema è una memoria persistente che opera indipendentemente dalla finestra di contesto del modello.

Rappresentazione: Lo stato del mondo è rappresentato da una mappa 2D dall'alto (minimappa) che definisce la geometria statica (pareti, corridoi) e da un insieme di pose dei giocatori (coordinate $x, y$ e angolo di orientamento $\theta$ ).
Funzione: Questa memoria funge da "progetto" (blueprint) persistente. Viene aggiornata dalle azioni degli utenti e interrogata durante tutta la generazione. Permette a più agenti di leggere e scrivere su uno stato condiviso, garantendo coerenza tra le diverse prospettive.

B. Architettura Modulare

Il sistema è diviso in tre componenti distinti:

Modulo Memoria: Mantiene lo stato persistente (mappa $M$ e pose $p_t$ ). Fornisce segnali geometrici (es. profondità ray-traced o disparità) derivati dalla posizione attuale del giocatore rispetto alla mappa.
Modulo Osservazione (Observation Module): Un modello di diffusione (UNet) che genera il prossimo fotogramma visivo ( $o_{t+1}$ $o_{t + 1}$ ). È condizionato da:
- La storia visiva recente ( $L$ frame precedenti).
- Il segnale geometrico estratto dalla memoria ( $r_t$ ).
- L'azione del giocatore ( $a_t$ ).
- Nota: Durante l'addestramento, i frame di contesto vengono corrotti con rumore per migliorare la robustezza contro gli errori di accumulo (drift) durante l'inferenza autoregressiva.
Modulo Dinamica (Dynamics Module): Un piccolo transformer che prevede l'aggiornamento della pose del giocatore ( $\Delta p_t$ ) basandosi sull'azione, sul segnale geometrico e sulle feature intermedie estratte dal modulo di osservazione. Questo modulo aggiorna la memoria esterna per il passo successivo.

C. Inferenza

Durante l'inferenza, il sistema funziona come un simulatore interattivo:

Si interroga la memoria esterna per ottenere i segnali geometrici attuali.
Il modulo di osservazione genera il nuovo frame visivo.
Il modulo di dinamica aggiorna la posizione del giocatore nella memoria.
Il ciclo si ripete. Per la stabilità a lungo termine, viene utilizzata una tecnica di "history guidance" (guida storica) che bilancia la fedeltà alla storia recente con la robustezza agli input imperfetti.

3. Contributi Chiave

Formulazione basata su Memoria Esterna: Introduce un approccio che separa lo stato persistente (bassa dimensionalità, geometrico) dalla generazione delle osservazioni (alta dimensionalità, visiva), permettendo aggiornamenti dello stato condivisi e coerenti.
Architettura Modulare: Sostituisce il paradigma del "singolo modello" con un sistema a tre moduli (Memoria, Osservazione, Dinamica), offrendo un'interfaccia pulita per la lettura/scrittura della memoria esterna.
Due Applicazioni Pratiche:
- Design di Livelli Modificabile: Gli utenti possono definire una mappa grezza (geometria 2D) prima dell'inferenza. Il modello genera un'esperienza coerente con quel layout, permettendo un controllo diretto sulla struttura globale.
- Interazione Multiplayer in Tempo Reale: Supporta roll-out multiplayer dove più giocatori condividono lo stesso stato del mondo. Le azioni di un giocatore influenzano direttamente ciò che vedono gli altri, mantenendo la coerenza delle prospettive incrociate.

4. Risultati Sperimentali

Il lavoro è stato valutato nell'ambiente di gioco Doom, utilizzando un dataset di oltre 10 milioni di frame generati su mappe procedurali.

Design di Livelli (Level Design):
- Confronto con un baseline simile a GameNGen (senza memoria esterna).
- Risultato: MultiGen mostra una maggiore coerenza strutturale (SSIM più alto) e minori distanze percettive (LPIPS più basso), specialmente nelle fasi avanzate del roll-out. Mentre il baseline tende a "allucinare" cambiamenti strutturali o a perdere la forma dei corridoi, MultiGen mantiene la fedeltà alla mappa definita dall'utente grazie al riferimento geometrico persistente.
Interazione Multiplayer:
- Confronto con un baseline "split-screen" (un singolo modello che genera tutte le viste).
- Risultato: MultiGen supera significativamente il baseline nella consistenza delle interazioni. In un test di rilevamento della presenza dell'avversario (usando un modello VLM come giudice), MultiGen ha raggiunto un'accuratezza del 75.38% contro il 65.31% del baseline, con un recall molto superiore (65.07% vs 44.59%).
- Il sistema supporta dinamiche complesse come la morte e il respawn dei giocatori: quando un giocatore muore, viene rimosso dallo stato condiviso e scompare dalla vista degli altri, per poi riapparire coerentemente al respawn.
- Prestazioni: Il sistema gira in tempo reale (~20 FPS per giocatore su una GPU NVIDIA A100), permettendo interazioni fluide.

5. Significato e Conclusioni

MultiGen rappresenta un passo avanti significativo verso motori di gioco generativi controllabili ed estensibili.

Controllo Umano: Permette agli utenti di "disegnare" il mondo (tramite minimappe) e di vedere il modello rispettare quella struttura, risolvendo il problema della deriva (drift) a lungo termine.
Scalabilità Multiplayer: Dimostra che è possibile creare mondi condivisi generativi senza dover addestrare modelli giganti su tutte le combinazioni di prospettive. La separazione tra stato condiviso (memoria) e generazione locale (osservazione) rende il sistema scalabile: aggiungere giocatori significa semplicemente istanziare più moduli di osservazione che leggono la stessa memoria.
Impatto Futuro: Questo approccio modulare e centrato sulla memoria potrebbe diventare lo standard per la creazione di mondi virtuali interattivi, permettendo non solo la generazione di contenuti, ma la progettazione e la modifica dinamica di ambienti complessi in tempo reale.

In sintesi, il paper dimostra che l'integrazione di una memoria esterna esplicita nei modelli di diffusione è la chiave per trasformare i generatori video da semplici predittori di frame a veri e propri motori di gioco interattivi, capaci di supportare la progettazione di livelli e il multiplayer coerente.