ORACLE: Orchestrate NPC Daily Activities using Contrastive Learning with Transformer-CVAE

Each language version is independently generated for its own context, not a direct translation.

Immagina di vivere in un mondo virtuale, come un videogioco o un film animato. Spesso, i personaggi che non sono tu (gli NPC, o "Non-Player Characters") sembrano un po' robotici: fanno le stesse cose allo stesso modo ogni giorno, come un orologio rotto che ticchetta sempre allo stesso ritmo.

Gli autori di questo studio, provenienti dall'Università di Corea, hanno creato un nuovo "cervello" per questi personaggi chiamato ORACLE. Il suo obiettivo è farli vivere come veri esseri umani, con routine quotidiane realistiche, varie e imprevedibili.

Ecco come funziona, spiegato con delle metafore:

1. Il Problema: La Noia del "Loop"

Fino ad ora, per far muovere questi personaggi, gli sviluppatori scrivevano regole rigide (come: "se è l'ora di cena, mangia"). Il risultato? Personaggi noiosi che ripetono sempre la stessa scena. Oppure, si usavano modelli matematici vecchi che, quando provavano a creare qualcosa di nuovo, finivano per incollare pezzi di routine già visti, creando piani assurdi (tipo: "dormire per 20 ore" o "mangiare 10 volte a colazione").

2. La Soluzione: ORACLE, il "Chef Creativo"

ORACLE è un modello di intelligenza artificiale che impara a cucinare piani giornalieri realistici. Non copia e incolla, ma impara a cucinare guardando milioni di ore di dati reali di persone che vivono in case intelligenti (un dataset chiamato CASAS).

Per farlo, ORACLE usa tre ingredienti speciali mescolati insieme:

Il Transformer (Il "Libro di Storia"):
Pensa al Transformer come a un lettore molto attento che ha letto milioni di diari. Sa che dopo "svegliarsi" di solito viene "farsi la doccia", e che "lavorare" non dura 24 ore. È bravo a capire le connessioni a lungo termine, come un regista che sa come va la trama di un film dall'inizio alla fine, senza perdere il filo.
Il CVAE (Il "Dado della Fortuna"):
Qui sta la magia della varietà. Immagina di dover pianificare la giornata di un personaggio. Se usi solo regole fisse, è sempre uguale. ORACLE usa un "dado nascosto" (chiamato variabile latente). Ogni volta che pianifica una giornata, lancia questo dado.
- Esempio: Se il dado esce "1", il personaggio potrebbe andare al parco. Se esce "2", potrebbe leggere un libro. Questo permette a ORACLE di creare migliaia di versioni diverse della stessa giornata, tutte realistiche ma uniche, proprio come la vita vera.
L'Apprendimento Contrastivo (Il "Giudice Severo"):
Questo è il trucco più intelligente. Immagina che ORACLE stia provando a scrivere un diario. A volte, per sbaglio, scrive cose assurde (es. "mangiare 50 panini in un'ora").
L'Apprendimento Contrastivo agisce come un giudice severo o un "controllore di qualità".
- Prende la proposta di ORACLE.
- La confronta con una giornata "normale" (positiva) e una "assurda" (negativa).
- Se ORACLE propone qualcosa di strano, il giudice gli dice: "Ehi, questo non è realistico! Riprova!".
  Questo insegna al modello a scartare le idee pazze e a raffinare quelle buone, rendendo le routine sempre più credibili.

3. Come lo hanno testato?

Hanno fatto due cose principali:

Test Matematici: Hanno confrontato ORACLE con altri modelli vecchi. ORACLE ha vinto perché crea piani più vari (meno noiosi) e più realistici (meno errori assurdi).
Test Umani: Hanno mostrato i piani generati a persone vere. Gli umani hanno detto: "Sì, questo sembra un giorno vero di una persona normale", mentre i vecchi modelli sembravano robot.

4. A cosa serve tutto questo?

Oltre a rendere i videogiochi più belli e immersivi, questa tecnologia può aiutare in modi sorprendenti:

Case Intelligenti: Per prevedere cosa farà una persona e regolare la temperatura o le luci in modo automatico.
Assistenza agli Anziani: Per rilevare se qualcuno ha una routine insolita (es. non si è alzato dal letto) e avvisare i soccorsi.
Pianificazione Urbana: Per simulare come le persone si muovono in una città e migliorare i trasporti.

In Sintesi

ORACLE è come un regista AI che non si limita a seguire un copione scritto a mano. Impara dalla vita reale, lancia un dado per decidere le sorprese della giornata e ha un critico letterario interno che gli dice quando una scena è troppo assurda. Il risultato? Personaggi digitali che non sembrano più macchine, ma veri esseri umani con le loro abitudini, i loro imprevisti e la loro vita quotidiana.

Each language version is independently generated for its own context, not a direct translation.

1. Il Problema

L'integrazione di Personaggi Non Giocanti (NPC) in ambienti digitali (videogiochi, realtà virtuale) è fondamentale per l'immersione dell'utente. Tuttavia, la generazione di piani di attività quotidiane realistiche e diversificate per gli NPC presenta sfide significative:

Ripetizione monotona: Gli approcci convenzionali (basati su regole, HTN, BDI) o i modelli di apprendimento deterministici tendono a produrre comportamenti ripetitivi e privi di variazioni naturali.
Dipendenze a lungo termine: Molti modelli (es. LSTM) faticano a catturare le dipendenze temporali su sequenze lunghe (24 ore), portando a pianificazioni a breve termine incoerenti.
Mancanza di diversità controllata: I modelli generativi esistenti spesso massimizzano la verosimiglianza statistica, finendo per generare solo i pattern più frequenti, ignorando variazioni plausibili ma meno comuni.
Vincoli parziali: È difficile garantire la coerenza quando si integrano vincoli di attività parzialmente definiti (es. un NPC deve essere in un certo luogo a un'ora specifica) senza creare salti temporali irrealistici.
Limiti degli LLM: Sebbene i Large Language Models (LLM) possano pianificare comportamenti, soffrono di latenza elevata, costi computazionali e mancanza di addestramento specifico su dati di routine quotidiane (corpora di 24 ore).

2. Metodologia: Il Framework ORACLE

Gli autori propongono ORACLE (ORchestrate NPC Daily Activities using Contrastive Learning with CVAE), un modello generativo ibrido progettato per sintetizzare piani di attività quotidiane realistiche basandosi sul dataset CASAS (smart home).

L'architettura combina tre componenti principali:

A. Trasformatori e CVAE (Conditional Variational Autoencoder)

Input: Le attività sono discretizzate in token (288 intervalli da 5 minuti per coprire 24 ore) appartenenti a 12 classi principali (es. Dormire, Uscire, Lavoro, Igiene).
Codificatore (Encoder): Utilizza un'architettura Transformer per processare la sequenza di attività e i token di condizione (mascheramento). L'encoder estrae rappresentazioni latenti catturando dipendenze locali e globali.
Spazio Latente: Viene utilizzato un approccio probabilistico (CVAE) per campionare variabili latenti ( $z$ ) da una distribuzione normale. Questo introduce diversità nella generazione, permettendo al modello di creare piani unici invece di output deterministici.
Decodificatore (Decoder): Un decoder Transformer ricostruisce la sequenza di attività condizionando la generazione sia sulla variabile latente che sui vincoli parziali (attività pre-schedulate).

B. Apprendimento Contrastivo (Contrastive Learning)

Questa è l'innovazione chiave per migliorare la qualità e la plausibilità:

Definizione di Positivi e Negativi: Invece di usare solo l'identità dell'istanza, il sistema classifica i campioni generati come "positivi" (se rispettano criteri di plausibilità basati su durata e frequenza, es. non dormire 15 ore) o "negativi" (se violano tali criteri).
Funzione di Perdita: Il modello viene addestrato per avvicinare nello spazio delle rappresentazioni i campioni reali e quelli generati plausibili, e allontanare quelli generati non plausibili.
Vantaggio: Questo meccanismo agisce come una supervisione debole, correggendo le sequenze "quasi corrette" ma irrealistiche, riducendo il bias di esposizione e migliorando la generalizzazione senza richiedere pre-addestramento massiccio.

C. Preprocessing e Filtraggio Dati

Il dataset CASAS è stato pre-elaborato per gestire lo sbilanciamento delle classi e i dati mancanti:

Le 42-46 classi originali sono state raggruppate in 12 categorie principali.
Sono stati applicati criteri di filtraggio rigorosi (basati su logica comune, sondaggi utente e validazione esperti) per rimuovere sequenze con durate o frequenze anomale (es. pasti troppo lunghi o assenti).

3. Contributi Chiave

Nuovo Modello Generativo: Introduzione di ORACLE, che integra modellazione a variabili latenti e apprendimento contrastivo per la sintesi di routine quotidiane.
Flessibilità: Il modello supporta sia la generazione completa di un programma (da zero) sia l'integrazione di attività parzialmente definite (completamento di vincoli), adattandosi a diversi scenari applicativi.
Framework di Apprendimento Contrastivo Adattato: Proposta di un metodo specifico per la generazione di sequenze discrete a lungo termine, che migliora la coerenza contestuale e la diversità.
Validazione Estensiva: Confronto con modelli basati su LSTM e Transformer, analisi di ablation study, e uno studio utente per valutare la qualità soggettiva.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti sui dataset "Apartment" e "Home" di CASAS, confrontando ORACLE con modelli baseline (Bowman-LSTM-VAE, Vaswani-Transformer, Koushik-biLSTM).

Generazione Casuale (Random Generation):
- ORACLE supera i baseline in tutte le metriche.
- Wasserstein Distance (WD): Più bassa, indicando una distribuzione dei dati generati più vicina alla realtà.
- LLM Score: Più alto, suggerendo che un LLM valuta i piani generati come più umani e plausibili.
- Diversità (Distinct-10/15): ORACLE genera sequenze molto più varie, evitando il collasso modale (ripetizione degli stessi pattern).
Generazione Condizionata (Conditional Generation):
- ORACLE mantiene un'eccellente coerenza con i vincoli imposti, superando i modelli basati su Transformer standard in termini di diversità e aderenza ai criteri di realtà (REAL-Condition).
- Sebbene la distanza di allineamento (SAM) sia leggermente inferiore rispetto a un biLSTM puro (a causa della natura stocastica che favorisce la diversità), ORACLE eccelle quando i vincoli sono molto stringenti (>90% mascheramento).
Analisi di Memorizzazione: Un'analisi k-NN ha dimostrato che ORACLE non memorizza e copia le sequenze di addestramento (nessuna corrispondenza esatta), ma apprende la distribuzione sottostante.
Studio Utente: I partecipanti hanno valutato i piani generati da ORACLE come più diversificati, naturali e sostenibili rispetto ai modelli di riferimento e persino rispetto a LLM generici non addestrati su questo dominio.

5. Significato e Implicazioni

Il lavoro di ORACLE rappresenta un passo avanti significativo nella creazione di agenti digitali credibili:

Realismo negli Ambienti Digitali: Permette di popolare mondi virtuali con NPC che seguono routine quotidiane complesse e non ripetitive, aumentando l'immersione.
Applicazioni Pratiche: Oltre ai videogiochi, il framework ha potenziale in:
- Automazione delle smart home.
- Sistemi di supporto per anziani (simulazione di routine).
- Pianificazione urbana e gestione delle strutture.
Efficienza: A differenza degli LLM, ORACLE è un modello compatto e specializzato, privo dei costi di inferenza elevati e delle limitazioni di governance delle API commerciali, rendendolo adatto a contesti industriali con risorse limitate.

In conclusione, ORACLE dimostra che l'integrazione di modelli generativi probabilistici (CVAE) con tecniche di raffinamento discriminativo (Contrastive Learning) è una strategia efficace per superare le limitazioni dei modelli sequenziali tradizionali, producendo piani di attività umani, diversificati e coerenti.