ORACLE: Orchestrate NPC Daily Activities using Contrastive Learning with Transformer-CVAE

Each language version is independently generated for its own context, not a direct translation.

🎮 De Droom van de Levensechte Virtuele Buurman

Stel je voor dat je een virtuele wereld bezoekt, zoals in een videogame of in Virtual Reality. Vaak voelen de personages die je daar tegenkomt (de NPC's of 'Non-Player Characters') een beetje saai. Ze doen precies hetzelfde elke dag: 's ochtends opstaan, naar de winkel lopen, en dan weer naar huis. Het is als een opname die steeds opnieuw wordt afgespeeld.

De auteurs van dit paper willen dit veranderen. Ze hebben een slimme nieuwe computerprogramma bedacht, genaamd ORACLE. Het doel? NPC's maken die zich gedragen als echte mensen, met een dagindeling die net zo onvoorspelbaar en natuurlijk aanvoelt als die van jou en mij.

🧠 Het Probleem: De "Gekke Kip" versus de "Slimme Mens"

Vroeger werden deze personages bestuurd door simpele regels (als dit, dan dat) of door kunstmatige intelligentie die probeerde te leren, maar vaak vastliep.

Het probleem: De oude methodes maakten NPC's die ofwel te voorspelbaar waren (altijd op hetzelfde tijdstip eten), ofwel te chaotisch (soms uren slapen, dan ineens uren rennen).
De uitdaging: Mensen doen dingen in een bepaald patroon, maar niet exact hetzelfde elke dag. Soms drink je koffie, soms thee. Soms werk je langer, soms ga je eerder naar bed. Computers vinden dit lastig omdat ze houden van strakke patronen.

🛠️ De Oplossing: ORACLE (De "Slimme Chef")

De onderzoekers hebben ORACLE gebouwd als een soort super-chef die maaltijden (in dit geval: dagplannen) bedenkt. Maar in plaats van alleen recepten te volgen, leert deze chef door te kijken naar echte mensen.

Ze hebben een enorme database gebruikt van een "slim huis" (het CASAS-dataset), waar sensoren 24 uur per dag hebben bijgehouden wat mensen deden: slapen, koken, werken, douchen, etc.

Om dit allemaal te regelen, gebruiken ze drie slimme trucjes:

1. De Transformer (De "Geduldige Lezer")

Stel je voor dat je een heel lang verhaal moet lezen. Een oude computer (zoals een LSTM) vergeet vaak wat er aan het begin van het verhaal stond als het verhaal te lang wordt.
ORACLE gebruikt echter een Transformer. Dit is als een superlezer die het hele verhaal in één keer kan "scannen". Hij ziet direct het verband tussen 's ochtends opstaan en 's avonds slapen, zelfs als er uren tussen zitten. Dit zorgt voor een dagplanning die logisch loopt van begin tot eind.

2. De CVAE (De "Kreatieve Variatie")

Als een computer alleen maar leert van voorbeelden, neigt hij ernaar om exact hetzelfde te kopiëren. Dat is saai.
ORACLE gebruikt een CVAE (een Conditional Variational Autoencoder). Denk hierbij aan een kunstenaar met een doos vol verf.

De computer kijkt naar de basis (bijvoorbeeld: "Ik moet werken").
Maar dankzij de CVAE kan hij kiezen: "Vandaag werk ik in de ochtend" of "Vandaag werk ik in de middag".
Het zorgt ervoor dat elke dagplanning uniek is, maar wel binnen de regels van de realiteit. Het is alsof de computer een "droom" maakt die plausibel is, in plaats van een kopie.

3. Contrast Learning (De "Strenge Oefenmeester")

Dit is misschien wel het coolste deel. Stel je voor dat de computer een dagplanning maakt. Soms maakt hij een fout, bijvoorbeeld: "De persoon eet ontbijt, doucht, en eet dan direct weer ontbijt." Dat is raar.
ORACLE heeft een oefenmeester (Contrastive Learning) die twee dingen doet:

Hij kijkt naar een goed voorbeeld (een "positief" voorbeeld).
Hij kijkt naar een slecht voorbeeld (een "negatief" voorbeeld, zoals de dubbele ontbijten).
Hij zegt tegen de computer: "Kijk, dit goede voorbeeld is dichtbij, dit slechte voorbeeld is ver weg. Leer het verschil!"
Dit zorgt ervoor dat de computer leert wat echt menselijk gedrag is en wat onmogelijk is, zonder dat iemand handmatig regels hoeft in te voeren.

🎲 Hoe werkt het in de praktijk?

ORACLE kan op twee manieren worden gebruikt:

Vanaf nul: Je vraagt de computer: "Maak een dagplanning voor een NPC." En hij bedenkt er eentje die 100% realistisch is.
Invullen: Je zegt: "Deze persoon moet om 09:00 werken en om 18:00 eten." De computer vult de rest van de dag in (tussendoor douchen, lunchen, etc.) op een manier die logisch en natuurlijk aanvoelt.

🏆 Wat zeggen de resultaten?

De onderzoekers hebben ORACLE getest tegen andere bekende methodes en zelfs tegen grote taalmodellen (zoals ChatGPT).

Resultaat: ORACLE wint. De dagplanningen die ORACLE maakt, voelen minder als een robot en meer als een mens.
Verscheidenheid: Het maakt niet elke dag hetzelfde. Net als jij, heeft de NPC soms een drukke dag en soms een rustige dag.
Realisme: Mensen die de plannen beoordeelden, vonden ze geloofwaardig. Ze zouden er zelf ook een week mee kunnen leven.

🚀 Waarom is dit belangrijk?

Dit is niet alleen leuk voor videogames.

Slimme huizen: Het kan helpen om te voorspellen wat ouderen nodig hebben in hun dagelijkse leven.
Stadsplanning: Het kan helpen om te zien hoe mensen door een stad bewegen.
Virtual Reality: Het maakt virtuele werelden veel levendiger en minder saai.

Conclusie

Kortom: ORACLE is een slimme computer die leert hoe mensen hun dag indelen door te kijken naar echte data, en dan zelf creatieve, maar realistische dagplannen bedenkt. Het is alsof je een virtuele buurman hebt die niet alleen een programma volgt, maar echt "leeft".

Each language version is independently generated for its own context, not a direct translation.

Probleemstelling

De integratie van Non-Player Characters (NPCs) in digitale omgevingen (zoals video games en VR) is cruciaal voor de immersie en cognitieve betrokkenheid van gebruikers. Echter, het genereren van realistische, diverse en contextueel samenhangende dagelijkse activiteiten voor NPCs blijft een grote uitdaging. Bestaande methoden hebben drie fundamentele beperkingen:

Gebrek aan langetermijnafhankelijkheid: Traditionele recurrente modellen (zoals LSTM) hebben moeite met lange sequenties (24 uur) door het probleem van verdwijnende gradiënten, wat leidt tot kortetermijnplanning zonder realistische tijdscoherentie.
Gebrek aan diversiteit en controle: Deterministische modellen produceren vaak repetitieve output. Ze optimaliseren voor waarschijnlijkheidsmaximalisatie, wat leidt tot het genereren van frequente patronen in plaats van zeldzame maar plausibele variaties.
Moeilijkheden bij het integreren van constraints: Het is lastig om vooraf gedefinieerde activiteiten (bijv. een vastgestelde afspraak) te combineren met gegenereerde sequenties zonder onrealistische gaten of abrupte overgangen te creëren.

Daarnaast zijn Large Language Models (LLMs) vaak te zwaar, duur en niet getraind op specifieke 24-uurs activiteitscorpora, waardoor ze generieke of inconsistente schema's opleveren.

Methodologie: Het ORACLE Framework

ORACLE is een nieuw generatief model dat drie kerncomponenten combineert om realistische indoor dagelijkse activiteiten te synthetiseren, getraind op het CASAS Smart Home Dataset (met 24-uurs sequenties van sensoren).

Data Voorverwerking:
- Het dataset (Apartment en Home) wordt gefilterd op basis van duur en frequentie per activiteit (bijv. slapen 5-12 uur, hygiëne minimaal 1x per dag).
- Activiteiten worden gegroepeerd tot 12 hoofdclassificaties (Slapen, Uitgaan, Rust, Werk, Hygiëne, Toilet, Kleden, Koken, Maaltijd, Huiswerk, Snack, Medicijnen).
- De data wordt omgezet in sequenties van 288 tokens (elk 5 minuten), wat resulteert in een discrete 24-uurs planning.
Architectuur: Transformer-CVAE:
- Encoder: Een Transformer-encoder verwerkt de activiteitstokens en conditionele tokens (maskering). Het gebruikt self-attention om zowel lokale als globale afhankelijkheden te vangen.
- Latente Variabelen (CVAE): De encoder output wordt gemapt naar een latente ruimte (mean $\mu$ en variance $\sigma$ ). Via de reparametrization trick wordt een latente vector $z$ gesampled. Dit introduceert stochasticiteit, waardoor het model diverse plannen kan genereren in plaats van deterministische output.
- Decoder: Een Transformer-decoder gebruikt cross-attention om de latente vector $z$ te combineren met de conditionele input (bijv. een deels ingevuld schema) om de volledige dagplanning te reconstrueren of te genereren.
- Trainingsdoel: Minimale negatieve log-likelihood (reconstructie) gecombineerd met KL-regularisatie om de latente ruimte te structureren.
Contrastive Learning:
- Dit is een innovatieve toevoeging om de kwaliteit en realisme te verbeteren.
- Het model genereert samples die worden geëvalueerd op basis van plausibiliteitscriteria (uit Tabel 1).
- Positieve samples: Sequenties die voldoen aan de criteria.
- Negatieve samples (Hard Negatives): Sequenties die semantisch of structureel dicht bij de data liggen, maar de criteria schenden (onrealistisch).
- De loss-functie duwt het model ertoe om de latente representaties van realistische en onrealistische sequenties uit elkaar te houden. Dit fungeert als een vorm van "weak supervision" om het model te leren onderscheid te maken tussen plausibele en onplausibele dagplannen.

Belangrijkste Bijdragen

Nieuw Generatief Model: Introductie van ORACLE, dat latent variable modeling (CVAE) combineert met contrastive learning voor NPC-activiteitssynthese.
Flexibiliteit: Het model ondersteunt zowel het genereren van volledige schema's vanaf nul als het aanvullen van deels gedefinieerde schema's (conditional generation).
Contrastive Learning Framework: Een specifiek ontworpen framework voor menselijke activiteitsmodellering dat de coherentie van dagelijkse routines verbetert door onrealistische patronen actief te straffen.
Uitgebreide Validatie: Een robuust evaluatiekader met vergelijkingen met bestaande methoden, een ablatiestudie, en een gebruikersstudie.

Resultaten

De prestaties van ORACLE werden getest op het Apartment en Home dataset, vergeleken met modellen zoals Bowman (LSTM-VAE), Vaswani (Transformer) en Koushik (biLSTM).

Random Generatie: ORACLE presteerde superieur op alle metrics:
- Wasserstein Distance (WD): Lagere scores (dichtere verdeling aan de echte data).
- LLM Score: Hogere scores (realistischere output beoordeeld door ChatGPT).
- Diversiteit (Distinct-10/15): Significant hogere scores, wat aantoont dat het model minder last heeft van "mode collapse" en diverse unieke sequenties genereert.
- REAL-Random: Hogere scores, wat aangeeft dat gegenereerde plannen vaker voldoen aan de menselijke plausibiliteitscriteria.
Conditionele Generatie: ORACLE toonde een betere balans tussen het voldoen aan constraints en het behouden van diversiteit. Hoewel het op de Sequence Alignment Method (SAM) soms iets achterbleef bij pure reconstructiemodellen (vanwege de focus op diversiteit), presteerde het beter bij hoge maskering (>90%) en had het de hoogste REAL-Condition en Diversiteitscores.
Geen Memorization: Een kNN-analyse toonde aan dat ORACLE geen enkele trainingssample exact kopieerde (0% exacte matches), wat bewijst dat het model generaliseert in plaats van te memoriseren.
Gebruikersstudie: Menselijke beoordelaars gaven ORACLE hogere scores voor diversiteit, natuurlijkheid, haalbaarheid en duurzaamheid in vergelijking met de benchmarkmodellen en recente LLMs.
Ablatie Study: Het verwijderen van contrastive learning (ORACLE-C) of het vervangen van de Transformer door een LSTM (ORACLE-T) resulteerde in een duidelijke prestatiedaling, wat de noodzaak van beide componenten bevestigt.

Betekenis en Toekomstperspectief

ORACLE biedt een compacte, domeinspecifieke oplossing voor het genereren van NPC-gedrag die de beperkingen van zware LLMs en starre regelgebaseerde systemen overbrugt.

Toepassingen: Het model heeft potentie voor slimme huisautomatisering, ondersteuningssystemen voor ouderen, stedelijke planning en faciliteitsmanagement.
Beperkingen: Het model is momenteel beperkt tot gegeneraliseerd gedrag binnen de thuisomgeving (gebaseerd op CASAS-data) en kan geen gepersonaliseerd gedrag of activiteiten buiten de deur voorspellen.
Toekomst: De auteurs plannen onderzoek naar het integreren van versterkingsleer (reinforcement learning) om een breder scala aan menselijke beslissingsprocessen in diverse omgevingen te simuleren.

Kortom, ORACLE demonstreert dat een combinatie van Transformer-architecturen, variabele latent spaces en contrastive learning leidt tot robuustere, diversere en realistischere dagplanningen voor digitale agenten.