ORACLE: Orchestrate NPC Daily Activities using Contrastive Learning with Transformer-CVAE

Each language version is independently generated for its own context, not a direct translation.

🎭 Le Problème : Des personnages de jeu vidéo trop robots

Imaginez un jeu vidéo ou un monde virtuel rempli de personnages (les PNJ ou Non-Player Characters). Souvent, ces personnages sont un peu ennuyeux. Ils font toujours la même chose : ils marchent, s'arrêtent, répètent le même geste, et recommencent. C'est comme un disque rayé.

Pour rendre un monde virtuel vivant, il faut que ces personnages aient une vie "réelle". Ils doivent dormir, manger, travailler, se laver, sortir, etc., avec des horaires qui changent un peu chaque jour, tout comme nous. Mais créer ces emplois du temps réalistes est très difficile pour les ordinateurs. Les anciennes méthodes soit étaient trop rigides (comme un robot qui suit un script), soit produisaient des résultats bizarres (comme quelqu'un qui mange son petit-déjeuner à 3 heures du matin).

🧠 La Solution : ORACLE, le Chef Cuisinier des Routines

Les chercheurs de l'Université de Corée ont créé un nouveau modèle appelé ORACLE. Pour comprendre comment il fonctionne, imaginons-le comme un Chef Cuisinier très talentueux qui apprend à préparer des menus pour une journée entière (24 heures).

Ce chef ne se contente pas de copier-coller des recettes. Il utilise trois ingrédients magiques pour créer des menus uniques et réalistes :

1. Le Transformer : Le Grand Livre de Mémoire

Imaginez que le chef a une mémoire incroyable. Il ne regarde pas seulement ce qu'il a mangé il y a 5 minutes, mais il se souvient de tout ce qui s'est passé dans la journée.

L'analogie : C'est comme si vous lisiez un livre entier pour comprendre l'histoire, au lieu de juste regarder la phrase précédente. Cela permet au chef de savoir que si un personnage a "travaillé" toute la matinée, il est logique qu'il ait "faim" et "dormant" le soir, et non l'inverse.

2. Le CVAE (Auto-encodeur Variationnel Conditionnel) : Le Cube de Magie de la Créativité

C'est ici que la magie opère. Si le chef devait juste copier des journées existantes, il serait ennuyeux. Le CVAE est comme un cube de magie qui permet de varier les plaisirs tout en restant logique.

L'analogie : Imaginez que le chef doit préparer un repas. Le cube lui dit : "Aujourd'hui, on fait un peu plus de sport, mais on garde le même temps de sommeil." Le chef utilise ce cube pour générer des journées différentes, mais qui restent crédibles. Il peut aussi dire : "Le personnage a déjà décidé de travailler de 9h à 12h, maintenant, invente le reste de la journée !"

3. L'Apprentissage Contrastif : Le Critique de Cuisine Sévère

C'est l'ingrédient le plus important. Le chef ne se contente pas de cuisiner ; il a un critique de cuisine très strict à ses côtés.

L'analogie : À chaque fois que le chef propose un menu, le critique le goûte.
- Si le menu dit "Le personnage dort 20 heures par jour", le critique crie : "NON ! C'est impossible !" (C'est un échantillon "négatif").
- Si le menu dit "Le personnage dort 8 heures, mange, travaille et se repose", le critique dit : "Parfait !" (C'est un échantillon "positif").
- Grâce à ce jeu de "proche/loin" (le chef apprend à s'éloigner des idées folles et à se rapprocher des idées réalistes), le chef s'améliore sans jamais avoir besoin de voir des millions de journées réelles.

📊 Comment l'ont-ils testé ?

Les chercheurs ont nourri ce chef avec des données réelles de maisons intelligentes (le jeu de données CASAS), qui enregistrent ce que font les gens chez eux (dormir, cuisiner, etc.).

Ils ont demandé à ORACLE de créer des journées pour des personnages virtuels et ont comparé le résultat avec d'autres méthodes :

Réalisme : Les journées créées ressemblent-elles à la vraie vie ? (Oui, beaucoup plus que les autres modèles).
Diversité : Est-ce que chaque journée est unique ? (Oui, le chef ne répète pas les mêmes plats).
Flexibilité : Si on impose une tâche (ex: "Il doit travailler à 10h"), le chef réussit-il à organiser le reste de la journée ? (Oui, parfaitement).

🌟 Pourquoi c'est important ?

Ce n'est pas juste pour les jeux vidéo. Imaginez :

Des maisons intelligentes qui comprennent mieux vos habitudes pour économiser l'énergie.
Des systèmes pour les personnes âgées qui peuvent détecter si une routine anormale (ex: quelqu'un qui ne se lève pas) signale un problème de santé.
Des simulations urbaines pour voir comment les gens se déplacent dans une ville.

En résumé

ORACLE est comme un chef cuisinier numérique qui, grâce à une mémoire puissante, un cube de créativité et un critique sévère, apprend à inventer des journées entières pour des personnages virtuels. Il ne les copie pas bêtement, il les imagine de manière à ce qu'elles soient à la fois variées et parfaitement réalistes, rendant les mondes virtuels beaucoup plus vivants et immersifs.

Each language version is independently generated for its own context, not a direct translation.

1. Problématique et Contexte

L'intégration de personnages non joueurs (PNJ) réalistes dans les environnements numériques (jeux vidéo, réalité virtuelle) est cruciale pour l'immersion utilisateur. Cependant, les approches traditionnelles de modélisation des PNJ souffrent de plusieurs limitations majeures :

Répétition monotone : Les méthodes basées sur des règles scriptées ou des réseaux de tâches hiérarchiques (HTN) produisent des comportements prévisibles et manquent de variabilité.
Dépendances à long terme : Les modèles séquentiels classiques (comme les LSTM) peinent à capturer les dépendances à long terme nécessaires pour planifier des routines quotidiennes cohérentes sur 24 heures, souffrant souvent de problèmes de gradients disparaissants.
Manque de diversité contrôlée : Les modèles génératifs déterministes tendent à produire des sorties répétitives. De plus, les modèles basés sur les grands modèles de langage (LLM) sont coûteux en calcul, latents et souvent mal adaptés aux données spécifiques de routines quotidiennes sans un fine-tuning massif.
Données déséquilibrées : Les jeux de données réels (comme CASAS) présentent un déséquilibre sévère entre les activités fréquentes (dormir) et rares (exercer), ainsi que des séquences incomplètes.

L'objectif est de développer un modèle génératif capable de synthétiser des plans d'activités quotidiennes réalistes et diversifiés pour des PNJ, tout en respectant des contraintes temporelles et contextuelles.

2. Méthodologie : Le Framework ORACLE

Les auteurs proposent ORACLE (ORchestrate NPC Daily Activities using Contrastive Learning with CVAE), un cadre génératif novateur combinant trois piliers technologiques :

A. Traitement des Données (Dataset CASAS)

Le modèle est entraîné sur le jeu de données CASAS Smart Home, contenant des séquences d'activités intérieures de 24 heures.

Prétraitement : Les données brutes (42-46 classes d'activités) sont consolidées en 12 classes majeures (Sommeil, Sortie, Repos, Travail, Hygiène, Toilette, Habillage, Cuisine, Repas, Corvées, Collation, Médicaments).
Filtrage : Un processus rigoureux élimine les séquences irréalistes en se basant sur des critères de durée et de fréquence validés par des experts, des utilisateurs et l'IA (ChatGPT).
Formatage : Les séquences sont divisées en intervalles de 5 minutes, créant des séquences de 288 tokens par jour.

B. Architecture du Modèle : Transformer-CVAE

ORACLE utilise une architecture hybride pour gérer la stochasticité et le contrôle :

Transformers : Utilisés pour capturer les dépendances à long terme et gérer les relations complexes entre les activités sur une séquence longue (288 pas de temps), surpassant les capacités des RNN/LSTM.
CVAE (Conditional Variational Autoencoder) : Introduit une variable latente ( $z$ $z$ ) pour permettre la génération de séquences diversifiées tout en maintenant la cohérence.
- Encodage : Un encodeur Transformer traite les tokens d'activité et les tokens de condition (masquage) pour produire une distribution latente (moyenne $\mu$ et variance $\sigma$ ).
- Décodage : Un décodeur Transformer utilise l'échantillonnage de la variable latente et les conditions (activités pré-définies ou masquées) pour reconstruire la séquence complète.
Flexibilité : Le modèle supporte à la fois la génération complète (de zéro) et l'augmentation de séquences partiellement définies (remplissage de trous).

C. Apprentissage Contrastif (Contrastive Learning)

C'est l'innovation clé pour améliorer la qualité et la vraisemblance :

Mécanisme : Au lieu de se fier uniquement à la vraisemblance maximale (MLE), le modèle est entraîné à distinguer les séquences générées "plausibles" (positives) des séquences "improbables" (négatives) selon les critères de filtrage (Tableau 1).
Fonction de perte : Une perte contrastive pousse le modèle à rapprocher les séquences réalistes et à éloigner les séquences irréalistes dans l'espace latent.
Avantage : Cela agit comme une supervision faible pour corriger les séquences "presque réalistes" mais incohérentes, réduisant le biais d'exposition et améliorant la généralisation sans nécessiter de modèle pré-entraîné massif.

3. Contributions Clés

Modèle Génératif Hybride : Introduction d'un modèle combinant Transformers et CVAE spécifiquement conçu pour la synthèse de routines quotidiennes humaines, offrant un équilibre entre diversité et cohérence.
Cadre d'Apprentissage Contrastif Adapté : Développement d'une méthode d'apprentissage contrastif dédiée à la génération de séquences discrètes à long horizon, utilisant des critères de plausibilité plutôt que l'identité des instances.
Flexibilité d'Application : Capacité du modèle à fonctionner dans deux modes : génération aléatoire complète et complétion conditionnelle (augmentation de plans partiellement définis).
Validation Rigoureuse : Évaluation comparative étendue incluant des métriques quantitatives, une analyse d'ablation et une étude utilisateur.

4. Résultats Expérimentaux

Les expériences ont été menées sur les sous-ensembles "Apartment" et "Home" du dataset CASAS, comparant ORACLE à des modèles de base (Bowman-LSTM-VAE, Vaswani-Transformer, Koushik-biLSTM).

Génération Aléatoire :
- ORACLE surpasse les modèles LSTM et VAE classiques avec une distance de Wasserstein (WD) plus faible (meilleure adéquation de distribution).
- Score LLM : Plus élevé, indiquant une meilleure perception de réalisme par une IA.
- Diversité : Scores Distinct-10/15 supérieurs, prouvant une réduction de l'effondrement de mode (moins de répétition).
Génération Conditionnelle :
- Bien que la distance d'alignement de séquence (SAM) soit parfois inférieure à celle des modèles déterministes (en raison de la nature stochastique favorisant la diversité), ORACLE excelle lorsque le taux de masquage est élevé (>90%).
- Il maintient une meilleure cohérence contextuelle et une plus grande variété de solutions valides sous contraintes.
Analyse d'Ablation :
- La suppression de l'apprentissage contrastif (ORACLE-C) ou du Transformer au profit d'un LSTM (ORACLE-T) entraîne une baisse significative des performances, confirmant l'importance de ces deux composants.
- La visualisation t-SNE montre que l'apprentissage contrastif sépare clairement les échantillons réalistes des irréalistes, contrairement aux variantes sans contraste.
Étude Utilisateur :
- Une étude avec 11 participants a confirmé que les plans générés par ORACLE sont perçus comme plus diversifiés, naturels et durables que ceux des modèles de référence et même que des LLM génériques non spécialisés.

5. Signification et Perspectives

Signification :
ORACLE démontre qu'il est possible de créer des agents virtuels avec des routines quotidiennes hautement réalistes sans recourir à des LLM coûteux ou à des systèmes de règles manuelles complexes. L'approche proposée résout le compromis traditionnel entre la diversité des sorties et la cohérence temporelle, offrant un outil puissant pour l'immersion dans les jeux vidéo, la simulation urbaine et la gestion des bâtiments intelligents.

Limites et Futur :
Le modèle est actuellement limité aux comportements inférés à partir de données de maisons intelligentes, ce qui restreint sa capacité à gérer des activités personnalisées ou hors domicile. Les auteurs envisagent d'intégrer des stratégies d'apprentissage par renforcement et d'explorer des jeux de données plus vastes pour simuler une gamme plus large de comportements humains dans divers environnements.

En résumé, ORACLE représente une avancée significative dans la génération de comportements d'agents autonomes, combinant l'efficacité des Transformers, la flexibilité des modèles variationnels et la rigueur de l'apprentissage contrastif.