ORACLE: Orchestrate NPC Daily Activities using Contrastive Learning with Transformer-CVAE

Each language version is independently generated for its own context, not a direct translation.

¡Hola! Imagina que estás jugando a un videojuego o viendo una película de ciencia ficción. A veces, los personajes que no controlas (los NPCs, o "personajes no jugables") se sienten un poco... robóticos. Hacen lo mismo una y otra vez: caminan de un lado a otro, se sientan en la misma silla y se levantan. Es como si tuvieran un bucle infinito en su cabeza.

Los autores de este paper, un equipo de la Universidad de Corea, quieren arreglar eso. Han creado algo llamado ORACLE.

Aquí te explico cómo funciona, usando analogías sencillas:

1. El Problema: El "Guion Roto"

Antes, para hacer que un personaje viviera su día, los programadores tenían que escribir reglas manuales (como: "si es de día, come"). Esto hacía que los personajes fueran predecibles y aburridos. O bien, usaban inteligencia artificial que aprendía de datos, pero a menudo se "atascaba" repitiendo las mismas rutinas o haciendo cosas imposibles (como dormir 20 horas seguidas o cocinar 10 veces al día).

2. La Solución: ORACLE (El Director de Orquesta)

ORACLE es un nuevo "cerebro" artificial diseñado para inventar rutinas diarias realistas para estos personajes. Piensa en ORACLE como un director de orquesta muy creativo que no solo sigue una partitura, sino que improvisa música que suena humana y natural.

Para entrenar a este director, usaron un "libro de recetas" gigante llamado CASAS. Es un conjunto de datos que registra cómo personas reales viven sus días en casas inteligentes (cuándo duermen, comen, trabajan, etc.).

3. Las Tres Herramientas Mágicas de ORACLE

Para que su cerebro funcione bien, combinaron tres tecnologías avanzadas como si fueran ingredientes en una receta secreta:

El Transformer (El Observador de Largo Plazo):
Imagina que tienes que planear tu semana entera. Un cerebro antiguo (como los modelos viejos) solo recordaba lo que hiciste hace 5 minutos y olvidaba que desayunaste hace 8 horas. El Transformer es como un observador con una memoria fotográfica. Puede ver el "día completo" de una sola vez, entendiendo que si el personaje está durmiendo a las 3 de la mañana, no debería estar cocinando a las 3:05. Entiende las conexiones a lo largo de todo el día.
El CVAE (El Cubo de Dados Creativo):
Aquí está la magia de la variedad. Si solo le pides a una IA que imite datos, copiará lo mismo una y otra vez. El CVAE es como un cubo de dados mágico. Cuando ORACLE va a crear un día, tira los dados para decidir cómo será ese día específico.
- ¿Quieres un día de lluvia donde el personaje se queda en casa leyendo? ¡Tira los dados!
- ¿Quieres un día de fiesta donde sale a bailar? ¡Tira los dados otra vez!
  Esto asegura que cada rutina sea única, pero siempre dentro de lo lógico.
El Aprendizaje Contrastivo (El Crítico de Arte Estricto):
Esta es la parte más interesante. Imagina que ORACLE dibuja un día. A veces, el dibujo es genial; otras veces, dibuja algo ridículo (como "bañarse" durante 10 horas seguidas).
El Aprendizaje Contrastivo actúa como un crítico de arte muy estricto.
- Le muestra a la IA dos dibujos: uno realista (positivo) y uno absurdo (negativo).
- Le dice: "¡Mira! Este es bueno, este es malo. ¡Acércate al bueno y aléjate del malo!".
  Gracias a esto, la IA aprende a detectar rápidamente qué rutinas son "imposibles" y las descarta antes de mostrarlas.

4. ¿Qué logra ORACLE?

Gracias a esta combinación, ORACLE puede hacer dos cosas increíbles:

Crear un día completo desde cero: Le das una hoja en blanco y te devuelve un horario de 24 horas que parece de una persona real.
Completar un día a medias: Si le dices "El personaje está trabajando de 9 a 5", ORACLE inventa el resto del día (qué hace antes, qué come después, cuándo duerme) de forma coherente.

5. ¿Por qué es importante?

No es solo para videojuegos. Imagina:

Casas inteligentes: Que se adapten a tu rutina real.
Simulaciones urbanas: Para planear ciudades más humanas.
Cuidado de ancianos: Sistemas que detectan si alguien se desvía de su rutina normal (por ejemplo, si no se ha levantado a comer a la hora habitual).

En resumen

ORACLE es como un guionista de IA que ha leído miles de diarios reales, tiene una memoria perfecta para ver el cuadro completo, un cubo de dados para ser creativo y un crítico interno que se asegura de que nada sea absurdo. El resultado son personajes digitales que no solo "actúan", sino que realmente "viven" sus días de forma creíble y variada.

Each language version is independently generated for its own context, not a direct translation.

Resumen Técnico: ORACLE

1. El Problema

La integración de Personajes No Jugadores (NPCs) en entornos digitales (videojuegos, realidad virtual) es crucial para la inmersión del usuario. Sin embargo, la generación de rutinas diarias realistas y diversas para estos NPCs presenta desafíos significativos:

Repetición Monótona: Los enfoques tradicionales basados en reglas o redes neuronales recurrentes (LSTM) tienden a producir secuencias predecibles y cíclicas, careciendo de la variabilidad natural de la vida humana.
Dependencias a Largo Plazo: Los modelos existentes a menudo fallan al capturar dependencias temporales complejas en secuencias largas (24 horas), debido a problemas de gradientes desaparecidos en arquitecturas recurrentes.
Falta de Control y Coherencia: Es difícil generar planes que sean tanto diversos como coherentes con restricciones parciales (ej. un NPC que ya tiene programada una actividad específica).
Limitaciones de los LLMs: Aunque los Grandes Modelos de Lenguaje (LLMs) pueden planificar comportamientos, su alto costo computacional, latencia y falta de entrenamiento específico en datos de rutinas diarias (24 horas) los hacen poco viables para entornos industriales o de tiempo real.
Desafíos en los Datos: El conjunto de datos CASAS (utilizado para el entrenamiento) presenta desequilibrio de clases (algunas actividades son muy frecuentes, otras raras), datos no etiquetados y ciclos de 24 horas incompletos.

2. Metodología

El authors proponen ORACLE (ORchestrate NPC Daily Activities using Contrastive Learning with CVAE), un marco generativo que combina tres componentes clave para sintetizar planes de actividades diarias realistas basados en el conjunto de datos CASAS (Smart Home).

Preprocesamiento de Datos:
- Se consolidaron 42-46 clases de actividad originales en 12 categorías principales (Dormir, Salir, Descansar, Trabajar, Higiene, Baño, Vestir, Cocinar, Comer, Tareas, Snacks, Medicina) para mitigar el desequilibrio.
- Se filtraron secuencias no realistas basándose en criterios de duración y frecuencia (validados por expertos y encuestas).
- Las secuencias se estandarizaron en intervalos de 5 minutos (288 tokens por día).
Arquitectura del Modelo (Transformer-CVAE):
- Codificador (Transformer): Utiliza mecanismos de auto-atención para procesar secuencias de actividades y condiciones (máscaras), capturando dependencias globales y locales.
- Modelo Variacional (CVAE): Introduce variables latentes ( $z$ ) para permitir la generación estocástica. Esto asegura que el modelo no solo memorice patrones frecuentes, sino que explore variaciones plausibles, evitando el colapso de modos.
- Generación Condicional: El modelo puede generar un horario completo desde cero o completar/expandir horarios parcialmente definidos (donde algunas actividades están preasignadas).
Aprendizaje Contrastivo (Contrastive Learning):
- Este es el componente innovador. Se define un espacio de "positivos" (secuencias generadas que cumplen criterios de plausibilidad humana) y "negativos" (secuencias que violan estos criterios, aunque sean estructuralmente similares).
- La función de pérdida contrastiva empuja al modelo a distinguir entre rutinas realistas y no realistas, actuando como una supervisión débil que refina la calidad de la generación sin necesidad de datos preentrenados masivos.

3. Contribuciones Clave

Nuevo Modelo Generativo: Introducción de ORACLE, que integra modelado de variables latentes y aprendizaje contrastivo para mejorar la diversidad y el realismo de las rutinas diarias de NPCs.
Flexibilidad de Uso: El sistema soporta tanto la generación de horarios completos como la ampliación de horarios parciales, adaptándose a diferentes escenarios de aplicación.
Marco de Aprendizaje Contrastivo Específico: Propuesta de un enfoque de aprendizaje contrastivo diseñado para la modelación de actividades humanas, mejorando la coherencia contextual de las rutinas generadas.
Validación Exhaustiva: Evaluación mediante métricas cuantitativas, análisis de ablatión, estudio de usuarios y comparación con modelos basados en LSTM y Transformers existentes.

4. Resultados Experimentales

Los experimentos se realizaron en dos conjuntos de datos (Apartamento y Hogar) comparando ORACLE con modelos baselines (Bowman-LSTM, Vaswani-Transformer, Koushik-biLSTM).

Generación Aleatoria: ORACLE superó a los modelos baselines en:
- Distancia de Wasserstein (WD): Indicando una distribución de datos generados más cercana a la real.
- Puntaje LLM: Evaluación de realismo humano (0-100) donde ORACLE obtuvo puntuaciones más altas.
- Diversidad (Distinct-10/15): ORACLE generó secuencias más únicas y menos repetitivas, demostrando menor colapso de modos.
- REAL-Random: Mayor proporción de secuencias que cumplen los criterios de plausibilidad humana.
Generación Condicional:
- ORACLE mostró una mayor diversidad y coherencia con las condiciones dadas en comparación con los modelos deterministas.
- Aunque la distancia de alineación de secuencias (SAM) fue ligeramente inferior a la de un biLSTM en algunos casos (debido a la naturaleza estocástica que prioriza la diversidad), ORACLE superó a los otros modelos cuando la tasa de enmascaramiento era alta (>90%).
Análisis de Memorización: El análisis k-NN confirmó que ORACLE no copia secuencias de entrenamiento (distancia de Hamming > 0 en todos los casos), demostrando capacidad de generalización.
Estudio de Usuarios: Participantes humanos calificaron los planes generados por ORACLE como más diversos, naturales y sostenibles en comparación con los modelos de referencia y LLMs genéricos.
Estudio de Ablación: La eliminación del aprendizaje contrastivo (ORACLE-C) o el reemplazo del Transformer por LSTM (ORACLE-T) resultó en un rendimiento inferior, validando la importancia de ambos componentes.

5. Significado e Impacto

Realismo en Entornos Digitales: ORACLE permite crear NPCs con comportamientos diarios creíbles, mejorando la inmersión en videojuegos y simulaciones de realidad virtual.
Aplicaciones Prácticas: El modelo tiene potencial para la automatización de hogares inteligentes, sistemas de asistencia para personas mayores, planificación urbana y gestión de instalaciones, al poder predecir y simular rutinas diarias.
Eficiencia: A diferencia de los LLMs, ORACLE es un modelo compacto y especializado, optimizado para funcionar con recursos limitados y baja latencia.
Limitaciones y Futuro: Actualmente, el modelo se basa en datos de hogares inteligentes y no cubre comportamientos fuera de casa o altamente personalizados. Los autores proponen futuras investigaciones para integrar estrategias de aprendizaje por refuerzo y ampliar los conjuntos de datos a entornos más diversos.

En conclusión, ORACLE representa un avance significativo en la síntesis de secuencias temporales complejas, logrando un equilibrio óptimo entre la adherencia a restricciones, la diversidad de resultados y la plausibilidad humana mediante una arquitectura híbrida de Transformer, VAE y aprendizaje contrastivo.