ORACLE: Orchestrate NPC Daily Activities using Contrastive Learning with Transformer-CVAE

Each language version is independently generated for its own context, not a direct translation.

Imagine que você está jogando um videogame ou visitando um mundo virtual. Você já notou que, às vezes, os personagens que não são você (os NPCs) parecem robôs? Eles fazem a mesma coisa todo dia, na mesma hora, de forma repetitiva e sem graça. É como se eles tivessem um "script" rígido que nunca muda.

Os pesquisadores da Universidade da Coreia queriam consertar isso. Eles criaram algo chamado ORACLE. Vamos explicar como funciona usando uma analogia simples.

O Problema: O Personagem "Zumbi"

Antes do ORACLE, criar a rotina de um personagem era como dar uma lista de tarefas para um robô. Se o robô tinha que "dormir" e "trabalhar", ele fazia isso na ordem exata, todo dia, sem falhas. Isso não parece vida real. Na vida real, às vezes você acorda atrasado, toma um café extra, ou decide fazer uma sesta. Os métodos antigos não conseguiam capturar essa "bagunça organizada" da vida humana.

Além disso, os dados que os cientistas tinham (registros de casas inteligentes) eram desequilibrados. Havia muito registro de "dormir" e pouco de "fazer exercícios", o que confundia os computadores.

A Solução: O Chef de Cozinha Criativo (ORACLE)

O ORACLE é como um chef de cozinha genial que aprendeu a cozinhar observando milhares de pessoas em suas cozinhas (o conjunto de dados CASAS). Mas ele não apenas copia os pratos; ele entende a essência de uma boa refeição.

O ORACLE usa três "superpoderes" (tecnologias) para criar rotinas realistas:

O Cofre de Ideias (Transformer-CVAE):
Imagine que o ORACLE tem um cofre cheio de "ideias de rotina". Quando ele precisa criar um dia para um personagem, ele não escolhe uma ideia fixa. Ele pega uma "ficha aleatória" desse cofre. Isso garante que, mesmo que o personagem tenha que "trabalhar" e "dormir", o como e o quando ele faz isso pode variar. Às vezes ele trabalha de manhã, às vezes à tarde. Isso cria diversidade, evitando que todos os personagens sejam iguais.
O Chefe de Cozinha Rigoroso (Contrastive Learning):
Aqui está a parte mais inteligente. Imagine que o ORACLE tenta criar um dia, mas o personagem acorda às 3 da manhã para tomar banho e vai dormir às 10 da manhã. Isso é estranho!
O ORACLE tem um "chefe de cozinha" interno que prova a comida. Se a rotina não faz sentido (ex: comer 10 refeições seguidas), o chefe diz: "Isso não é real!". O modelo aprende a distinguir o que é uma rotina plausível do que é um erro. Ele é treinado para "empurrar" as ideias ruins para longe e "puxar" as ideias boas para perto.
O Assistente Flexível:
O ORACLE é útil de duas formas:
- Criar do zero: "Crie um dia inteiro para um NPC."
- Preencher lacunas: "O NPC já vai acordar às 7 e jantar às 8. O que ele faz no meio do dia?" O ORACLE preenche o resto da agenda de forma lógica.

Como eles testaram?

Eles não apenas olharam para os números. Eles fizeram duas coisas:

Teste com Inteligência Artificial: Usaram uma IA (como o ChatGPT) para ler as rotinas criadas e dar uma nota de "0 a 100" sobre o quanto pareciam humanas. O ORACLE ganhou de modelos antigos.
Teste com Pessoas Reais: Eles mostraram as rotinas para pessoas reais e perguntaram: "Isso parece algo que você faria?". As pessoas preferiram as rotinas do ORACLE porque pareciam mais naturais e menos robóticas.

Por que isso é importante?

Imagine um jogo onde os personagens vivem suas vidas de verdade, ou um sistema de casa inteligente que aprende a rotina dos moradores para ajudar idosos. O ORACLE é a "mágica" que faz esses sistemas parecerem vivos, imprevisíveis e, acima de tudo, humanos.

Em resumo: O ORACLE é um computador que aprendeu a ser um "dramaturgo" de vidas virtuais, garantindo que os personagens não sejam apenas robôs repetitivos, mas sim seres com rotinas que fazem sentido e variam, como nós, humanos.

Each language version is independently generated for its own context, not a direct translation.

Título: ORACLE: Orquestração de Atividades Diárias de NPCs usando Aprendizado Contrastivo com Transformer-CVAE

1. Problema e Motivação

A integração de Personagens Não Jogadores (NPCs) em ambientes digitais (jogos, VR) é crucial para a imersão do usuário. No entanto, a geração de rotinas diárias realistas e diversificadas para esses NPCs enfrenta desafios significativos:

Repetição Monótona: Abordagens tradicionais baseadas em regras ou redes neurais recorrentes (como LSTMs) tendem a produzir saídas determinísticas e repetitivas, falhando em capturar a complexidade e a variabilidade das rotinas humanas.
Dependências de Longo Prazo: Modelos existentes têm dificuldade em manter a coerência temporal em sequências longas (ex: 24 horas), muitas vezes devido a problemas de vanishing gradients em arquiteturas recorrentes.
Falta de Diversidade Controlada: Modelos generativos determinísticos não conseguem equilibrar a aderência a restrições contextuais (ex: horários fixos) com a geração de variações naturais.
Limitações de LLMs: Embora Grandes Modelos de Linguagem (LLMs) possam planejar comportamentos, eles impõem custos computacionais elevados, latência de inferência e dependem de APIs comerciais, além de não serem treinados especificamente em corpora de rotinas diárias de 24 horas.
Qualidade dos Dados: O uso de conjuntos de dados reais (como o CASAS) enfrenta desafios como desequilíbrio de classes (algumas atividades são raras), dados não rotulados e ciclos de 24 horas incompletos.

2. Metodologia: O Framework ORACLE

O ORACLE é um modelo generativo híbrido que combina Transformers, Conditional Variational Autoencoders (CVAE) e Aprendizado Contrastivo para sintetizar planos de atividades diárias realistas.

Base de Dados e Pré-processamento:
- Utiliza o conjunto de dados CASAS Smart Home, que contém sequências de atividades de 24 horas capturadas por sensores.
- Filtragem e Agrupamento: As atividades originais (42-46 classes) foram consolidadas em 12 classes principais (ex: Dormir, Trabalho, Higiene, Refeição) para mitigar o desequilíbrio de classes.
- Critérios de Plausibilidade: Foram estabelecidos critérios de duração e frequência (baseados em lógica comum, ChatGPT e validação humana) para filtrar sequências irrealistas.
- Formato: As sequências são discretizadas em intervalos de 5 minutos (288 tokens por dia).
Arquitetura do Modelo (Transformer-CVAE):
- Encoder: Utiliza um Transformer para processar a sequência de atividades e tokens de condição (máscaras que indicam atividades pré-agendadas).
- Espaço Latente: O encoder gera parâmetros de média ( $\mu$ ) e variância ( $\sigma$ ) para um espaço latente. Uma variável latente $z$ é amostrada via reparameterization trick, introduzindo estocasticidade e permitindo a geração de múltiplas rotinas a partir do mesmo contexto.
- Decoder: Um Transformer decodificador gera a sequência completa de atividades, condicionada tanto aos tokens de entrada quanto à variável latente $z$ $z$ . Isso permite dois modos de operação:
  1. Geração Completa: Criação de uma rotina do zero.
  2. Augmentação Condicional: Preenchimento de lacunas em uma rotina parcialmente definida.
Aprendizado Contrastivo:
- Para refinar a qualidade e a coerência, o modelo emprega aprendizado contrastivo.
- Amostras Positivas: Sequências geradas que atendem aos critérios de plausibilidade (duração/frequência).
- Amostras Negativas (Hard Negatives): Sequências geradas que são semanticamente próximas, mas violam os critérios de plausibilidade (ex: dormir 20 horas).
- Objetivo: A função de perda contrastiva empurra o modelo a distinguir entre sequências realistas e irrealistas, atuando como uma supervisão fraca para corrigir padrões implausíveis que o modelo de reconstrução padrão poderia gerar.

3. Contribuições Principais

Novo Modelo Generativo: Introdução do ORACLE, que integra modelagem de variáveis latentes e aprendizado contrastivo para melhorar a diversidade e o realismo de sequências de atividades.
Flexibilidade de Uso: Suporte tanto para geração de agendas completas quanto para a expansão de agendas parcialmente definidas, adaptando-se a diferentes cenários de aplicação.
Framework de Aprendizado Contrastivo Específico: Proposta de um mecanismo de aprendizado contrastivo adaptado para geração de sequências discretas de longo prazo, sem depender de pré-treinamento massivo em tarefas específicas.
Validação Abrangente: Avaliação extensiva comparando com modelos baseados em LSTM e Transformer, incluindo análise de ablação, métricas quantitativas e um estudo com usuários.

4. Resultados Experimentais

Os experimentos foram realizados nos conjuntos de dados "Apartment" e "Home" do CASAS, comparando o ORACLE com modelos de referência (Bowman [VAE-LSTM], Vaswani [Transformer], Koushik [biLSTM]).

Geração Aleatória (Sem condições):
- O ORACLE superou o modelo VAE-LSTM (Bowman) em todas as métricas.
- Distância de Wasserstein (WD): Menor (0.4835 vs 0.6263), indicando que a distribuição dos dados gerados é mais próxima da real.
- Pontuação LLM: Maior (0.5240), indicando maior plausibilidade humana.
- Diversidade (Distinct-10/15): Significativamente superior, provando que o modelo evita o colapso de modos (repetição excessiva).
Geração Condicional (Com restrições):
- O ORACLE demonstrou maior diversidade e aderência às restrições (REAL-Condition) em comparação com modelos determinísticos.
- Embora a distância de alinhamento de sequência (SAM) fosse ligeiramente inferior ao modelo biLSTM em alguns casos (devido à natureza estocástica do ORACLE), o modelo superou os outros quando a taxa de mascaramento era alta (>90%), demonstrando robustez na conclusão de tarefas complexas.
Estudo de Usuário:
- Participantes avaliaram os planos gerados em escalas de diversidade, naturalidade, viabilidade e sustentabilidade.
- O ORACLE obteve pontuações consistentemente mais altas que os modelos de referência e LLMs genéricos, sendo considerado mais "humano" e crível.
Análise de Ablação:
- A remoção do aprendizado contrastivo (ORACLE-C) ou a substituição do Transformer por LSTM (ORACLE-T) resultou em queda de desempenho, confirmando a eficácia de ambos os componentes.
- Visualizações do espaço latente e mapas de atenção mostraram que o aprendizado contrastivo melhora a discriminação entre amostras e a diversidade do foco do modelo.

5. Significado e Impacto

O trabalho ORACLE representa um avanço significativo na orquestração de comportamentos de NPCs e na modelagem de rotinas diárias:

Realismo e Imersão: Permite criar ambientes digitais onde os NPCs seguem rotinas variadas e coerentes, aumentando a imersão em jogos e simulações.
Aplicações Práticas: O modelo tem potencial para ser aplicado em automação residencial inteligente, sistemas de suporte a idosos (detecção de anomalias em rotinas), planejamento urbano e gestão de instalações.
Eficiência Computacional: Oferece uma alternativa viável e mais leve aos LLMs para tarefas de planejamento de rotina, sendo treinável em hardware acessível (uma GPU RTX 3090 foi suficiente para os experimentos).
Abordagem Híbrida: Demonstra que a combinação de modelos generativos probabilísticos com técnicas de aprendizado contrastivo é uma estratégia eficaz para superar as limitações de dados desequilibrados e a necessidade de coerência de longo prazo.

Em suma, o ORACLE estabelece um novo estado da arte na síntese de planos de atividades diárias, equilibrando a necessidade de diversidade, realismo e controle contextual.