Resumo Técnico: Large Emotional World Model (LEWM)

Declaração do Problema

Os modelos de mundo atuais são projetados primariamente para aprender leis físicas que regem as transições de estado (ex: movimento de objetos, continuidade espacial). Embora eficazes para simular o mundo físico, eles falham em capturar o "mundo humano", onde ações, decisões e interações são profundamente moldadas por dinâmicas afetivas internas. Os modelos existentes raramente tratam a emoção como um fator causal explícito nas transições de estado. Consequentemente, eles não conseguem prever com precisão estados futuros em ambientes centrados no ser humano, onde um mesmo evento físico (ex: um acidente de trânsito) pode levar a trajetórias divergentes dependendo do estado emocional do agente (ex: resolução cooperativa vs. confronto hostil).

Metodologia

1. Construção do Dataset: Emotion-Why-How (EWH)

Para abordar a falta de dados para transições de estados emocionais, os autores construíram o EWH, o primeiro dataset de modelo de mundo centrado em dinâmicas emocionais.

• Fontes de Dados: 2.258 vídeos em primeira pessoa do TikTok/Douyin e 1.583 episódios de oito séries de TV (ex: Friends, The Office), cobrindo diversos cenários como doméstico, profissional e viagens.
• Estrutura: O dataset contém 10.850 tuplas de transição conscientes de emoção. Cada tupla é formalizada como $T = \langle(S_0, E_0), H, (S_1, E_1)\rangle$, onde:
  • $S_0, S_1$: Estados observáveis (vídeo sincronizado, áudio, imagem).
  • $E_0, E_1$: Estados emocionais (rotulados como neutro, felicidade, tristeza, raiva, medo, surpresa, nojo).
  • $H$: A trajetória de comportamento interveniente.
• Lógica Why-How: A estrutura vincula explicitamente o "Porquê" (razão afetiva para o comportamento) e o "Como" (efeito da transição emocional na evolução do estado futuro).
• Pipeline: Um pipeline de quatro estágios envolvendo segmentação de vídeo, mineração de transição consciente de emoção (usando Qwen3.5-VL e GPT-5), construção de amostras e controle de qualidade rigoroso (filtragem automática + verificação humana).

2. Arquitetura do Modelo: Large Emotional World Model (LEWM)

O LEWM é uma estrutura multimodal de codificador–LLM–decodificador multimodal que fatoriza a predição futura em dois passos acoplados:

1. Codificação do Estado de Mundo Multimodal: Estados observáveis ($V, A, I$) e a emoção atual ($E_t$) são codificados via codificadores específicos de modalidade e projetados no espaço de embedding do LLM. As trajetórias de comportamento ($H_t$) são tokenizadas como texto.
2. Modelagem de Transição Consciente de Emoção (Predição Fatorada):
   • Passo 1 (Predição de Emoção): O modelo primeiro prevê o estado emocional futuro ($\hat{E}_{t+1}$) dado o contexto atual: $p(E_{t+1} | S_t, E_t, H_t)$.
   • Passo 2 (Predição de Estado): A emoção prevista é usada como um sinal de condicionamento para guiar a predição do estado futuro do mundo: $p(S_{t+1} | S_t, E_t, H_t, \hat{E}_{t+1})$.
   • Este design assume que os estados futuros são mediados por transições afetivas, não apenas por observações externas.
3. Geração Autoregressiva: O modelo utiliza tokens de geração dedicados ([IMG], [VID], [AUD]) para gerar autoregressivamente estados multimodais futuros.
4. Otimização: Uma função de perda multitarefa supervisiona conjuntamente a classificação de emoção futura, a geração de tokens autoregressiva e a predição de estado de mundo multimodal (via distância no espaço de embedding).

Principais Contribuições

1. Formulação de Modelagem de Mundo Afetiva: O artigo introduz o conceito de integrar a emoção como uma variável de estado chave em modelos de mundo para capturar tanto a evolução do estado físico quanto as causas afetivas.
2. Dataset EWH: A criação do primeiro dataset de modelo de mundo explicitamente centrado em transições de estado emocional, preenchendo a lacuna entre o reconhecimento de emoção estático e a modelagem de mundo dinâmica.
3. Arquitetura LEWM: A proposta de uma estrutura de predição fatorada que condiciona a predição do estado do mundo às emoções previstas, demonstrando que esta abordagem melhora o desempenho sem sacrificar as capacidades de raciocínio geral.

Resultados Experimentais

Predição de Estado de Mundo

• EWH (Mundo Emocional): O LEWM alcançou o melhor desempenho em 10 de 12 tarefas. Comparado ao baseline WorldGPT, melhorou a predição de vídeo em até 45,73% e a predição de áudio em até 24,75%.
• WorldNet (Mundo Físico): O LEWM mostrou ganhos consistentes (até 3,94%) mesmo em configurações de mundo físico, particularmente na predição de áudio, sugerindo que as dinâmicas emocionais fornecem pistas complementares para transições físicas.
• Ablação: A remoção do condicionamento de emoção ("No Emotion") degradou consistentemente o desempenho. O uso de "Oracle Future" (emoção real/ground-truth) rendeu os maiores ganhos, indicando um potencial significativo para melhorias futuras com uma predição de emoção mais precisa.

Compreensão de Emoção

• MELD: O LEML alcançou uma melhoria de 17,47% no Weighted-F1 em análise de sentimento e ganhos significativos em reconhecimento de emoção granular.
• Generalização: O modelo superou seu backbone no desafiador benchmark GoEmotions, indicando que aprender transições emocionais gera representações emocionais transferíveis.

Raciocínio Geral

• Benchmarks (MMLU, HellaSwag, VQAv2, NExT-QA): O LEWM permaneceu comparável ao baseline WorldGPT em tarefas de raciocínio geral. Notavelmente, obteve um ganho de 6,10% em Ciência Política (MMLU) e 5,95% em reconhecimento de animais (VQAv2), demonstrando que a modelagem emocional não prejudica, e pode até melhorar, o raciocínio geral.

Análise Contrafactual

Experimentos de intervenção (substituindo a emoção de entrada enquanto mantém o estado e o comportamento constantes) mostraram que o LEWM produz mudanças estruturadas e não nulas nas predições de estado futuro através das modalidades. Emoções de alta excitação (high-arousal) induziram divergências maiores, confirmando que o modelo trata a emoção como uma variável ativa na predição de estado futuro.

Significância e Alegações

O artigo afirma que incorporar a emoção em modelos de mundo permite uma simulação mais realista de ambientes centrados no ser humano. Ao ir além da predição de estado físico para modelar dinâmicas afetivas, o LEWM expande a compreensão preditiva de agentes inteligentes. O trabalho estabelece uma base para "agentes socialmente fundamentados" capazes de modelar melhor o comportamento, a interação e a tomada de decisão humana. Os autores enfatizam que sua abordagem não apenas classifica emoções estaticamente, mas modela a evolução dinâmica da emoção como um motor causal de estados de mundo futuros.