Resumo Técnico: AffectVerse: Modelos de Mundo Afetivo para Computação Afetiva Multimodal

1. Declaração do Problema

Os Modelos de Linguagem Grandes Multimodais (MLLMs) atuais tipicamente tratam o reconhecimento de emoção como uma tarefa estática de correspondência de padrões sobre entradas audiovisuais-textuais completas. Este paradigma falha em capturar as dinâmicas temporais do afeto, como escalada, recuperação ou conflitos cross-modais, reduzindo processos emocionais complexos a instantâneos estáticos. Enquanto os humanos inferem emoções integrando pistas observadas com previsões sobre como os estados afetivos podem se desenvolver, os MLLMs existentes carecem de um mecanismo para modelar esses "estados de crença preditivos" sob observações parciais. O artigo identifica uma lacuna entre o reconhecimento multimodal estático e a natureza temporalmente em desenvolvimento da inferência afetiva humana.

2. Metodologia

Os autores propõem o AffectVerse, um modelo construído sobre o Qwen2.5-Omni que integra um Módulo de Mundo Emocional (EWM). Diferentemente dos modelos de mundo tradicionais usados em aprendizado por reforço, que preveem estados futuros baseados em ações e recompensas, o AffectVerse emprega uma formulação livre de ações projetada especificamente para inferência afetiva. O EWM opera sob o princípio do processamento preditivo, onde o modelo prevê representações audiovisuais latentes futuras a partir de prefixos observados para atualizar o estado de crença do LLM.

O EWM consiste em três componentes principais:

2.1 Imaginação Temporal Cross-Modal

Fundamentada em teorias de processamento preditivo e integração multissensorial, este módulo prevê representações futuras de vídeo e áudio a partir de tokens passados.

• Mecanismo: Utiliza um processo de rolagem multi-etapa ($S=3$) com tokens de consulta futuros aprendíveis ($N_s=8$).
• Contexto Cross-Modal: Cada ramo de imaginação de uma modalidade atende tanto aos seus próprios tokens passados quanto aos tokens passados da outra modalidade, distinguidos por embeddings de tag aprendíveis ($e_{self}, e_{cross}$).
• Sinal de Treinamento: O módulo é treinado via um objetivo auto-supervisionado onde os tokens futuros previstos são comparados contra os tokens futuros reais (desconectados do fluxo de gradiente principal) usando uma combinação de perdas de MSE e similaridade de Cosseno. Isso força o modelo a aprender regularidades de transição sem exigir dados futuros no tempo de inferência.

2.2 Agregação de Crença MAMA (Atenção Multi-etapa Consciente de Modalidade)

Inspirado no Modelo de Processo de Componentes de Scherer, este módulo agrega os tokens imaginados multi-etapa em "tokens de crença" compactos.

• Processo: Monta tokens imaginados de vídeo e áudio em um banco de memória, distinguidos por embeddings de tipo.
• Capacidade Dinâmica: O número de tokens de consulta de crença ($N_q$) adapta-se às modalidades disponíveis (8 para dual-modalidade, 4 para modalidade única).
• Injeção de Fronteira: Para preservar o contexto no ponto de divisão temporal, os tokens de crença agregados são aumentados com uma injeção residual dos últimos "tokens de fronteira" observados ($v_b, a_b$) do passado.

2.3 Injeção de Crença

Os tokens de crença compactos resultantes são projetados de volta na dimensão oculta do LLM e intercalados na sequência de tokens em duas posições específicas:

1. Imediatamente após o último token audiovisual (para enriquecer a codificação de texto com contexto afetivo).
2. Imediatamente antes da região de resposta (para fornecer um "prior emocional" para a geração de resposta).
   Esta estratégia garante que o LLM possa atender tanto às evidências observadas quanto às continuações afetivas imaginadas durante o raciocínio.

2.4 Estratégia de Treinamento

• Divisão Temporal: Durante o treinamento, uma proporção de retenção aleatória $\kappa \sim \text{Uniform}[0.7, 1.0)$ é aplicada para truncar tokens futuros, simulando observações parciais.
• Dropout de Modalidade: Uma modalidade é aleatoriamente descartada com probabilidade $p=0.15$ para melhorar a robustez a evidências sensoriais ausentes.
• Objetivos: O modelo é treinado de ponta a ponta com duas perdas: Perda de Modelagem de Linguagem ($L_{lm}$) para desempenho da tarefa e Perda de Imaginação ($L_{imagine}$) para aprendizado de representação preditiva, equilibradas com $\lambda_{img}=1.0$.

3. Principais Contribuições

1. Modelo de Mundo Livre de Ações para Afeto: Uma adaptação inovadora do aprendizado de representação preditiva estilo modelo de mundo para computação afetiva, removendo a necessidade de ações, recompensas ou políticas de controle.
2. Módulo de Mundo Emocional (EWM): Uma arquitetura específica composta por Imaginação Temporal Cross-Modal, Agregação de Crença MAMA e Injeção de Crença que permite aos MLLMs raciocinar sobre dinâmicas afetivas latentes.
3. Modelagem de Estado de Crença Preditiva: Demonstração de que formular a compreensão de emoção como modelagem de estado de crença preditiva sob observações parciais produz desempenho superior em comparação com abordagens de fusão estática.
4. Avaliação Abrangente: Experimentos extensivos em nove benchmarks (MER2023/2024, MELD, IEMOCAP, MOSI, MOSEI, SIMS, OV-MERD+) mostrando melhorias consistentes.

4. Resultados Experimentais

O AffectVerse foi avaliado em nove benchmarks sob três configurações de modalidade (Áudio+Texto, Vídeo+Texto, Áudio+Vídeo+Texto).

• Resultados Principais: Na configuração completa Áudio+Vídeo+Texto, o AffectVerse alcançou uma pontuação média de 77,34%, superando a forte linha de base Qwen2.5-Omni (74,76%) e o AffectGPT (74,77%) em +2,57%. Ficou em primeiro lugar em 8 dos 9 benchmarks.
• Robustez: O modelo demonstrou degradação graciosa sob truncamento temporal (variando $\kappa$) e modalidades ausentes. Notavelmente, o truncamento temporal moderado durante o treinamento atuou como um regularizador, às vezes melhorando o desempenho sobre o treinamento de observação completa em conjuntos de dados específicos (por exemplo, CMU-MOSI).
• Estudos de Ablação:
  • Predição Temporal: Adicionar divisão temporal sozinho melhorou a linha de base em +0,87%.
  • Imaginação Cross-Modal: Isso forneceu o maior ganho único (+1,00% sobre divisão temporal), destacando a importância de alavancar pistas cross-modais complementares.
  • Construção de Crença: A agregação MAMA, a injeção intercalada e a injeção residual de fronteira contribuíram com ganhos aditivos, confirmando a necessidade do pipeline completo do EWM.
  • Hiperparâmetros: O desempenho ótimo foi encontrado em $S=3$ etapas de rolagem e uma probabilidade de dropout de modalidade de $p=0.15$.

5. Significado e Alegações

O artigo alega que a modelagem de estado de crença preditiva é uma alternativa prática e eficaz para a computação afetiva. Ao tratar a emoção não como uma categoria perceptiva fixa, mas como um processo temporalmente em desenvolvimento moldado pela inferência preditiva, o AffectVerse permite que os modelos atualizem sua compreensão à medida que novas evidências chegam, separando pistas transitórias de estados afetivos finais.

Os autores posicionam este trabalho como uma ponte entre a ciência afetiva (especificamente teorias de processamento preditivo e de avaliação) e aprendizado profundo multimodal. Eles afirmam que seu módulo de mundo "livre de ações" codifica com sucesso pistas de transição preditivas de mudanças afetivas subsequentes, permitindo reconhecimento de emoção mais robusto e dinâmico sem exigir sinais não vistos no tempo de inferência.

Limitações Reconhecidas:
Os autores observam que a avaliação atual depende de hiperparâmetros fixos de rolagem e proporção de retenção. A análise de robustez foca em observações parciais de modalidade e temporal, em vez de deslocamentos de domínio mais amplos (por exemplo, ruído, sotaque, mudanças de tópico). Sugere-se trabalho futuro para estender a modelagem de crença preditiva para alinhamento mais forte, avaliação de deslocamento de domínio e rastreamento de emoção em nível de diálogo.