DyaDiT: A Multi-Modal Diffusion Transformer for Socially Favorable Dyadic Gesture Generation

Título: DyaDiT: Um Transformer de Difusão Multimodal para Geração de Gestos Diádicos Socialmente Favoráveis

1. Problema e Motivação

A geração de gestos conversacionais realistas é fundamental para criar interações naturais com agentes digitais (humanos artificiais). No entanto, os métodos existentes apresentam limitações significativas:

• Foco em Mono-locutor: A maioria dos modelos mapeia apenas um fluxo de áudio para o movimento de um único falante, ignorando o contexto social e a dinâmica mútua entre dois interlocutores.
• Falta de Contexto Social: Os gestos humanos são moldados não apenas pelo conteúdo da fala, mas por fatores como a relação entre os falantes (amigos, estranhos, família) e traços de personalidade. Modelos atuais não explicitamente modelam esses fatores, resultando em movimentos genéricos ou antinaturais.
• Ambiguidade em Diálogos Diádicos: Em conversas entre duas pessoas, os fluxos de áudio frequentemente se sobrepõem (interrupções, falas simultâneas). A maioria dos modelos não consegue distinguir claramente as pistas de áudio de cada participante, dificultando a geração de gestos que reflitam a coordenação e a resposta adequada.

2. Metodologia: DyaDiT

O DyaDiT é um Transformer baseado em Difusão (Diffusion Transformer - DiT) projetado para gerar gestos de corpo superior contextualmente apropriados a partir de sinais de áudio diádicos (de dois falantes).

Arquitetura e Componentes Principais:

1. Entradas Multimodais:

   • Áudio Diádico: Fluxos de áudio de ambos os falantes ("self" e "other"), processados pelo encoder Wav2Vec2.
   • Tokens de Contexto Social: Vetores que codificam o tipo de relacionamento (ex: amigo, estranho, família, parceiro romântico) e pontuações de personalidade (os "Big Five": extroversão, amabilidade, conscienciosidade, neuroticismo e abertura).
   • Gestos do Parceiro (Opcional): O movimento do parceiro pode ser usado como entrada adicional para gerar gestos mais coordenados e responsivos.
   • Seed Pose: Uma pose inicial para guiar a geração.

2. Módulo ORCA (Orthogonalization Cross Attention):

   • Este é o núcleo da inovação para lidar com a sobreposição de áudio. O ORCA separa os fatores redundantes entre os dois fluxos de áudio.
   • Processo: Aplica uma ortogonalização para filtrar componentes redundantes do áudio do "self" projetando-o no subespaço do áudio do "other". Em seguida, utiliza mecanismos de atenção cruzada simétrica para permitir a troca bidirecional de informações (como o falante responde ao parceiro e vice-versa).
   • Resultado: Uma representação de áudio mais limpa e desambiguada, permitindo que o modelo gere gestos realistas mesmo durante interrupções ou falas simultâneas.

3. Dicionário de Movimento (Motion Dictionary - MD):

   • Inspirado no trabalho LIA, o modelo utiliza um dicionário de movimento aprendível e ortogonal.
   • Ele codifica "primitivos" de gestos representativos. Durante a inferência, o dicionário pode ser ativado para controlar o estilo do movimento (ex: gestos mais expressivos ou contidos) ou desativado para gerar movimento puramente baseado no áudio.
   • Isso permite que o modelo aprenda correspondências estilo-sensíveis entre pistas de áudio e padrões de movimento.

4. Backbone e Tokenização:

   • VQ-VAE: O espaço de movimento contínuo é discretizado em um espaço latente compacto usando um VQ-VAE (Vector Quantized Variational Autoencoder) com quantização residual. Isso permite que o modelo de difusão opere no espaço latente, capturando dependências de longo prazo com alta fidelidade.
   • DiT: O modelo utiliza um Transformer de Difusão que prediz o ruído adicionado ao latente de pose, condicionado pelos tokens de áudio, social e movimento.

3. Contribuições Principais

• DyaDiT: Proposta de um modelo Transformer de difusão capaz de gerar gestos conscientes do contexto social em conversas diádicas, superando a abordagem tradicional de "um falante, um gesto".
• Módulo ORCA: Introdução de um mecanismo de Atenção Cruzada de Ortogonalização que reduz a interferência entre os fluxos de áudio de dois indivíduos, melhorando a representação acústica para geração de gestos.
• Integração de Fatores Sociais: Demonstração de que a inclusão explícita de tokens de relacionamento e personalidade melhora significativamente a consistência social e a percepção de realismo.
• Avaliação Abrangente: Validação através de métricas quantitativas e estudos de usuário extensivos, mostrando superioridade sobre métodos anteriores.

4. Resultados e Avaliação

O modelo foi treinado e avaliado no conjunto de dados Seamless Interaction (subconjunto de 3.000 clipes, ~182 horas).

• Métricas Quantitativas:

  • O DyaDiT superou os baselines (ConvoFusion e Audio2PhotoReal) em todas as métricas padrão, incluindo Distância Fréchet (FD) (indicando maior realismo) e Diversidade.
  • Estudos de ablação confirmaram que a remoção do ORCA ou do Dicionário de Movimento degrada o desempenho, especialmente na realismo e na diversidade estática.

• Estudo de Usuário (A/B Test):

  • Participantes preferiram significativamente os gestos gerados pelo DyaDiT em comparação com o ConvoFusion e, surpreendentemente, até mesmo em relação aos gestos do Ground Truth (dados reais) em alguns aspectos.
  • Preferências: O DyaDiT foi escolhido por 73,9% dos participantes na qualidade geral, 69,8% na consistência do relacionamento e 66,7% na consistência da personalidade.
  • Os gestos foram percebidos como mais naturais, socialmente conscientes e adequados ao contexto da conversa.

• Análise de Clustering (Suplementar):

  • A análise t-SNE mostrou que os clusters de personalidade formam grupos claramente separáveis, indicando que o modelo captura bem as tendências comportamentais globais. Os clusters de relacionamento mostram uma sobreposição mais suave (manifold contínuo), o que é consistente com a natureza fluida das interações sociais reais.

5. Significado e Impacto

O trabalho representa um passo importante rumo a agentes sintéticos socialmente favoráveis. Ao demonstrar que a modelagem explícita de dinâmicas interpessoais e contextos sociais é crucial para a geração de gestos realistas, o DyaDiT abre novas direções de pesquisa, como:

• Geração de gestos para agentes duplos (dual-agent).
• Melhoria na desambiguação de pistas sociais em áudio.
• Criação de conjuntos de dados mais robustos para movimentos corporais completos.

Em resumo, o DyaDiT não apenas melhora a qualidade técnica da geração de gestos, mas também eleva a qualidade da interação social simulada, tornando os agentes digitais mais convincentes e humanos.