PolySLGen: Online Multimodal Speaking-Listening Reaction Generation in Polyadic Interaction

Resumo Técnico: PolySLGen

1. O Problema

A geração de reações multimodais (fala e movimento corporal) é fundamental para a interação natural entre humanos e Inteligência Artificial Embutida (Embodied AI). No entanto, as abordagens existentes enfrentam limitações críticas:

• Restrição a Interações Diádicas: A maioria dos métodos foca apenas em interações entre duas pessoas, falhando em cenários de grupo (poliádicos) comuns na vida real (ex: colaboração, educação).
• Foco Unimodal ou Apenas em Fala: Muitos sistemas geram apenas movimento ou apenas fala, ignorando a coordenação necessária entre os dois. Outros focam apenas em reações de "fala", negligenciando o comportamento de "escuta" (listening), que é crucial para a coesão da conversa e a troca de turnos.
• Dependência de Contexto Futuro: Muitas soluções operam em modo "offline", exigindo conhecimento do futuro da conversa, o que inviabiliza a geração causal e em tempo real (online).
• Falta de Sinais Sociais: Poucos métodos capturam dinâmicas complexas de grupo, como a atenção visual e a orientação dos participantes, essenciais para uma interação social realista.

2. Metodologia: PolySLGen

O PolySLGen é um framework online proposto para gerar reações multimodais (fala, movimento corporal e estado de fala) para um participante-alvo em interações de grupo, baseando-se apenas em observações passadas.

Arquitetura Principal:
O sistema utiliza um LLM (Large Language Model) pré-treinado (Llama3-8B) como espinha dorsal para o raciocínio da interação, adaptado com módulos específicos para lidar com multimodalidade e dinâmica de grupo.

• Entradas:

  • Texto e estilo de fala (prosódia, emoção) de todos os participantes.
  • Movimento corporal e das mãos de todos os participantes.
  • Sinais sociais (orientação da cabeça) dos participantes não-alvo em relação ao alvo.

• Módulos Chave:

  1. Fusão de Pose (Pose Fusion Module): Um bloco hierárquico de transformer que agrega os movimentos de todos os participantes em um único embedding compacto. Isso permite que o modelo capture dependências de ordem superior entre participantes sem aumentar o comprimento da entrada do LLM, resolvendo o problema de complexidade computacional em grupos grandes.
  2. Codificador de Sinais Sociais (Social Cue Encoder): Processa as orientações da cabeça dos outros participantes para calcular um "escore de sinal social" (baseado no cosseno entre a orientação da cabeça e a posição relativa). Isso informa ao modelo quem está prestando atenção no participante-alvo, essencial para a troca de turnos realista.
  3. Adaptadores de Estilo de Fala: Convertem características acústicas (usando StyleTTS 2) em embeddings compatíveis com o LLM.
  4. Predição de Estado de Fala: O modelo prevê um escore contínuo ($r$) indicando a confiança de que o participante deve falar ou ouvir. Isso atua como um sinal suave para a troca de turnos, em vez de uma transição rígida.

• Saídas:

  • Texto futuro (fala).
  • Estilo de fala (para síntese de voz).
  • Movimento corporal e das mãos (3D).
  • Escore de estado de fala (falar vs. ouvir).

• Treinamento:
  O modelo é treinado com uma função de perda composta que inclui: perda de texto (cross-entropy), perda de estilo de fala (MSE), perda de estado de fala (binary cross-entropy) e perda de movimento (incluindo erro de posição, alinhamento de batidas e regularização temporal).

3. Contribuições Principais

1. Primeiro Framework Online Multimodal Poliádico: É a primeira abordagem a gerar simultaneamente reações de fala e escuta em interações de grupo, operando em tempo real (online) sem depender de contexto futuro.
2. Predição Dinâmica de Estado de Fala: Introduz a previsão de um escore de estado de fala que permite ao sistema alternar dinamicamente entre comportamentos de falar e ouvir, capturando a naturalidade da troca de turnos.
3. Módulos de Agregação de Grupo: Desenvolvimento de módulos de fusão de pose e codificação de sinais sociais que permitem modelar eficientemente as interações interdependentes de múltiplos participantes.
4. Avaliação Abrangente: Demonstração de superioridade em métricas objetivas (qualidade de movimento, alinhamento fala-movimento) e percepção humana em comparação com baselines de última geração.

4. Resultados e Avaliação

O modelo foi avaliado no conjunto de dados DnD Group Gesture (jogo de RPG de mesa com 5 participantes), focando no "Dungeon Master" como participante-alvo.

• Comparação com Baselines: O PolySLGen superou consistentemente métodos adaptados (como SOLAMI, LM-L2L, ConvoFusion) e modelos de previsão de movimento.
  • Movimento: Redução significativa no erro de posição média (MPJPE) e no erro da raiz (Root Error) em comparação com baselines.
  • Fala: Melhor desempenho em semântica (BERTScore) e precisão de transcrição (WER), indicando respostas mais contextualmente relevantes.
  • Estado de Fala: Alcançou um AP (Area under Precision-Recall) de 0.67, superando largamente as baselines que operavam no nível de chance (0.50).
• Robustez: O modelo manteve desempenho robusto mesmo quando participantes eram removidos (simulando oclusão ou falha de sensor), superando o SOLAMI mesmo com observação parcial do grupo.
• Estudo de Usuário: Em uma avaliação qualitativa com 23 participantes, o PolySLGen foi consistentemente preferido em coerência de movimento, continuidade e naturalidade geral, superando o SOLAMI (o baseline mais forte) em todas as categorias.

5. Significado e Impacto

O trabalho PolySLGen representa um avanço significativo para a Inteligência Artificial Embutida e Robótica Social.

• Realismo Social: Ao integrar sinais não verbais (movimento, olhar) e a dinâmica de grupo, o sistema gera comportamentos que são muito mais naturais e engajadores do que os atuais assistentes virtuais.
• Aplicabilidade Prática: A capacidade de operar online e lidar com grupos variáveis torna o sistema viável para aplicações reais em educação, suporte social e colaboração em equipe.
• Fundação para Futuro: O sucesso em modelar interações poliádicas abre caminho para agentes de IA que podem participar ativamente de conversas complexas em grupo, entendendo não apenas o que é dito, mas quem está ouvindo e como o grupo se move coletivamente.

Em resumo, o PolySLGen preenche uma lacuna crítica na literatura ao fornecer uma solução unificada, online e multimodal para a geração de reações em interações sociais de grupo, superando as limitações de métodos anteriores focados apenas em pares ou em modos únicos.