Speech-Gesture GAN: Gesture Generation for Robots and Embodied Agents

1. Formulação do Problema

O artigo aborda o desafio de gerar gestos naturais, co-falados, para agentes corporificados (como robôs sociais e avatares virtuais). Os sistemas atuais enfrentam várias limitações:

• Abordagens baseadas em regras: Estas dependem de mapeamentos definidos manualmente entre palavras e gestos, resultando em interações repetitivas e monótonas que carecem de variedade e falham em adaptar-se às restrições físicas dos robôs.
• Abordagens baseadas em dados de modalidade única: Modelos de aprendizado profundo existentes frequentemente dependem exclusivamente de texto de fala (semântico) ou áudio de fala (acústico). Isso leva a uma perda de informação; por exemplo, modelos baseados apenas em texto perdem gestos rítmicos de "batida" (beat), enquanto modelos baseados apenas em áudio perdem gestos semânticos (por exemplo, gestos icônicos ou metafóricos).
• Incompatibilidade: A falta de sincronização entre pistas verbais e não verbais pode causar desconforto nas interações entre humanos e agentes.

O objetivo central é desenvolver um framework que gere sequências de gestos contínuas, diversificadas e sincronizadas a partir de entradas multimodais (tanto texto de fala quanto áudio) para aprimorar a naturalidade dos agentes corporificados.

2. Metodologia

A. Conjunto de Dados e Pré-processamento

• Conjunto de Dados: Os autores utilizaram o Trinity Dataset, contendo 244 minutos de dados de fala e captura de movimento de um único falante nativo de inglês do sexo masculino, gravado com 24 câmeras Vicon.
• Seleção de Dados: Dados do corpo inferior e dos dedos foram removidos para focar em gestos co-falados do corpo superior e para acomodar robôs com destreza limitada (por exemplo, NAO, Pepper).
• Extração de Características:
  • Gesto: 45 características por quadro (ângulos de Euler convertidos em mapas exponenciais para evitar descontinuidades) a 20 FPS.
  • Áudio: MFCCs de 26 dimensões (Coeficientes Cepstrais de Frequência Mel) extraídos a 20 FPS.
  • Texto: Características semânticas extraídas usando BERT (vetores de 768 dimensões). As características de texto foram reamostradas para alinhar com as taxas de quadros do áudio.

B. Arquitetura do Modelo: GAN Condicional

O framework proposto é uma Rede Generativa Adversarial Condicional (cGAN) projetada para mapear entradas de fala para saídas de gestos.

• Gerador ($G$):

  • Entrada: Concatenação de Embeddings de Texto ($s_t$), MFCCs de Áudio ($s_a$) e Ruído Aleatório ($n$).
  • Estrutura: Uma GRU (Unidade Recorrente Portão) bidirecional de duas camadas seguida por camadas lineares.
  • Mecanismo de Continuidade: O gerador incorpora camadas FiLM (Modulação Linear Específica por Característica), utilizando quadros de gesto gerados anteriormente como informação de condição para garantir suavidade e continuidade temporais.
  • Saída: Uma sequência de ângulos das articulações (ângulos de Euler) representando o gesto.

• Discriminador ($D$):

  • Entrada: Concatenação de gestos gerados (ou reais), embeddings de texto e características de áudio.
  • Estrutura: Uma série de camadas lineares e blocos de Convolução 1D (com Leaky ReLU e Normalização de Camada) para analisar padrões temporais.
  • Saída: Um valor escalar (0 a 1) indicando se a sequência de gestos é real ou falsa dada a condição de fala.

C. Estratégia de Treinamento

O modelo é treinado usando uma combinação de perdas:

1. Perda MSE ($L_{mse}$): Minimiza a diferença entre os ângulos das articulações gerados e os reais (ground-truth).
2. Perda de Continuidade ($L_{continuity}$): Minimiza a diferença na velocidade (velocidade) entre gestos gerados e reais para garantir movimento suave.
3. Perda WGAN ($L_{WGAN}$): Utiliza a perda de GAN de Wasserstein para estabilizar o treinamento e melhorar a qualidade das amostras geradas em comparação com GANs tradicionais.

3. Principais Contribuições

1. Framework de Entrada Multimodal: Diferentemente de modelos anteriores de modalidade única, este framework utiliza simultaneamente características semânticas (do texto) e características acústicas (do áudio) para gerar uma gama diversificada de gestos (Icônicos, Deíticos, Metafóricos e de Batida).
2. GAN Condicional com Injeção de Ruído: O modelo pode gerar múltiplas variações diversificadas de gestos para a mesma entrada de fala, variando o vetor de ruído aleatório ($n$), abordando a questão de saídas repetitivas comuns em modelos determinísticos.
3. Avaliação Abrangente: O artigo fornece uma avaliação rigorosa incluindo:
   • Métricas Objetivas: Aceleração, Jerk (Jerk) e RMSE.
   • Estudo de Usuário Subjetivo: Avaliando Naturalidade, Consistência Temporal e Semântica.
   • Estudos de Ablação: Analisando o impacto de características de áudio específicas e componentes arquitetônicos (por exemplo, GRU, FiLM, entradas multimodais).

4. Resultados

A. Avaliação Objetiva

O modelo proposto foi comparado com o modelo Gesticulator, o estado da arte:

• RMSE: O modelo proposto alcançou um Erro Quadrático Médio Raiz significativamente menor (4,21 cm) em comparação com o Gesticulator (13,0 cm), indicando maior precisão geométrica.
• Dinâmica: Embora a Verdade Terrena (Ground Truth) tivesse os valores mais altos de Aceleração e Jerk, o modelo proposto (Acel: 94,48, Jerk: 2187,76) estava muito mais próximo da verdade terrena do que o Gesticulator (Acel: 63,8, Jerk: 1332), sugerindo dinâmicas de movimento mais naturais.

B. Avaliação Subjetiva (Estudo de Usuário)

Um estudo com 20 falantes nativos de inglês avaliou os vídeos gerados contra a verdade terrena:

• Critérios: Naturalidade, Consistência Temporal e Semântica.
• Significância Estatística: Um teste T bilateral mostrou nenhuma diferença estatisticamente significativa ($p > 0,05$) entre o modelo proposto e a verdade terrena em todos os três critérios.
• Conclusão: Os participantes perceberam os gestos gerados por IA como naturais e semanticamente apropriados, comparáveis ao desempenho humano.

C. Estudos de Ablação

• Características de Entrada: Modelos usando MFCCs tiveram o melhor desempenho. Combinar MFCCs com características Prosódicas ofereceu ganhos marginais, enquanto usar apenas Texto ou apenas Áudio resultou em desempenho degradado (Jerk mais alto ou Aceleração mais baixa).
• Arquitetura: Remover as condições FiLM (contexto de gesto anterior) causou um aumento drástico no Jerk (5327 vs 2187), provando sua necessidade para a suavidade do movimento. Remover a camada GRU teve um impacto menor, sugerindo que as camadas lineares capturaram padrões suficientes, mas o modelo completo permaneceu ótimo.

5. Significado

Este trabalho demonstra que GANs condicionais multimodais são uma solução viável e eficaz para gerar gestos co-falados para robôs.

• Aplicação Prática: O sistema pode gerar gestos contínuos, diversificados e fisicamente plausíveis para agentes corporificados, superando as limitações de sistemas baseados em regras ou de modalidade única.
• Interação Humano-Robô (HRI): Ao alcançar paridade estatística com a verdade terrena humana na percepção do usuário, o framework aprimora significativamente o potencial dos robôs para se engajar em comunicação não verbal natural, reduzindo o efeito "vale da estranheza" causado por pistas verbais e não verbais incompatíveis.
• Eficiência: O sistema é computacionalmente eficiente, capaz de gerar uma sequência de gestos de 30 segundos em aproximadamente 12,3 segundos em hardware padrão.