Conversational Human Audio-visual Talking Dialogue Generation

Resumo Técnico: Geração de Diálogo de Conversação Humana Áudio-visual (CHAT)

Definição do Problema
O artigo aborda a escassez de conjuntos de dados de Diálogo Interativo Díade (DIAD) de grande escala e demograficamente diversos. O DIAD refere-se a gravações pareadas que capturam a fala, os comportamentos faciais e a responsividade mútua de dois indivíduos em uma interação natural. Tais dados são críticos para o treinamento de sistemas de interação humano-computador (HCI) inteligentes, agentes virtuais e companheiros digitais. No entanto, a coleta de dados DIAD do mundo real é demorada, cara e repleta de preocupações éticas e de privacidade. Os métodos de síntese existentes sofrem de três limitações primárias: (1) eles geram vídeos faciais independentes e não interativos em vez de interações pareadas; (2) falham em produzir clipes áudio-visuais mutuamente responsivos onde o comportamento de um indivíduo é influenciado pelos sinais não verbais do outro; e (3) os Grandes Modelos de Linguagem (LLMs) existentes não conseguem sintetizar diretamente clipes DIAD humano-humano sincronizados, realistas e mutuamente responsivos a partir de um único prompt.

Metodologia
Os autores propõem o CHAT (Conversational Human Audio-visual Talking), um framework projetado para gerar diálogos áudio-visuais díades diversos, contextualmente apropriados e mutuamente responsivos a partir de um único prompt de texto anônimo. O framework opera através de um pipeline de três estágios:

1. Geração de Diálogo Textual (TDG):
   Um Grande Modelo de Linguagem (LLM) recebe um prompt de cenário definido pelo usuário e gera roteiros de diálogo díade de múltiplos turnos pareados com descrições textuais das identidades dos dois falantes. Para garantir a coerência, as conversas são limitadas a 5–10 turnos.

2. Geração de Diálogo de Áudio Díade (DADG):
   Este módulo converte os roteiros textuais em áudio pareado e consciente de emoções. Ele emprega um bloco de Refinamento de Áudio Interativo (IAR) que:

   • Refina o texto para incluir pronomes de segunda pessoa e fluxo conversacional.
   • Insere palavras interativas curtas (ex: "hmm", "ok") em segmentos de silêncio para simular a escuta ativa.
   • Gera representações de emoções estruturadas (categorias discretas e atributos de prosódia contínua como tom e energia) para cada enunciado.
   • Sintetiza as formas de onda de áudio finais usando um sintetizador de fala emocional condicionado ao texto refinado, embeddings de emoção e configurações de ambiente sonoro.

3. Geração de Comportamento Facial Interativo (IFBG):
   Este módulo sintetiza os vídeos faciais para ambos os falantes, garantindo que sejam temporalmente coerentes e mutuamente responsivos. Ele utiliza um modelo de rosto falante e um novo bloco de Refinamento de Comportamento Facial Interativo (IFBR), que consiste em três subcomponentes:

   • Geração de Comportamento Facial Silencioso (SFBG): Utiliza um modelo de difusão de vídeo para gerar comportamentos faciais realistas (ex: acenos, piscar de olhos) para segmentos silenciosos, condicionado à identidade do falante e aos segmentos de fala adjacentes.
   • Geração de Comportamento Facial Responsivo (RFBG): Um transformer de difusão de vídeo que refina os comportamentos faciais para serem responsivos aos sinais áudio-visuais do parceiro de conversação. Ele injeta as características faciais e de áudio do parceiro (através de múltiplas escalas espaciais via atenção cruzada) no processo de difusão, permitendo a geração de microexpressões e reações que se alinham à fala e às emoções do parceiro.
   • Refinamento de Continuidade Temporal (TCR): Aplica uma estratégia de mistura de fronteiras ponderada por Gauss para suavizar as transições entre segmentos faciais, garantindo a continuidade visual sem interromper a responsividade mútua estabelecida.

O framework é treinado em um esquema de dois estágios: os módulos individuais são pré-treinados, seguido pela otimização conjunta de ponta a ponta dos blocos treináveis (IAR e IFBR) enquanto mantém os LLMs e os modelos de TTS congelados.

Principais Contribuições

• Definição de Tarefa: O artigo define formalmente a Geração de Diálogo Áudio-visual Interativo Díade (DIADG), uma nova tarefa que exige a geração de pares de diálogo áudio-visuais diversos, interativos e sincronizados a partir de um único prompt de texto.
• Framework CHAT: Propõe um framework modular que unifica LLMs, modelos de rosto falante e módulos de refinamento interativo para gerar clipes de diálogo mutuamente responsivos sem entradas de vídeo ou áudio pré-definidas.
• Módulos de Refinamento: Introduz os blocos IAR e IFBR, que transformam saídas não interativas e sem emoção de modelos pré-treinados em clipes DIAD emocionais, sincronizados e mutuamente responsivos.
• Dataset CHAT-AVD-50k: Lança um conjunto de dados sintéticos de grande escala contendo 50.000 pares de diálogos díades diversos (100.000 clipes, ~1.389 horas) cobrindo vários cenários e 100.000 identidades faciais.

Resultados

• Avaliação Quantitativa: O CHAT supera os métodos existentes (incluindo Hallo3, SadTalker, DIM, ReactDiff e EDTalk) em sincronia áudio-visual (LSE-C, LSE-D), interatividade (FRCorr, FRDiv) e preservação de identidade (CSIM). Ele alcança o melhor score FID e scores competitivos de FVD e LPIPS.
• Avaliação Qualitativa: Um estudo com usuários com 60 participantes classificou o CHAT como o mais alto em todas as dimensões: realismo visual, qualidade de áudio, sincronia AV, expressividade e interatividade.
• Estudos de Ablação: Experimentos confirmam que remover o bloco IAR degrada significamente a qualidade do áudio e a interatividade, enquanto remover o bloco IFBR (especificamente o RFBG) causa uma degradação severa no realismo visual e na interatividade, destacando a necessidade de ambos os estágios de refinamento.
• Utilidade Downstream: Quando usado como dados de pré-treinamento para modelos de Geração de Cabeça Interativa (IHG) (PerFRDiff e ReactDiff), o dataset CHAT-AVD-50k melhora consistentemente o desempenho no benchmark REACT 2024 em comparação com modelos treinados apenas com dados reais.

Significância
O artigo posiciona o CHAT como uma alternativa escalável à coleta custosa e eticamente sensível de dados de interação díade reais. Ao permitir a geração de diálogos áudio-visuais diversos, demograficamente variados e mutuamente responsivos a partir de texto anonimizado, o CHAT facilita a criação de datasets de grande escala necessários para o avanço das tecnologias de IA centradas no humano e de humanos digitais. Os autores veem este trabalho como um passo inicial para a síntese de DIAD escalável, fornecendo uma base para pesquisas futuras em dados de interação díade de grande escala.