Conversational Human Audio-visual Talking Dialogue Generation

Resumen Técnico: Generación de Diálogo de Audio-visual de Conversación Humana (CHAT)

Declaración del Problema
El artículo aborda la escasez de conjuntos de datos de Diálogo Audiovisual Interactivo Díadico (DIAD) a gran escala y demográficamente diversos. El DIAD se refiere a grabaciones emparejadas que capturan el habla, los comportamientos faciales y la capacidad de respuesta mutua de dos individuos en una interacción natural. Tales datos son críticos para entrenar sistemas de interacción humano-computadora (HCI) inteligentes, agentes virtuales y compañeros digitales. Sin embargo, la recolección de datos DIAD del mundo real consume mucho tiempo, es costosa y está plagada de preocupaciones éticas y de privacidad. Los métodos de síntesis existentes sufren tres limitaciones primarias: (1) generan videos faciales independientes y no interactivos en lugar de interacciones emparejadas; (2) no logran producir clips audiovisuales mutuamente responsivos donde el comportamiento de un individuo esté influenciado por las señales no verbales del otro; y (3) los Modelos de Lenguaje Extensos (LLMs) existentes no pueden sintetizar directamente clips de DIAD humano-humano sincronizados, realistas y mutuamente responsivos a partir de un solo prompt.

Metodología
Los autores proponen CHAT (Conversational Human Audio-visual Talking), un marco diseñado para generar diálogos audiovisuales diádicos diversos, contextualmente apropiados y mutuamente responsivos a partir de un único prompt de texto anónimo. El marco opera a través de un pipeline de tres etapas:

1. Generación de Diálogo Textual (TDG):
   Un Modelo de Lenguaje Extenso (LLM) toma un prompt de escenario definido por el usuario y genera guiones de diálogo diádico de múltiples turnos emparejados con descripciones textuales de las identidades de los dos interlocutores. Para asegurar la coherencia, las conversaciones se limitan a entre 5 y 10 turnos.

2. Generación de Diálogo de Audio Diádico (DADG):
   Este módulo convierte los guiones textuales en audio emparejado y consciente de la emoción. Emplea un bloque de Refinamiento de Audio Interactivo (IAR) que:

   • Refina el texto para incluir pronombres en segunda persona y fluidez conversacional.
   • Inserta palabras interactivas cortas (por ejemplo, "hmm", "okay") en segmentos de silencio para simular la escucha activa.
   • Genera representaciones de emoción estructuradas (categorías discretas y atributos prosódicos continuos como tono y energía) para cada enunciado.
   • Sintetiza las formas de onda de audio finales utilizando un sintetizador de voz emocional condicionado por el texto refinado, los embeddings de emoción y la configuración del entorno de sonido.

3. Generación de Comportamiento Facial Interactivo (IFBG):
   Este módulo sintetiza los videos faciales para ambos interlocutores, asegurando que sean temporalmente coherentes y mutuamente responsivos. Utiliza un modelo de rostro parlante y un nuevo bloque de Refinamiento de Comportamiento Facial Interactivo (IFBR), el cual consta de tres subcomponentes:

   • Generación de Comportamiento Facial Silencioso (SFBG): Utiliza un modelo de difusión de video para generar comportamientos faciales realistas (por ejemplo, asentimientos, parpadeos) para segmentos de silencio, condicionados por la identidad del hablante y los segmentos de habla adyacentes.
   • Generación de Comportamiento Facial Responsivo (RFBG): Un transformador de difusión de video que refina los comportamientos faciales para que sean responsivos a las señales audiovisuales de su pareja de conversación. Inyecta las características faciales y de audio de la pareja (a través de múltiples escalas espaciales mediante atención cruzada) en el proceso de difusión, permitiendo la generación de microexpresiones y reacciones que se alinean con el habla y las emociones del compañero.
   • Refinamiento de Continuidad Temporal (TCR): Aplica una estrategia de mezcla de bordes con ponderación Gaussiana para suavizar las transiciones entre segmentos faciales, asegurando la continuidad visual sin interrumpir la mutua capacidad de respuesta establecida.

El marco se entrena en un esquema de dos etapas: los módulos individuales se pre-entrenan, seguido de una optimización conjunta de extremo a extremo de los bloques entrenables (IAR e IFBR) mientras se mantienen congelados los LLMs y los modelos TTS.

Contribuciones Clave

• Definición de la Tarea: El artículo define formalmente la Generación de Diálogo Audiovisual Interactivo Diádico (DIADG), una nueva tarea que requiere la generación de pares de diálogo audiovisual diversos, interactivos y sincronizados a partir de un solo prompt de texto.
• Marco CHAT: Propone un marco modular que unifica LLMs, modelos de rostro parlante y módulos de refinamiento interactivo para generar clips de diálogo mutuamente responsivos sin entradas de video o audio predefinidas.
• Módulos de Refinamiento: Introduce los bloques IAR e IFBR, que transforman salidas no interactivas y sin emoción de modelos pre-entrenados en clips de DIAD emocionales, sincronizados y mutuamente responsivos.
• Dataset CHAT-AVD-50k: Publica un conjunto de datos sintético a gran escala que contiene 50,000 pares de diálogos diádicos diversos (100,000 clips, ~1,389 horas) que cubren varios escenarios y 100,000 identidades faciales.

Resultados

• Evaluación Cuantitativa: CHAT supera a los métodos existentes (incluyendo Hallo3, Sad lack, DIM, ReactDiff y EDTalk) en sincronización audiovisual (LSE-C, LSE-D), interactividad (FRCorr, FRDiv) e preservación de identidad (CSIM). Logra el mejor puntaje FID y puntajes competitivos en FVD y LPIPS.
• Evaluación Cualitativa: Un estudio de usuario con 60 participantes calificó a CHAT como el más alto en todas las dimensiones: realismo visual, calidad de audio, sincronización AV, expresividad e interactividad.
• Estudios de Ablación: Los experimentos confirman que eliminar el bloque IAR degrada significativamente la calidad del audio y la interactividad, mientras que eliminar el bloque IFBR (específicamente RFBG) causa una degradación severa en el realismo visual y la interactividad, resaltando la necesidad de ambas etapas de refinamiento.
• Utilidad de Aplicación (Downstream): Cuando se utiliza como datos de pre-entrenamiento para modelos de Generación de Cabeza Interactiva (IHG) (PerFRDiff y ReactDiff), el dataset CHAT-AVD-50k mejora consistentemente el rendimiento en el benchmark REACT 2024 en comparación con modelos entrenados únicamente con datos reales.

Significancia
El artículo posiciona a CHAT como una alternativa escalable a la costosa y éticamente sensible recolección de datos de interacción diádica real. Al permitir la generación de diálogos audiovisuales diversos, demográficamente variados y mutuamente responsivos a partir de texto anonimizado, CHAT facilita la creación de los grandes conjuntos de datos necesarios para avanzar en la IA centrada en el humano y las tecnologías de humanos digitales. Los autores consideran este trabajo como un paso inicial hacia la síntesis de DIAD escalable, proporcionando una base para la investigación futura en datos de interacción diádica a gran escala.