Resumen Técnico: Generación de Escenas de Audio Multihablante Basada en Referencias a partir de Priores de Entorno Natural (In-the-Wild)

Planteamiento del Problema

Los sistemas actuales de generación de diálogos entre múltiples hablantes dependen fuertemente de una supervisión estructurada, como etiquetas de hablante por turno, transcripciones de múltiples flujos o embeddings de giro de hablante aprendibles. Estos enfoques operan típicamente dentro de pipelines de solo voz que producen secuencias vocales limpias, eliminando la textura ambiental, la acústica de la sala y el habla superpuesta característica de las conversaciones del mundo real. Además, los modelos de clonación de voz zero-shot generalmente abordan solo el caso de un único hablante, requiriendo que las escenas de múltiples hablantes se ensamblen segmento por segmento fuera del modelo. El desafío central es generar escenas de audio ricas, con múltiples hablantes, con habla superpuesta natural y sonidos ambientales utilizando únicamente un prompt de lenguaje natural libre y un conjunto de voces de referencia, sin requerir anotaciones estructurales por turno ni codificadores de identidad.

Metodología: Marco SCENA

Los autores proponen SCENCIA, un marco de concordancia de flujo (flow-matching) que condiciona un modelo fundacional de texto a audio preentrenado (específicamente una variante de solo audio de LTX-2) sobre múltiples voces de referencia y un prompt de lenguaje natural holístico.

1. Condicionamiento de Referencia mediante Concatenación de Latentes

En lugar de utilizar adaptadores complejos o codificadores de identidad, SCENA emplea una interfaz mínima:

• Concatenación de Latentes: Los clips de audio de referencia se codifican en secuencias latentes utilizando el mismo Autoencoder Variacional (VAE) que el audio objetivo. Estos latentes de referencia se concatenan directamente con los tokens ruidosos del objetivo.
• Codificaciones Posicionales Conscientes de la Identidad: Para distinguir entre diferentes referencias y el objetivo, a cada espacio de referencia $k$ se le asigna un embedding aprendido $e_k$. Este embedding se suma a los tokens del correspondiente latente de referencia. Los tokens del objetivo no reciben tal embedding aditivo.
• Interfaz de Lenguaje Natural: Un único prompt de texto describe toda la escena, incluyendo sonidos ambientales, turnos de los hablantes y contenido. El prompt se refiere a los hablantes mediante menciones textuales (por ejemplo, "el hablante de la referencia 1"). El modelo depende enteramente de este texto para vincular referencias específicas con partes específicas del audio generado.

2. El Desafío del Atajo de Referencia (Reference Shortcut)

Los autores identifican un modo de fallo crítico al entrenar modelos de concordancia de flujo condicionados por referencia, denominado Atajo de Referencia.

• Mecanismo: Bajo esquemas de ruido estándar (por ejemplo, logit-normal), la masa de entrenamiento se concentra en pasos de tiempo intermedios donde el objetivo ruidoso $z_t$ aún retiene información acústica significativa del objetivo limpio $z_0$. En este régimen, el modelo puede omitir el prompt de texto por completo. En lugar de aprender a dirigir las consultas desde la descripción de texto hacia la referencia correcta mediante atención cruzada y atención propia, el modelo simplemente empareja los tokens del objetivo ruidoso con el latente de referencia acústicamente más similar mediante atención propia.
• Consecuencia: Aunque este atajo minimiza la pérdida de entrenamiento, conduce a un fallo catastrófico durante la inferencia. La inferencia comienza en ruido puro ($t=1$), donde la similitud acústica no está disponible. Dado que el modelo aprendió a ignorar el prompt de texto durante el entrenamiento, falla al vincular las referencias con los hablantes correctos, lo que resulta en salidas confusas o inconsistentes.

3. Distribución de Pasos de Tiempo Sesgada hacia Alto Ruido

Para eliminar el Atajo de Referencia, los autores modifican el esquema de ruido de entrenamiento:

• Estrategia: Reemplazan la distribución logit-normal estándar por una distribución mixta: $p(t) = (1 - \lambda) \text{Beta}(t; \alpha, 1) + \lambda \text{Uniform}(t; \epsilon, 1)$.
• Efecto: El componente Beta concentra la masa de entrenamiento en la cola de alto ruido (donde $t$ está cerca de 1). En este régimen, el objetivo ruidoso contiene poca o ninguna información acústica sobre la fuente, haciendo que el atajo sea imposible. El modelo se ve obligado a depender del prompt de texto y de los embeddings de referencia para determinar la asignación de los hablantes.
• Aumentos Auxiliares: Para reforzar el vínculo, los autores emplean inyección de referencia adversaria (llenar espacios no utilizados con referencias distractoras no mencionadas en el prompt) y aumento de permutación de espacios (aleatorizar el orden de las referencias y actualizar los tokens del prompt según corresponda) para evitar que el modelo dependa de sesgos posicionales.

4. Construcción del Conjunto de Datos

Los autores construyeron un conjunto de datos de múltiples referencias donde cada ejemplo consiste en un clip de conversación de múltiples hablantes, $K$ clips de un solo hablante como referencia, y un pie de foto (caption). El pipeline de generación de pies de foto utiliza un pie de foto intermedio (no condicionado a las referencias) para fundamentar la descripción de la escena, que luego se combina con marcas de tiempo de diarización y clips de referencia para generar el prompt final condicionado por referencia.

Resultados

El método fue evaluado en el benchmark CoVoMix2-Dialogue, específicamente en el subconjunto COVOMIX2-DIALOGUE-20S y un subconjunto COVOMIX2-DIALOGUE-WILDREF utilizando referencias de entornos naturales (in-the-wild).

• Vinculación de Hablantes: SCENA supera a las líneas base existentes de diálogo multihablante (incluyendo MOSS-TTSD, VibeVoice, ZipVoice-Dialog y Dia) en métricas de vinculación de hablantes. Logra los mejores valores de cpWER (Tasa de Error de Palabra con conciencia de hablante), cpSIM (similitud de coseno estricta por hablante) y ACC (precisión de la asignación de hablante).
• Robustez: En la configuración de "Referencia Silvestre" (Wild Reference), donde las referencias contienen ruido de fondo y condiciones no de estudio, SCENA mantiene un rendimiento superior. Mientras que las puntuaciones de cpSIM de las líneas base cayeron significativamente (cayendo por debajo de 0.40), SCENA mantuvo una puntuación por encima de 0.42.
• Calidad de Audio: SCENA genera habla superpuesta, eventos paralingüísticos espontáneos (risas, suspiros) y sonido ambiental de la escena conjuntamente con la conversación. Aunque las puntuaciones UTMOS fueron ligeramente inferiores a algunas líneas base (atribuido a que el backbone LTX-2 fue entrenado en bandas sonoras de video de entornos naturales en lugar de habla de estudio), las puntuaciones SQUIM fueron competitivas o superiores.

Significancia y Reivindicaciones

El artículo afirma que SCENA demuestra la ventaja de utilizar un modelo fundacional de audio de propósito general condicionado en una descripción de escena de forma libre, en lugar de pasar guiones de diálogo estructurados a través de un pipeline de solo voz.

Reivindicaciones clave incluyen:

1. Naturalidad: Al aprovechar un modelo preentrenado en datos a gran escala de entornos naturales, SCENA hereda la capacidad de generar texturas de audio naturales, no de estudio, incluyendo ruido de fondo, acústica de la sala y diálogo superpuesto, que suelen estar ausentes en los sistemas de TTS de diálogo estructurado.
2. Interfaz Mínima: El marco logra un control complejo de múltiples hablantes sin necesidad de etiquetas por turno, transcripciones o codificadores de identidad, dependiendo únicamente de lenguaje natural y latentes de referencia.
3. Dinámica de Entrenamiento: El artículo destaca el "Atajo de Referencia" como un modo de fallo previamente no reconocido en la concordancia de flujo condicionada por referencia y propone que modificar la distribución de los pasos de tiempo por sí solo es suficiente para forzar al modelo a aprender el necesario vínculo de texto a referencia, sin añadir mecanismos de vinculación explícitos.

Los autores concluyen que su enfoque permite interacciones humanas complejas, incluyendo el habla superpuesta y eventos paralingüísticos espontáneos, directamente desde un único prompt de lenguaje natural.