Resumen Técnico: AgentSteerTTS

Declaración del Problema

A pesar de los avances significativos en la naturalidad y fluidez de la síntesis de Texto a Voz (TTS), los modelos existentes luchan con el control fino sobre instrucciones compuestas. Los sistemas actuales a menudo fallan al representar fielmente los atributos emocionales o estilísticos especificados por el usuario cuando están presentes múltiples restricciones, potencialmente conflictivas (por ejemplo, "Feliz pero ligeramente Arrogante").

El artículo identifica dos cuellos de botella principales que causan este fracaso:

1. Desalineación Semántico-Acústica: Las intenciones textuales discretas no se mapean limpiamente a realizaciones acústicas continuas. Los autores observan que, bajo la indicación compuesta, las dimensiones emocionales objetivo se activan sistemáticamente de forma insuficiente (supresión), mientras que las dimensiones no objetivo reciben activación espuria (fuga). Esto resulta en salidas "promediadas por modo" que diluyen atributos específicos en lugar de combinarlos.
2. Enredo Hablante-Emoción: La identidad del hablante (timbre) y las señales prosódicas/emocionales están acopladas en el habla natural. En los modelos generativos latentes, la realización de una emoción objetivo a menudo se desplaza sistemáticamente entre diferentes hablantes. Esto crea un compromiso donde mejorar la fidelidad de la intención compuesta a menudo conduce a un desplazamiento del hablante (pérdida de identidad), y viceversa.

Metodología: AgentSteerTTS

Para abordar estos desafíos, los autores proponen AgentSteerTTS, un marco de bucle cerrado multiagente diseñado para un control expresivo fiel a la intención. La arquitectura opera mediante un mecanismo de "desacoplar–anclar–refinar" que involucra tres agentes especializados:

1. Agente de Desentrelazamiento Adversarial (ADM)

Este módulo aborda el problema del enredo hablante-emoción.

• Mecanismo: Factoriza el audio de referencia en dos subespacios latentes: $Z_{id}$ (identidad del hablante) y $Z_{emo}$ (emoción/prosodia).
• Entrenamiento: Emplea una pérdida de reconstrucción ($L_{rec}$) para garantizar la fidelidad acústica, una pérdida de ortogonalidad ($L_{orth}$) para minimizar la covarianza cruzada entre los dos factores, y entrenamiento adversarial bidireccional. Dos discriminadores intentan predecir etiquetas de hablante desde el flujo de emoción y etiquetas de emoción desde el flujo de identidad. Se utilizan Capas de Reversión de Gradiente (GRL) para evitar que los codificadores aprendan estas dependencias cruzadas, suprimiendo efectivamente la fuga.

2. Controlador de Anclaje de Flujo Dual (DAC)

Este módulo aborda la desalineación semántico-acústica al fundamentar instrucciones textuales abstractas en prototipos acústicos concretos.

• Agente de Recuperación: Dada una instrucción de usuario, este agente consulta una biblioteca de prototipos acústicos a gran escala (muestras de alta expresividad curadas con anotaciones de MLLM) para recuperar anclas emocionales relevantes. Realiza una búsqueda de incrustaciones basada en texto y recorte temporal opcional para seleccionar el segmento más consistente.
• Agente de Síntesis: Este agente fusiona el prototipo acústico recuperado con la intención del usuario. Utiliza un mecanismo de atención con compuerta para combinar:
  • Flujo Acústico: Características del prototipo recuperado y el estado neutral del hablante objetivo.
  • Flujo de Texto: Vectores de intensidad discretos derivados de la instrucción.
• Salida: La fusión produce un vector de control continuo ($\hat{z}_{emo}$) que ancla la generación en el subespacio de emoción mientras respeta la identidad del hablante objetivo.

3. Agente de Retroalimentación Rápida-Lenta

Este módulo refina la salida durante la inferencia para corregir la deriva semántica residual.

• Agente Rápido (Corrección de Gradiente Latente): Antes de la síntesis de la forma de onda, un Predictor de Consistencia Latente (LCP) ligero y diferenciable estima la alineación entre el espectrograma Mel intermedio y la intención objetivo. Realiza descenso de gradiente en línea para ajustar un factor de escala ($\alpha$) para la incrustación de emoción, dirigiendo la generación sin ejecutar el vocoder.
• Agente Lento (Crítica Perceptiva): Después de la generación de la forma de onda, un Agente Supervisor (impulsado por un backend MLLM como Gemini o Qwen) evalúa la salida. Si detecta desviaciones (por ejemplo, "emoción demasiado débil" o "tipo incorrecto"), desencadena ya sea una recalibración del Agente Rápido o una nueva recuperación de prototipos por parte del DAC.

Contribuciones Clave

El artículo afirma tres contribuciones principales:

1. Identificación de Sesgo Sistemático: Los autores demuestran empíricamente que el TTS de instrucciones compuestas sufre de supresión objetivo sistemática y fuga no objetivo, en lugar de ruido aleatorio, y que esto se ve exacerbado por el enredo hablante-emoción.
2. Marco Novel: La propuesta de AgentSteerTTS, un sistema de bucle cerrado multiagente que integra desentrelazamiento adversarial, anclaje aumentado por recuperación y retroalimentación jerárquica para lograr un control fino.
3. Validación Empírica: Extensos experimentos que muestran que el método mejora la alineación de la intención mientras preserva la identidad del hablante, superando a las líneas base más avanzadas tanto en conjuntos de datos públicos como en una nueva referencia de instrucciones compuestas.

Resultados Experimentales

Los autores evaluaron AgentSteerTTS en el conjunto de datos ESD y un Conjunto de Datos Compuesto de Granularidad Fina personalizado (que involucra instrucciones como "Feliz pero ligeramente Arrogante").

• Rendimiento de Control Compuesto: En la referencia compuesta, AgentSteerTTS logró una E-SIM (Similitud de Emoción) de 0.955 (con un backend Gemini3), superando significativamente a IndexTTS2 (0.864) y CosyVoice2 (0.748).
• Preservación del Hablante: El sistema mantuvo una alta similitud de hablante (S-SIM = 0.841), demostrando que la mejora en el control de la emoción no vino a costa de un desplazamiento de identidad.
• Estudios de Ablación:
  • Eliminar el módulo de Desentrelazamiento Adversarial aumentó el desplazamiento del hablante ($\Delta$S-SIM) de 0.021 a 0.048.
  • Eliminar la Recuperación de Prototipos (condicionamiento solo de texto) hizo que la Tasa de Éxito Compuesto (CSR) cayera de 0.78 a 0.49.
  • Eliminar los Bucles de Retroalimentación redujo la CSR, indicando su papel en la corrección de desajustes de intensidad.
• Análisis Cualitativo: Las visualizaciones de espectrograma y trayectoria prosódica confirmaron que el modelo produce ediciones espectrales localizadas y alineadas con la intención, en lugar de distorsiones globales o promedios simples de emociones individuales.

Significado y Limitaciones

Significado:
El artículo argumenta que AgentSteerTTS proporciona una solución robusta al "desajuste estructural" entre el texto discreto y el audio continuo. Al desacoplar explícitamente al hablante y la emoción y utilizar un mecanismo de retroalimentación de bucle cerrado, el marco permite la síntesis fiable de estados emocionales complejos y matizados que los modelos de alimentación directa actuales no logran capturar.

Limitaciones:
Los autores reconocen varias restricciones:

• Dependencia de la Biblioteca de Prototipos: El rendimiento está limitado por la cobertura y la fiabilidad de recuperación de la biblioteca de prototipos acústicos, particularmente para estilos compuestos raros o inusuales.
• Dependencia del Evaluador: El Bucle Lento depende de evaluadores externos MLLM, que pueden ser imperfectos o excesivamente seguros en indicaciones fuera de la distribución.
• Desentrelazamiento Parcial: El ADM aborda el acoplamiento dominante hablante-emoción pero no logra la factorización completa de todos los factores acústicos (por ejemplo, condiciones de grabación, acentos o edad), lo que significa que pueden persistir variaciones residuales.

El artículo concluye que, aunque el método avanza significativamente el control compuesto, el trabajo futuro debe centrarse en reducir la dependencia de evaluadores externos y expandir la robustez de la biblioteca de prototipos.