🤖 AI

How Do Instructions Shape Speech? Cross-Attention Attribution for Style-Captioned Text-to-Speech

Este artículo introduce un nuevo método de atribución de atención cruzada adaptado para modelos de difusión de voz para analizar cómo los tokens de estilo-leyenda influyen en los resultados acústicos, revelando que el condicionamiento de estilo es más selectivo en las etapas tempranas de la ODE y en las capas profundas de la red, mientras que se correlaciona fuertemente con la frecuencia fundamental y la energía.

Autores originales: Nityanand Mathur, Hamees Sayed, Wasim Madha, Apoorv Singh, Sameer Khurana, Akshat Mandloi, Sudarshan Kamath

Publicado 2026-06-19

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Nityanand Mathur, Hamees Sayed, Wasim Madha, Apoorv Singh, Sameer Khurana, Akshat Mandloi, Sudarshan Kamath

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un actor de voz mágico que puede sonar como cualquiera, decir cualquier cosa y hablar en cualquier estado de ánimo que describas. Le dices: "Habla como un robot calmado, profundo y lento", y lo hace perfectamente. Pero hasta ahora, nadie sabía cómo la computadora realmente entendía esas palabras. ¿Cambió la palabra "calmado" toda la voz? ¿O "robot" solo afectó el final de la frase?

Este artículo es como ponerse unas gafas de rayos X para observar cómo trabaja ese actor de voz mágico. Los investigadores construyeron una herramienta para ver exactamente qué palabras en tus instrucciones influyen en el sonido en cada momento del habla.

Aquí está el desglose de su descubrimiento utilizando analogías simples:

1. La configuración: Las gafas "DAAM"

En el mundo de la generación de imágenes (como crear dibujos a partir de texto), los científicos ya tenían una forma de ver qué palabras pintaban qué partes de una imagen. Lo llamaban "DAAM".

Los investigadores tomaron esta misma idea y la adaptaron para el habla. Dado que el habla ocurre a través del tiempo (como una película) en lugar de en el espacio (como una pintura), crearon "mapas de calor temporales". Piensa en esto como una línea de tiempo donde pueden ver cuánta atención presta la computadora a la palabra "fuerte" en cada segundo del audio.

2. El gran descubrimiento: El "Director" frente a los "Músicos"

Los investigadores observaron tres tipos de palabras en tus instrucciones:

Palabras de estilo: Adjetivos como "calmado", "fuerte" o "profundo".
Palabras de contenido: Sustantivos como "voz", "hablante" o "masculino".
Palabras funcionales: El pegamento aburrido como "un", "el" o "y".

El hallazgo:

Las palabras de estilo actúan como un Director. Cuando la computadora ve la palabra "calmado", presta atención a toda la canción de principio a fin. No solo cambia una nota; establece el estado de ánimo para toda la actuación. Los investigadores descubrieron que estas palabras tienen una "varianza" muy baja, lo que significa que esparcen su influencia de manera uniforme a lo largo del tiempo, tal como un director que agita su batuta sobre toda una orquesta.
Las palabras de contenido actúan como músicos específicos. Palabras como "masculino" o "femenino" son más enfocadas. Influyen en el tono y la energía, pero son más localizadas en partes específicas del sonido, similar a cómo un violinista toca una melodía específica.
Las palabras funcionales son la partitura. Son necesarias para la estructura, pero no cambian realmente la "vibra" de la voz.

3. La prueba de "Fuerte": ¿Coinciden las palabras con la realidad?

Los investigadores querían saber si la computadora realmente escuchaba el significado de las palabras. Comprobaron si la palabra "fuerte" hacía que la computadora prestara más atención cuando el audio era realmente fuerte.

El resultado: ¡Sí!

Cuando la instrucción decía "fuerte", la atención de la computadora aumentaba exactamente cuando el volumen del habla era alto.
Cuando decía "nervioso", la computadora prestaba atención cuando la energía de la voz era alta.
Cuando decía "confiado", la computadora se enfocaba en momentos donde el tono (la altura o profundidad de la voz) era más alto.

Esto demuestra que la computadora no está simplemente adivinando; está conectando genuinamente el significado de la palabra con el sonido real que crea.

4. El sitio de construcción: ¿Cuándo y dónde ocurre la magia?

La computadora construye la voz en pasos, como un equipo de construcción construyendo una casa. Observaron dos cosas: Pasos de tiempo (cuándo en el proceso) y Capas (qué tan profundo en el cerebro de la computadora).

Los pasos iniciales (Los cimientos): En el comienzo mismo del proceso, la computadora está obsesionada con las palabras de Estilo. Es como poner los cimientos de una casa; decide: "Está bien, toda esta casa va a ser un castillo". Aquí es donde se establece el estado de ánimo "global".
Las capas profundas (Los detalles): A medida que el proceso se vuelve más profundo, la computadora comienza a enfocarse más en las palabras de Contenido (como "masculino" o "femenino") para refinar la identidad específica de la voz.
El "Punto de enfoque": Alrededor de la capa 17 del cerebro de la computadora, algo interesante sucede. La computadora se vuelve extremadamente enfocada. Deja de mirar todo y hace zoom en las palabras más importantes para perfeccionar los detalles finales. Es como un fotógrafo ajustando el lente para obtener la imagen más nítida justo antes de tomar la foto.

Resumen

Este artículo es la primera vez que hemos podido ver el "proceso de pensamiento" de una IA de texto a voz. Descubrieron que:

Las palabras de estilo (como "calmado") son los directores globales, controlando toda la voz de principio a fin.
La computadora entiende el significado: Vincula palabras como "fuerte" con sonidos que son realmente fuertes.
El proceso es una jerarquía: Comienza estableciendo el gran estado de ánimo, luego refina la identidad específica y, finalmente, agudiza los detalles al final.

Esencialmente, la computadora no solo adivina; sigue un plan organizado paso a paso donde diferentes palabras tienen diferentes trabajos en diferentes momentos para crear la voz perfecta.

Resumen Técnico: ¿Cómo moldean las instrucciones el habla? Atribución de atención cruzada para la síntesis de voz con subtítulos de estilo

Declaración del problema

Los sistemas modernos de síntesis de voz (TTS) han evolucionado desde incrustaciones de hablante fijas hacia el condicionamiento mediante lenguaje natural, donde subtítulos de estilo en lenguaje libre (por ejemplo, "una voz tranquila, profunda y que habla lentamente") controlan las características de la voz. Si bien este paradigma ofrece capacidades expresivas, persiste una brecha fundamental de interpretabilidad: ¿cómo influyen las palabras individuales en un subtítulo de estilo en el audio sintetizado?

A diferencia de la generación de imágenes, donde los Mapas de Atribución de Atención de Difusión (DAAM) han mapeado con éxito los tokens de los prompts a regiones espaciales, el habla presenta desafíos únicos. El habla es inherentemente temporal, lo que requiere atención para mapear los tokens a cuadros temporales del espectrograma en lugar de píxeles espaciales. Además, la distinción entre propiedades globales (estilo, emoción) y propiedades locales (identidad de los fonemas, duración) crea un desafío de interpretabilidad específico para el habla. Antes de este trabajo, no existía un marco equivalente para analizar la atención cruzada en los modelos de difusión de habla.

Metodología

Los autores adaptan el marco DAAM al dominio del habla, aplicándolo a CapSpeech-TTS, un modelo de TTS no autorregresivo basado en el ajuste de flujo (flow matching).

Arquitectura del modelo

El flujo de trabajo de CapSpeech consta de:

Codificadores: Un codificador T5 procesa el subtítulo de estilo en incrustaciones contextuales ( $E_c$ ), mientras que un codificador CLAP proporciona una incrustación de etiqueta de estilo global.
Núcleo Generativo: Un Transformador de Difusión de Ajuste de Flujo (DiT) con 25 capas ( $L=25$ ). Refina iterativamente los latentes de mel-espectrograma desde ruido gaussiano a lo largo de 24 pasos de ODE ( $S=24$ ).
Mecanismo: En cada capa y paso de ODE, el DiT computa la atención cruzada de múltiples cabezales donde las consultas de audio atienden a las claves del subtítulo. Este es el lugar de la condicionación de estilo.
Vocoder: Un vocoder HiFi-GAN convierte el latente refinado en la forma de onda final.

Mecanismo de atribución

Para analizar cómo los subtítulos influyen en la generación, los autores:

Interceptaron la atención: Registraron hooks de propagación hacia adelante para capturar matrices de atención cruzada ( $A^{(l,s)}_h$ ) en cada capa $l$ y paso de ODE $s$ .
Agregación: Promediaron la atención entre cabezales, luego la agregaron a través de los 25 niveles y los 24 pasos de ODE para crear un mapa de calor temporal por token ( $M_j$ ) para cada token del subtítulo $j$ .
Categorización de tokens: Clasificaron los tokens del subtítulo en tres categorías:
- Estilo: Adjetivos que describen calidad/emoción (ej. "tranquila", "fuerte").
- Contenido: Sustantivos que describen al hablante (ej. "voz", "hombre").
- Función: Artículos, preposiciones, puntuación.
Métricas: Definieron métricas incluyendo varianza temporal, relación pico-media (PMR), entropía temporal y correlación de Pearson con características acústicas (F0 y energía RMS).

Conjunto de datos

El estudio analizó 3,600 combinaciones de 120 subtítulos de estilo y 30 transcripciones de texto diversas, lo que resultó en 3,520 generaciones exitosas. Esto produjo 54,880 instancias de tokens y más de 2.1 millones de matrices de atención.

Contribuciones clave

Primera atribución de atención cruzada en TTS: El estudio proporciona los primeros mapas de calor temporales por token a través de todas las capas del transformador y los pasos de ODE para un modelo de TTS de ajuste de flujo.
Análisis de condicionamiento Global vs. Local: Demostró que los tokens de estilo exhiben una varianza temporal significativamente menor que los tokens de contenido o función, confirmando su papel como moduladores globales.
Fundamentación acústica: Mostró que la atención de los tokens de estilo se correlaciona con características acústicas medibles (F0 y energía) de maneras semánticamente coherentes (ej. "fuerte" se correlaciona con la energía).
Dinámicas jerárquicas: Reveló que la condicionación de estilo alcanza su punto máximo en los primeros pasos de ODE y en las capas profundas del transformador, mientras que la entropía de la atención alcanza un mínimo en la capa 17, coincidiendo con la importancia máxima del estilo.

Resultados

1. Condicionamiento Global vs. Local

Varianza Temporal: Los tokens de estilo mostraron la varianza temporal más baja ( $\bar{\sigma}^2 = 2.1 \times 10^{-5}$ ), significativamente menor que la de contenido ( $7.0 \times 10^{-5}$ ) y de función ( $19.2 \times 10^{-5}$ ). Esto indica que los tokens de estilo distribuyen la atención uniformemente a lo largo del enunciado.
Relación Pico-Media (PMR): A pesar de la baja varianza, los tokens de estilo tuvieron la PMR más alta (1.74), lo que sugiere que producen firmas de atención compactas y características con un pico distintivo distribuido uniformemente en el tiempo.
Jerarquía por palabra: Las palabras que describen la prosodia global (ej. "alegre", "profunda") mostraron la atención más difusa, mientras que las palabras con correlatos acústicos específicos (ej. "fuerte", "nasal") mostraron una mayor varianza, indicando una localización parcial en las regiones donde su efecto es más fuerte.

2. Correlaciones de características acústicas

Fuerza de correlación: Los tokens de estilo mostraron correlaciones positivas moderadas con F0 ( $\bar{r} = +0.21$ ) y energía ( $\bar{r} = +0.28$ ). Los tokens de contenido mostraron correlaciones más fuertes debido a las restricciones categóricas de tono y energía.
Coherencia semántica: Palabras específicas se alinearon con sus definiciones acústicas. "Fuerte" se correlacionó fuertemente con la energía ( $r = +0.64$ ), y "nervioso" y "dramático" se correlacionaron más con la energía que con el F0. Por el contrario, "confiado" se correlacionó más con el F0, consistente con el aumento del tono en el habla confiada.

3. Dinámicas de Capa y Paso

Dinámicas de Capa: La importancia del estilo aumentó monótonamente a través de la red, alcanzando su máximo en la Capa 17. La relación de importancia de tardía-a-temprana fue de 1.28. Los tokens de contenido alcanzaron su máximo más tarde (Capa 22), sugiriendo que la red resuelve primero la modulación de estilo y luego refina la identidad del hablante. Los tokens de función mostraron una importancia plana a través de las capas.
Dinámicas de Paso: La importancia del estilo alcanzó su máximo en el Paso de ODE 0 y decayó por un factor de 5.2× hacia el paso final. Esto indica que el andamiaje acústico global se establece en las etapas tempranas del proceso de difusión. Los tokens de función, por el contrario, aumentaron su importancia en los pasos posteriores, desplazando el enfoque hacia la estructura secuencial de grano fino.
Entropía: La entropía de la atención alcanzó su mínimo en la Capa 18 (adyacente al pico de importancia del estilo), indicando la selectividad máxima de la red en la etapa más crítica para el estilo.

Significancia y Reivindicaciones

El artículo afirma proporcionar la primera evidencia cuantitativa de que la atención cruzada en el TTS de ajuste de flujo funciona como un mecanismo de modulación global, fundamentalmente distinto del papel de alineación temporal que desempeña en el TTS autorregresivo.

El estudio establece que:

Los instructivos de estilo se procesan jerárquicamente: los primeros pasos de ODE y las capas profundas del transformador son críticos para la condicionación de estilo global.
La red logra una dinámica de "grueso a fino", estableciendo la estructura global primero y refinando los detalles acústicos después.
Las instrucciones de lenguaje natural no son meramente etiquetas globales, sino que están fundamentadas funcionalmente en la realidad acústica, con palabras específicas impulsando características acústicas específicas (F0, energía) en patrones semánticamente coherentes.

Este trabajo cierra la brecha entre los modelos de habla generativos y la interpretabilidad, ofreciendo una herramienta de diagnóstico para comprender los modos de falla y mejorar la controlabilidad en los sistemas de TTS expresivos.

Nota: Los autores reconocen las limitaciones, señalando que el análisis está restringido a un solo modelo (CapSpeech) y prompts sintéticos. Se sugiere como trabajo futuro extender esto a otras arquitecturas, prompts de usuario naturales y la intervención causal mediante la edición de la atención.