Resumen Técnico: Interpretación y Control de un Modelo de Lenguaje de Texto a Voz con Autoencoders Dispersos

Declaración del Problema

Los Modelos de Lenguaje Grande (LLMs) sirven cada vez más como la columna vertebral para los sistemas de Texto a Voz (TTS), como CosyVoice3. Sin embargo, las representaciones internas de estos modelos permanecen insuficientemente comprendidas, particularmente porque procesan secuencias mixtas donde las instrucciones de texto (prefijo) y los tokens de voz discretos comparten un único flujo residual. A diferencia de los LLMs estándar de solo texto, los modelos TTS deben codificar simultáneamente información sintáctica/semántica del prefijo de texto y propiedades acústicas/prosódicas de la voz generada. Actualmente, no existe un método fundamentado para identificar qué características internas corresponden al procesamiento de texto, la generación de voz o la interacción entre ambos.

Metodología

Los autores proponen un flujo de trabajo para entrenar, interpretar y controlar (steer) Autoencoders Dispersos (SAEs) en el flujo residual de un modelo de lenguaje TTS.

1. Modelo y Entrenamiento de SAE

• Modelo Base: El estudio utiliza CosyVoice3, que emplea una arquitectura Qwen2.5-0.5B (28 capas, tamaño oculto 896). El modelo toma un prompt de texto tokenizado y genera de forma autorregresiva tokens de voz discretos a 25 Hz.
• Arquitectura de SAE: Se entrenaron BatchTopK SAEs (tamaño del diccionario $d=16,384$, $k=50$ características activas por token) utilizando aproximadamente 250 millones de tokens del conjunto de datos Emilia.
• Objetivo de Entrenamiento: Pérdida de reconstrucción estándar combinada con restricciones de dispersión y una pérdida auxiliar de características muertas (dead-feature loss).

2. Pipeline de Auto-Interpretación Consciente de la Modalidad

Para abordar la naturaleza mixta de las entradas de TTS, los autores adaptan el flujo de trabajo de interpretación automática (auto-interp):

• Extracción de Evidencia: Para cada característica, el sistema identifica las posiciones de los tokens con mayor activación. Estas se convierten en evidencia específica de la modalidad:
  • Modalidad de texto: Ventanas de tokens marcadas del prefijo de instrucción/transcripción.
  • Modalidad de audio: Clips de audio de 1 segundo centrados en el token de voz activo.
  • Mixta: Tanto el contexto de texto como los clips de audio.
• Etiquetado de Características: Las características se categorizan según la composición empírica de sus activaciones más fuertes:
  • Modalidad de audio: $\ge 80\%$ de las posiciones de tokens de voz.
  • Modalidad de texto: $\le 20\%$ de las posiciones de tokens de voz.
  • Mixta: Proporciones intermedias.
• Etiquetado Automático: Se envía un prompt consciente de la modalidad a Gemini 3.0 Pro. El prompt proporciona evidencia específica de la modalidad de la característica (texto, audio o ambos) y solicita una descripción concisa de la propiedad consistente asociada con la activación.
• Evaluación: Los rótulos se evalúan mediante un protocolo de detección donde un evaluador externo (también Gemini 3.0 Pro) califica qué tan bien coinciden los elementos de evidencia positiva y negativa barajados con la etiqueta propuesta. Las métricas incluyen AUROC y precisión balanceada.

3. Mecanismo de Control (Steering)

Para probar la causalidad, los autores intervienen en el espacio latente del SAE durante la generación:

• Los estados residuales de los tokens de voz son codificados por el SAE congelado.
• Las activaciones de las características seleccionadas se desplazan mediante una cantidad normalizada con signo controlada por un escalar $\alpha$.
• El estado latente modificado se decodifica de nuevo en el flujo residual del modelo.
• Los prompts de texto y de voz de entrada permanecen sin cambios.

Contribuciones Clave

1. Entrenamiento de SAE en TTS: La primera aplicación de SAEs al flujo residual de la arquitectura de un modelo de lenguaje TTS generativo.
2. Auto-Interpretación Consciente de la Modalidad: Un nuevo flujo de trabajo que etiqueta características basándose en si se activan en prefijos de texto, clips de audio o ambos, permitiendo la interpretación de representaciones de modalidad mixta.
3. Análisis por Capas: Una caracterización de cómo evolucionan las modalidades de las características a través de las capas, revelando la emergencia de direcciones fundamentadas lingüística y acústicamente.

Resultados

Evolución de Características por Capas

• Capas Tempranas/Medias: Contienen una alta proporción de características mixtas, lo que sugiere una integración de la información de texto y voz.
• Capas 16–20: Dominadas por características de modalidad de audio, indicando que las direcciones dispersas se vinculan al flujo de tokens de voz generados conforme se forma la predicción acústica.
• Capas Finales: El estado oculto regresa bruscamente a un subespacio mayoritariamente de modalidad de texto.

Calidad de la Interpretabilidad

• Las características de modalidad de texto son las más fáciles de verificar (AUROC 0.921), capturando elementos léxicos, puntuación, años y atributos del prompt de voz.
• Las características de modalidad de audio se mantienen por encima del azar (AUROC 0.653), identificando fonemas, género del hablante, risas, tartamudeo, respiraciones y pistas de acento.
• Las características mixtas son las más difíciles de etiquetar en conjunto (AUROC 0.558) pero vinculan con éxito eventos específicos de palabras o de tipo fonémico a través de texto y voz.

Experimentos de Control (Steering)

Las intervenciones dirigidas en características específicas de la capa 20 demostraron control causal sobre propiedades perceptuales de la voz:

• Risa (Característica 14834): Aumentar el coeficiente de control ($\alpha = +60$) elevó la probabilidad de risa de 0.015 a 0.791.
• Género del Hablante (Característica 11402): El control desplazó el género percibido. Con $\alpha = -50$, la probabilidad de "masculino" aumentó de 0.629 a 0.944; con $\alpha = +50$, cayó a 0.063. Este efecto se mantuvo independientemente del género del locutor en el prompt original.
• Velocidad del Habla (Característica 3024): El control reguló la duración de los segmentos sonorizados (de una línea base de 3.96s a 10.57s con $\alpha = -50$ y 2.75s con $\alpha = +50$) preservando el contenido hablado.

Significancia y Reivindicaciones

El artículo afirma que las características de los SAE en los modelos TTS cumplen un doble propósito:

1. Objetos de Interpretabilidad: Proporcionan una visión granular de cómo los backbones de TTS separan y combinan la semántica del texto y las propiedades acústicas.
2. Direcciones de Control: Las características no son meramente descriptivas; intervenir en sus activaciones latentes permite el control causal de atributos perceptuales específicos (risa, género, velocidad) sin alterar el texto de entrada ni el contenido.

Los autores señalan que este trabajo representa el primer análisis de SAE de un backbone de modelo de lenguaje TTS generativo, ofreciendo un camino escalable para comprender y controlar la generación de modalidad mixta.

Limitaciones

Los autores reconocen varias restricciones:

• Especificidad del Modelo: Los resultados se limitan a CosyVoice3-0.5B y podrían no transferirse a modelos más grandes.
• Circularidad de la Evaluación: Tanto el etiquetador como el evaluador utilizan el mismo modelo Gemini, lo que podría inflar las puntuaciones debido a alucinaciones sistemáticas; se requiere evaluación humana.
• Barrido Parcial: Las puntuaciones de auto-interpretación de estilo detección solo están disponibles para un subconjunto completado de capas.
• Resolución Temporal: Los timestamps de los tokens de voz son a 25 Hz, lo que no permite localizar los inicios acústicos sub-token (40 ms).
• Muestreo Negativo: Los negativos se extraen de otras características, probando la especificidad de la etiqueta pero no la robustez contra confusiones de vecindad de representación.