Resumo Técnico: Interpretando e Direcionando um Modelo de Linguagem de Texto para Fala com Autoencoders Esparsos

Declaração do Problema

Grandes Modelos de Linguagem (LLMs) servem cada vez mais como a espinha dorsal para sistemas de Texto para Fala (TTS), como o CosyVoice3. No entanto, as representações internas desses modelos permanecem mal compreendidas, particularmente porque eles processam sequências mistas onde instruções de texto (prefixo) e tokens de fala discretos compartilham um único fluxo residual. Diferente dos LLMs padrão apenas de texto, os modelos de TTS devem codificar simultaneamente informações sintáticas/semânticas do prefixo de texto e propriedades acústicas/prosódicas da fala gerada. Atualmente, não existe um método principiado para identificar quais características internas correspondem ao processamento de texto, à geração de fala ou à interação entre ambos.

Metodologia

Os autores propõem um pipeline para treinar, interpretar e direcionar (steer) Autoencoders Esparsos (SAEs) no fluxo residual de um modelo de linguagem de TTS.

1. Modelo e Treinamento de SAE

• Modelo Base: O estudo utiliza o CosyVoice3, que emprega um backbone Qwen2.5-0.5B (28 camadas, tamanho oculto 896). O modelo recebe um prompt de texto tokenizado e gera autoregressivamente tokens de fala discretos a 25 Hz.
• Arquitetura do SAE: BatchTopK SAEs (tamanho do dicionário $d=16.384$, $k=50$ características ativas por token) são treinados em aproximadamente 250 milhões de tokens do conjunto de dados Emilia.
• Objetivo de Treinamento: Perda de reconstrução padrão combinada com restrições de esparsidade e uma perda auxiliar de característica morta (dead-feature loss).

2. Pipeline de Auto-Interpção Sensível à Modalidade

Para abordar a natureza mista das entradas de TTS, os autores adaptam o fluxo de trabalho de interpretação automática (auto-interp):

• Extração de Evidência: Para cada característica, o sistema identifica as posições de tokens de maior ativação. Estas são convertidas em evidência específica de modalidade:
  • Modalidade de Texto: Janelas de tokens marcadas do prefixo de instrução/transcrição.
  • Modalidade de Áudio: Clipes de áudio de 1 segundo centrados no token de fala ativo.
  • Mista: Tanto o contexto de texto quanto os clipes de áudio.
• Etiquetagem de Características: As características são categorizadas com base na composição empírica de suas ativações mais fortes:
  • Modalidade de Áudio: $\ge 80\%$ de posições de tokens de fala.
  • Modalidade de Texto: $\le 20\%$ de posições de tokens de fala.
  • Mista: Razões intermediárias.
• Etiquetagem Automática: Um prompt sensível à modalidade é enviado ao Gemini 3.0 Pro. O prompt fornece evidências específicas da modalidade da característica (texto, áudio ou ambos) e solicita uma descrição concisa da propriedade consistente associada à ativação.
• Avaliação: Os rótulos são avaliados usando um protocolo de detecção onde um pontuador retido (também Gemini 3.0 Pro) avalia quão bem itens de evidência positiva e negativa embaralhados correspondem ao rótulo proposto. As métricas incluem AUROC e acurácia balanceada.

3. Mecanismo de Direcionamento (Steering)

Para testar a causalidade, os autores intervêm no espaço latente do SAE durante a geração:

• Os estados residuais de tokens de fala são codificados pelo SAE congelado.
• As ativações das características selecionadas são deslocadas por uma quantidade normalizada e assinada, controlada por um escalar $\alpha$.
• O estado latente modificado é decodificado de volta para o fluxo residual do modelo.
• Os prompts de texto e de fala de entrada permanecem inalterados.

Principais Contribuições

1. Treinamento de SAE em TTS: A primeira aplicação de SAEs ao fluxo residual de um backbone de modelo de linguagem de TTS generativo.
2. Auto-Interpção Sensível à Modalidade: Um novo pipeline que rotula características com base em se elas ativam em prefixos de texto, clipes de áudio ou ambos, permitindo a interpretação de representações de modalidade mista.
3. Análise Camada a Camada: Uma caracterização de como as modalidades das características evoluem através das camadas, revelando a emergência de direções fundamentadas linguisticamente e acusticamente.

Resultados

Evolução de Características por Camada

• Camadas Iniciais/Médias: Contêm uma alta proporção de características mistas, sugerindo uma integração de informações de texto e fala.
• Camadas 16–20: Dominadas por características de modalidade de áudio, indicando que as direções esparsas tornam-se ligadas ao fluxo de tokens de fala gerados conforme a predição acústica é formada.
• Camadas Finais: O estado oculto retorna bruscamente para um subespaço majoritariamente de modalidade de texto.

Qualidade da Interpretabilidade

• Características de modalidade de texto são as mais fáceis de verificar (AUROC 0.921), capturando itens lexicais, pontuação, anos e atributos de prompt de voz.
• Características de modalidade de áudio permanecem acima do acaso (AUROC 0.653), identificando fonemas, gênero do falante, riso, gagueira, respirações e pistas de sotaque.
• Características mistas são as mais difíceis de rotular em agregados (AUROC 0.558), mas vinculam com sucesso palavras específicas ou eventos do tipo fonema através de texto e fala.

Experimentos de Direcionamento (Steering)

Intervenções direcionadas em características específicas da camada 20 demonstraram controle causal sobre propriedades perceptuais da fala:

• Riso (Característica 14834): Aumentar o coeficiente de direcionamento ($\alpha = +60$) elevou a probabilidade de riso de 0.015 para 0.791.
• Gênero do Falante (Característica 11402): O direcionamento alterou o gênero percebido. Em $\alpha = -50$, a probabilidade de "masculino" aumentou de 0.629 para 0.944; em $\alpha = +50$, caiu para 0.063. Este efeito manteve-se independentemente do gênero do falante do prompt original.
• Velocidade da Fala (Característica 3024): O direcionamento controlou a duração dos segmentos sonorizados (de uma linha de base de 3.96s para 10.57s em $\alpha = -50$ e 2.75s em $\alpha = +50$) enquanto preservava o conteúdo falado.

Significância e Alegações

O artigo afirma que as características do SAE em modelos de TTS servem a um duplo propósito:

1. Objetos de Interpretabilidade: Elas fornecem uma visão granular de como os backbones de TTS separam e combinam semântica de texto e propriedades acústicas.
2. Direções de Controle: As características não são meramente descritivas; intervir em suas ativações latentes permite o controle causal de atributos perceptuais específicos (riso, gênero, velocidade) sem alterar o texto e o conteúdo de entrada.

Os autores observam que este trabalho representa a primeira análise de SAE de um backbone de modelo de linguagem de TTS generativo, oferecendo um caminho escalável para entender e controlar a geração de modalidade mista.

Limitações

Os autores reconhecem várias restrições:

• Especificidade do Modelo: Os resultados são limitados ao CosyVoice3-0.5B e podem não ser transferíveis para modelos maiores.
• Circularidade de Avaliação: Tanto o rotulador quanto o pontuador utilizam o mesmo modelo Gemini, o que pode inflar as pontuações devido a alucinações sistemáticas; avaliação humana é necessária.
• Varredura Parcial: Pontuações de auto-interpção do tipo detecção estão disponíveis apenas para um subconjunto completado de camadas.
• Resolução Temporal: Os timestamps dos tokens de fala estão a 25 Hz, o que não localiza os onsets acústicos sub-token (40 ms).
• Amostragem Negativa: Os negativos são extraídos de outras características, testando a especificidade do rótulo, mas não a robustez contra confundimentos de vizinhança de representação.