Sintesi Tecnica: Interpretazione e Guida di un Modello Linguistico Text-to-Speech con Autoencoder Sparsi

Definizione del Problema

I Large Language Models (LLM) fungono sempre più da spina dorsale per i sistemi Text-to-Speech (TTS), come CosyVoice3. Tuttavia, le rappresentazioni interne di questi modelli rimangono scarsamente comprese, in particolare perché elaborano sequenze miste dove le istruzioni testuali (prefix) e i token vocali discreti condividono un unico stream residuo. A differenza dei classici LLM solo testuali, i modelli TTS devono simultaneamente codificare informazioni sintattiche/semantiche dal prefix testuale e proprietà acustiche/prosodiche dello speech generato. Attualmente, non esiste un metodo principato per identificare quali feature interne corrispondano all'elaborazione del testo, alla generazione dello speech o all'interazione tra i due.

Metodologia

Gli autori propongono una pipeline per addestrare, interpretare e guidare (steering) Sparse Autoencoders (SAE) sullo stream residuo di un modello linguistico TTS.

1. Modello e Addestramento SAE

• Modello Base: Lo studio utilizza CosyVoice3, che impiega un backbone Qwen2.5-0.5B (28 layer, dimensione nascosta 896). Il modello riceve un prompt testuale tokenizzato e genera autoregressivamente token vocali discreti a 25 Hz.
• Architettura SAE: Sono stati addestrati BatchTopK SAE (dimensione del dizionario $d=16.384$, $k=50$ feature attive per token) su circa 250 milioni di token dal dataset Emilia.
• Obiettivo di Addestramento: Standard reconstruction loss combinata con vincoli di sparsità e una loss ausiliaria per le feature morte (dead-feature loss).

2. Pipeline di Auto-Interp Consapevole della Modalità

Per affrontare la natura mista degli input TTS, gli autori adattano il workflow di interpretazione automatica (auto-interp):

• Estrazione delle Evidenze: Per ogni feature, il sistema identifica le posizioni dei token con la massima attivazione. Queste vengono convertite in evidenze specifiche per modalità:
  • Text-modal: Finestre di token marcate dal prefix dell'istruzione/trascrizione.
  • Audio-modal: Clip audio di 1 secondo centrate sul token vocale attivo.
  • Mixed: Sia il contesto testuale che le clip audio.
• Etichettatura delle Feature: Le feature sono categorizzate in base alla composizione empirica delle loro attivazioni più forti:
  • Audio-modal: $\ge 80\%$ di posizioni di token vocali.
  • Text-modal: $\le 20\%$ di posizioni di token vocali.
  • Mixed: Rapporti intermedi.
• Etichettatura Automatica: Un prompt consapevole della modalità viene inviato a Gemini 3.0 Pro. Il prompt fornisce l'evidenza specifica della modalità della feature (testo, audio o entrambi) e richiede una descrizione concisa della proprietà coerente associata all'attivazione.
• Valutazione: Le etichette sono valutate utilizzando un protocolo di tipo detection: un valutatore esterno (anch'esso Gemini 3.0 Pro) valuta quanto bene gli elementi di evidenza positiva e negativa rimescolati corrispondano all'etichetta proposta. Le metriche includono AUROC e accuratezza bilanciata.

3. Meccanismo di Steering

Per testare la causalità, gli autori intervengono nello spazio latente dell'SAE durante la generazione:

• Gli stati residui dei token vocali sono codificati dall'SAE congelato.
• Le attivazioni delle feature selezionate vengono traslate di un importo normalizzato e con segno controllato da uno scalare $\alpha$.
• Lo stato latente modificato viene decodificato nuovamente nello stream residuo del modello.
• Il testo di input e i prompt vocali rimangono invariati.

Contributi Chiave

1. Addestramento SAE su TTS: La prima applicazione di SAE allo stream residuo di un backbone di un modello linguistico generativo TTS.
2. Auto-Interp Consapevole della Modalità: Una nuova pipeline che etichetta le feature in base al fatto che si attivano sui prefix testuali, sulle clip audio o su entrambi, permettendo l'interpretazione delle rappresentazioni a modalità mista.
3. Analisi Layer-Wise: Una caratterizzazione di come le modalità delle feature evolvano attraverso i layer, rivelando l'emergere di direzioni fondate linguisticamente e acusticamente.

Risultati

Evoluzione delle Feature per Layer

• Early/Middle Layers: Contengono un'alta proporzione di feature miste, suggerendo un'integrazione tra informazioni testuali e vocali.
• Layers 16–20: Dominati da feature audio-modali, indicando che le direzioni sparse diventano legate allo stream di token vocali generati man mano che la predizione acustica si forma.
• Final Layers: Lo stato nascosto ritorna bruscamente a un subspace prevalentemente text-modal.

Qualità dell'Interpretabilità

• Le feature text-modal sono le più facili da verificare (AUROC 0.921), catturando termini lessicali, punteggiatura, anni e attributi del voice-prompt.
• Le feature audio-modal rimangono sopra il caso (AUROC 0.653), identificando fonemi, genere del parlatore, risate, balbuzie, respiri e indizi di accento.
• Le feature mixed sono le più difficili da etichettare in aggregato (AUROC 0.558) ma collegano con successo specifici termini o eventi simili a fonemi tra testo e audio.

Esperimenti di Steering

Interventi mirati su specifiche feature del layer-20 hanno dimostrato il controllo causale su proprietà percettive dello speech:

• Risa (Feature 14834): Aumentare il coefficiente di steering ($\alpha = +60$) ha elevato la probabilità di risate da 0.015 a 0.791.
• Genere del Parlatore (Feature 11402): Lo steering ha spostato il genere percepito. Con $\alpha = -50$, la probabilità di "maschio" è aumentata da 0.629 a 0.944; con $\alpha = +50$, è scesa a 0.063. Questo effetto è rimasto costante indipendentemente dal genere del parlatore originale nel prompt.
• Velocità del Parlato (Feature 3024): Lo steering ha controllato la durata dei segmenti sonoramente (da una baseline di 3.96s a 10.57s con $\alpha = -50$ e 2.75s con $\alpha = +50$) preservando il contenuto parlato.

Significato e Claim

Il paper sostiene che le feature SAE nei modelli TTS servano a un duplice scopo:

1. Oggetti di Interpretabilità: Forniscono una visione granulare di come i backbone TTS separano e combinano la semantica del testo e le proprietà acustiche.
2. Direzioni di Controllo: Le feature non sono meramente descrittive; intervenire sulle loro attivazioni latenti permette il controllo causale di specifici attributi percettivi (risate, genere, velocità) senza alterare il testo o il contenuto di input.

Gli autori notano che questo lavoro rappresenta la prima analisi SAE di un backbone di un modello linguistico generativo TTS, offrendo un percorso scalabile per comprendere e controllare la generazione a modalità mista.

Limitazioni

Gli autori riconoscono diverse limitazioni:

• Specificità del Modello: I risultati sono limitati a CosyVoice3-0.5B e potrebbero non trasferirsi a modelli più grandi.
• Circolarità della Valutazione: Sia il labeler che lo scorer utilizzano lo stesso modello Gemini, il che potrebbe gonfiare i punteggi a causa di hallucination sistematiche; è necessaria una valutazione umana.
• Scansione Parziale: Gli score di auto-interp di tipo detection sono disponibili solo per un sottoinsieme completato di layer.
• Risoluzione Temporale: I timestamp dei token vocali sono a 25 Hz, il che non permette di localizzare gli onset acustici sub-token (40 ms).
• Campionamento Negativo: I negativi sono tratti da altre feature, testando la specificità dell'etichetta ma non la robustezza contro i confondimenti di vicinanza della rappresentazione.