Sintesi Tecnica: Riduzione del Divario di Modalità dal Lato di Input con TextPro-SLM

1. Enunciato del Problema

I Modelli Linguistici su Grande Scala per la Voce (SLM) sono prevalentemente costruiti mediante un addestramento continuo a partire da checkpoint di Modelli Linguistici su Grande Scala per il Testo (TLM), per estendere le capacità di ragionamento e comprensione linguistica all'interazione parlata. Nonostante condividano un'architettura di base con potenti TLM, gli SLM soffrono di un significativo divario di modalità, dove le prestazioni nel rispondere a domande (QA) basate sulla voce rimangono notevolmente inferiori rispetto alle prestazioni nel QA basato sul testo (ad esempio, fino a un calo del 20% in benchmark come GLM-4-Voice).

La ricerca precedente ha tentato principalmente di colmare questo divario dal lato di output, evolvendo dalla generazione end-to-end di token vocali ad architetture "pensatore-parlatore" in cui l'LLM genera token testuali e un modulo separato sintetizza la voce. Sebbene questi approcci migliorino le prestazioni allineando il processo di generazione ai paradigmi dei TLM, il divario di modalità persiste. Gli autori sostengono che il collo di bottiglia residuo risiede nel lato di input: a differenza dei TLM, gli SLM devono inferire sia il contenuto linguistico che gli indici paralinguistici (prosodia, emozione, identità del parlante) direttamente dalle rappresentazioni vocali, che spesso non vengono presentate all'LLM in un formato che possa sfruttare appieno.

2. Metodologia

Il documento propone TextPro-SLM, un framework progettato per minimizzare il divario di modalità trasformando l'input parlato in una rappresentazione che assomiglia da vicino a quella di un LLM testuale consapevole della prosodia. La filosofia di fondo è separare "cosa viene detto" (contenuto semantico) da "come viene detto" (informazioni paralinguistiche) nella fase di input, piuttosto che comprimere la voce in un singolo flusso latente.

2.1 WhisperPro: Un Encoder Unificato per la Voce

Il primo componente è WhisperPro, un encoder vocale basato su Whisper-large-v3. A differenza dei modelli ASR standard che privilegiano il contenuto lessicale, WhisperPro è addestrato per produrre due output sincronizzati:

1. Token Testuali: Trascrizioni accurate del contenuto dell'enunciato.
2. Embedding Prosodici: Embedding allineati ai token che codificano informazioni paralinguistiche (stile di parlato, emozione, timbro).

Architettura e Addestramento:

• Encoder: Utilizza l'encoder-decoder Transformer a 32 livelli di Whisper-large-v3.
• Estrazione: Gli embedding prosodici sono estratti dagli stati nascosti del 16° livello del decoder, allineati con i token testuali generati.
• Obiettivo di Ricostruzione: Per garantire che l'encoder mantenga i dettagli paralinguistici, viene collegato un ricostruttore Mel (decoder). Esso tenta di ricostruire lo spettrogramma log-Mel originale a partire dai token testuali e dagli embedding prosodici accoppiati.
• Funzione di Perdita: Il modello è ottimizzato con un obiettivo multi-task:
  $$L = L_{ASR} + \lambda L_{mel}$$
  dove $L_{ASR}$ è la perdita di entropia incrociata per la trascrizione e $L_{mel}$ è la perdita di Errore Quadratico Medio (MSE) per la ricostruzione dello spettrogramma. $\lambda$ è impostato a 1.0.
• Dati: Addestrato su 1.000 ore di audio (LibriSpeech e CommonsenseQA), utilizzando trascizioni punteggiate e dati QA sintetizzati tramite TTS per migliorare la robustezza.

2.2 Backbone LLM Consapevole della Prosodia

Il secondo componente è un backbone LLM (Qwen2.5-3B o 7B-Instruct) addestrato per preservare le capacità semantiche mentre apprende la comprensione paralinguistica.

Formato di Input:
L'LLM riceve la trascrizione testuale come input principale, con le informazioni prosodiche iniettate tramite due strategie:

1. Prependimento Globale (Predefinito): Gli embedding prosodici sono mediati in un singolo vettore a livello di enunciato, proiettati tramite un MLP e prepended alla sequenza di testo.
2. Interleaving: Gli embedding prosodici compressi vengono inseriti a intervalli fissi tra i token testuali per catturare variazioni prosodiche più fini.

Pipeline di Addestramento:
L'LLM è addestrato utilizzando una pipeline a due stadi con due obiettivi accoppiati:

1. Preservazione dell'Intelligenza Semantica (Distillazione della Conoscenza): Il modello è distillato da TLM insegnanti utilizzando dataset solo testuali (UltraChat, CommonsenseQA) convertiti in voce tramite TTS. Lo studente riceve l'input testo+prosodia di WhisperPro ma imita le risposte solo testuali dell'insegnante.
2. Comprensione Paralinguistica: Il modello è addestrato su compiti che coinvolgono l'emozione del parlante (SER), il genere, l'età e il rilevamento dell'accento, utilizzando dataset come IEMOCAP, CREMA-D e Common Voice.

3. Contributi Chiave

1. Riduzione del Divario di Modalità dal Lato di Input: Il documento sposta il focus dalle strategie di generazione lato output alla rappresentazione lato input, sostenendo che rendere l'input vocale simile a un "LLM testuale consapevole della prosodia" è la chiave per ridurre il divario.
2. Encoder WhisperPro: Introduce un encoder unificato che produce simultaneamente trascrizioni accurate e ricchi embedding prosodici allineati ai token, addestrato tramite un obiettivo di ricostruzione per preservare i dettagli acustici senza sacrificare l'accuratezza ASR.
3. Efficienza dei Dati: Dimostra che significativi guadagni possono essere ottenuti con soli ~1.000 ore di dati di addestramento audio per l'LLM, in contrasto con i dataset massicci spesso richiesti per i modelli vocali end-to-end.
4. Rappresentazione a Doppio Flusso: Propone un design in cui le informazioni semantiche e paralinguistiche sono esplicitamente separate e sincronizzate, permettendo all'LLM di mantenere i suoi punti di forza nativi nell'elaborazione del testo mentre acquisisce consapevolezza prosodica.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su scale di 3B e 7B parametri, confrontando TextPro-SLM con SLM leader (ad esempio, GLM-4-Voice, Qwen2.5-Omni, Kimi-Audio) e baseline a cascata.

• Divario di Modalità: TextPro-SLM ha raggiunto il divario di medio più basso tra tutti gli SLM confrontati.
  • TextPro-SLM-7B ha raggiunto un divario medio dello 0,7%, superando significativamente SALAD-7B (7,1%) e Qwen2.5-Omni-7B (3,1%).
  • Su benchmark ricchi di ragionamento (MMSU, OBQA), TextPro-SLM ha ridotto il divario a quasi zero (ad esempio, 0,7% su OBQA), mentre altri modelli hanno faticato con divari superiori al 10-30%.
• Comprensione Paralinguistica: TextPro-SLM ha raggiunto prestazioni all'avanguardia nei compiti paralinguistici (Emozione, Genere, Età, Accento) tra le baseline, con il modello 7B che ha raggiunto una accuratezza media del 64,8%.
• Studi di Ablazione:
  • La rimozione della Distillazione della Conoscenza (KD) ha causato un calo sostanziale delle prestazioni, confermando la necessità di preservare le capacità semantiche dei TLM.
  • La rimozione dell'obiettivo di ricostruzione in WhisperPro ha degradato le prestazioni paralinguistiche, validando l'importanza della perdita di ricostruzione per la codifica della prosodia.
  • L'uso dell'input interleaved (rapporto 5:1) ha prodotto risultati comparabili al prependimento globale, suggerendo che un vettore prosodico globale compatto è spesso sufficiente.

5. Significato e Affermazioni

Il documento afferma che TextPro-SLM convalida l'ipotesi secondo cui la via più efficace per SLM vocali più potenti è trasformarli in LLM testuali consapevoli della prosodia. Allineando gli input vocali a rappresentazioni in stile testo mentre si preservano esplicitamente gli indici paralinguistici, il modello raggiunge:

• Divario di Modalità Minimo: Le prestazioni basate sulla voce si avvicinano a quelle basate sul testo, in particolare nei compiti di ragionamento.
• Elevata Efficienza dei Dati: L'approccio richiede significativamente meno dati audio (~1.000 ore) rispetto ai metodi precedenti, suggerendo che il collo di bottiglia è l'allineamento architetturale piuttosto che il volume dei dati.
• Usabilità Pratica: Il metodo mantiene le forti capacità di ragionamento del TLM sottostante, rendendo gli SLM più affidabili per compiti generali senza l'oblio catastrofico spesso osservato nell'addestramento continuo su dati vocali.

Gli autori notano limitazioni, inclusa l'attuale mancanza di un modulo di sintesi vocale (le valutazioni sono basate sull'output testuale), l'uso di ASR non in streaming (che introduce latenza) e il focus su un sottoinsieme specifico di attributi paralinguistici piuttosto che sull'intero spettro degli indici parlati. Tuttavia, sostengono che questa strategia di allineamento lato input offre una direzione promettente ed efficiente per lo sviluppo futuro degli SLM.