FiLM-Based Speaker Conditioning of a SpeechLLM for Pathological Speech Recognition

Sintesi Tecnica: Condizionamento del Parlatore basato su FiLM per il Riconoscimento del Linguaggio Patologico

Definizione del Problema
I sistemi di Riconoscimento Automatico del Linguaggio (ASR) hanno raggiunto un'elevata precisione sul parlato standard, ma faticano significativamente con il linguaggio patologico, in particolare quello di individui con disturbi neuromotori come la Sclerosi Laterale Amiotrofica (SLA) e la Malattia di Parkinson (MP). Queste condizioni causano disartria, portando a problemi di chiarezza articolatoria, alterazioni prosodiche e un'elevata variabilità inter-parlatore. Ciò crea un disallineamento acustico con i dati normativi utilizzati per addestrare i moderni sistemi ASR. Sebbene l'adattamento del dominio tramite fine-tuning sia una soluzione standard, i corpora patologici (ad es., TORGO, NeuroVoz) sono spesso piccoli e mancano di diversità tra i parlatori. Questa scarsità rende le strategie di fine-tuning esigenti di dati soggette all'overfitting e all'oblio catastrofico, dove il modello perde la sua capacità di riconoscere il parlato standard. Inoltre, l'emergere dei modelli linguistici di grandi dimensioni per il parlato (SpeechLLM), che combinano encoder audio con LLM per compiti che vanno oltre la trascrizione (ad es, il seguire istruzioni), richiede strategie di adattamento che preservino la conoscenza generale e i pesi del modello base.

Metodologia
Gli autori propongono una strategia di adattamento efficiente nei parametri che condiziona un encoder SpeechLLM congelato utilizzando la modulazione lineare per caratteristiche (Feature-wise Linear Modulation, FiLM) guidata dalle informazioni del parlatore. L'architettura centrale prevede:

1. Modello Base Congelato: L'intero SpeechLLM (specificamente Voxtral-Mini, composto da un encoder Whisper-large-v3 e un decoder Ministral-3B LLM) rimane congelato. Nessun peso del modello base viene aggiornato.
2. Estrazione dell'Embedding del Parlatore: Un modello x-vector pre-addestrato (SiAmResNet34) estrae gli embedding del parlatore dall'audio grezzo. Fondamentalmente, per le occorrenze normative (sane), l'embedding viene azzerato. Ciò assicura che il meccanismo di adattamento non interferisca con l'elaborazione del parlato sano.
3. Iniezione FiLM: In ogni strato transformer dell'encoder congelato, un MLP (Multi-Layer Perceptron) dedicato a due strati genera parametri di modulazione affine ($\gamma$ e $\beta$) e un gate scalare ($\alpha$) basati sull'embedding del parlatore.
   • La modulazione è applicata come un residuo appreso: $\tilde{H}_\ell = H_\ell + \alpha_\ell ((\gamma_\ell - 1) \odot H_\ell + \beta_\ell)$.
   • Il gate $\alpha$ è inizializzato vicino allo zero (tramite un bias di -2) ed è addestrato per aprirsi progressivamente, garantendo che il modello inizi come una trasformazione identità.
4. Ambito di Addestramento: Solo i generatori FiLM e l'estrattore di embedding del parlatore vengono addestrati. Per il parlato patologico, il sistema adatta le rappresentazioni interne; per il parlato sano, l'embedding azzerato forza gli strati FiLM ad agire come trasformazioni identità, preservando il comportamento originale del modello.

Contributi Chiave

• Adattamento basato su FiLM: Il documento introduce un metodo per condizionare un SpeechLLM congelato sul parlato patologico senza modificare i pesi base, preservando così la generalizzazione al parlato standard.
• Confronto Sistematico: Lo studio confronta quattro strategie di adattamento — Full Fine-Tuning (FFT), Encoder-only Fine-Tuning (EFT), LoRA (Full e Encoder-only) e il proposto Condizionamento del Parlatore — attraverso domini patologici a basse risorse.
• Valutazione Paralinguistica: Oltre al Word Error Rate (WER), gli autori valutano se l'adattamento degrada la capacità del modello di rispondere a domande relative al parlato (Multiple Choice Question Answering o MCQA) riguardanti gli attributi del parlatore (sesso e età), un parametro critico per gli SpeechLLM.

Risultati Sperimentali
L'approccio è stato valutato sui dataset TORGO (inglese) e NeuroVoz (spagnolo).

• Prestazioni ASR (WER):
  • Fine-Tuning: FFT e F-LoRA hanno ottenuto i WER più bassi, superando significativamente il modello base (ad esempio, riducendo il WER di TORGO da ~25% a ~11-12%).
  • Condizionamento del Parlatore: Il metodo basato su FiLM ha mostrato un miglioramento marginale grezzo su TORGO (dal 25,15% al 23,24%), ma ha ottenuto un WER competitivo del 16,36% quando combinato con un post-processing basato su regole. Ciò suggerisce che il metodo cattura bene il contenuto acustico ma produce ipotesi più rumorose rispetto ai modelli completamente sottoposti a fine-tuning.
  • NeuroVoz: Tutti i metodi hanno mostrato lievi miglioramenti, con F-LoRA che ha ottenuto le prestazioni migliori (4,07%).
• Prestazioni MCQA:
  • Modello Base: Il modello non modificato ha avuto difficoltà nella previsione dell'età ma ha performato sopra il caso casuale nella previsione del sesso (53,5%).
  • Fine-Tuning: FFT ed EFT hanno migliorato l'accuratezza della previsione del sesso (fino al 64,9%), suggerendo che l'adattamento abbia affinato la sensibilità alle caratteristiche del parlatore. Tuttavia, F-LoRA è crollato vicino alle prestazioni casuali (8,4%), indicando un grave degrado nelle capacità di seguire le istruzioni.
  • Condizionamento del Parlatore: Il metodo proposto ha ottenuto un'accuratezza competitiva per il sesso (60,7%), seguendo solo l'EFT di 4,2 punti percentuali pur aggiornando solo circa l'1,6% dei parametri totali. Fondamentalmente, ha mantenuto il comportamento del modello base per il parlato sano per progettazione.

Significatività e Rivendicazioni
Il documento sostiene che il condizionamento del parlatore basato su FiLM sia un'alternativa valida ed efficiente nei parametri rispetto al tradizionale fine-tuning per il riconoscimento del parlato patologico. La sua principale significatività risiede nella capacità di adattarsi ai profili acustici patologici individuali preservando rigorosamente i pesi e la conoscenza generale del modello base. Ciò è particolarmente critico per gli SpeechLLM, dove mantenere la capacità di eseguire compiti non legati alla trascrizione (come rispondere a domande) è importante quanto la precisione della trascrizione stessa. Gli autori concludono che, sebbene i modelli completamente sottoposti a fine-tuning possano offrire un WER grezzo leggermente migliore, l'approccio del condizionamento del parlatore offre un compromesso favorevole tra efficienza, generalizzazione e preservazione delle capacità di comprensione audio più ampie, a condizione che venga utilizzato il post-processing per raffinare l'output.