FiLM-Based Speaker Conditioning of a SpeechLLM for Pathological Speech Recognition

Technische Samenvatting: FiLM-gebaseerde Sprekersconditionering voor Pathologische Spraakherkenning

Probleemstelling
Automatische spraakherkenningssystemen (ASR) hebben een hoge nauwkeurigheid bereikt bij standaardspraak, maar worstelen aanzienlijk met pathologische spraak, met name bij individuen met neuromotorische stoornissen zoals amyotrofische laterale sclerose (ALS) en de ziekte van Parkinson (PD). Deze aandoeningen veroorzaken dysartrie, wat leidt tot problemen met de articulatoire helderheid, prosodische veranderingen en een hoge inter-spreker variabiliteit. Dit creëert een akoestische mismatch met de normatieve data die wordt gebruikt om moderne ASR-systemen te trainen. Hoewel domeinadaptatie via fine-tuning een standaardoplossing is, zijn pathologische corpora (bijv. TORGO, NeuroVoz) vaak klein en missen ze sprekerdiversiteit. Deze schaarste maakt data-hongerige fine-tuning strategieën gevoelig voor overfitting en catastrofale vergetelheid (catastrophic forgetting), waarbij het model zijn vermogen verliest om standaardspraak te herkennen. Bovenergens vereist de opkomst van Speech Large Language Models (SpeechLLMs), die audio-encoders combineren met LLM's voor taken die verder gaan dan transcriptie (bijv. instructie-opvolging), adaptatiestrategieën die de algemene kennis en gewichten van het basismodel behouden.

Methodologie
De auteurs stellen een parameterefficiënte adaptatiestrategie voor die een bevroren SpeechLLM-encoder conditioneert met behulp van Feature-wise Linear Modulation (FiLM), gestuurd door sprekerinformatie. De kernarchitectuur omvat:

1. Bevroren Basismodel: De gehele SpeechLLM (specifiek Voxtral-Mini, bestaande uit een Whisper-large-v3 encoder en een Ministral-3B LLM decoder) blijft bevroren. De gewichten van het basismodel worden niet bijgewerkt.
2. Extractie van Sprekersembeddings: Een vooraf getraind x-vector model (SiAmResNet34) extraheert sprekersembeddings uit ruwe audio. Cruciaal is dat voor normatieve (gezonde) uitingen de embedding op nul wordt gezet. Dit zorgt ervoor dat het adaptatiemechanisme de verwerking van gezonde spraak niet verstoort.
3. FiLM-injectie: Bij elke transformerlaag van de bevroren encoder genereert een specifieke twee-laagse Multi-Layer Perceptron (MLP) affiene modulatieparameters ($\gamma$ en $\beta$) en een scalaire poort ($\alpha$) op basis van de sprekersembedding.
   • De modulatie wordt toegepast als een geleerde residu: $\tilde{H}_\ell = H_\ell + \alpha_\ell ((\gamma_\ell - 1) \odot H_\ell + \beta_\ell)$.
   • De poort $\alpha$ wordt geïnitialiseerd nabij nul (via een bias van -2) en wordt getraind om progressief te openen, waardoor het model begint als een identiteitstransformatie.
4. Trainingsomvang: Alleen de FiLM-generatoren en de sprekersembedding-extractor worden getraind. Voor pathologische spraak past het systeem de interne representaties aan; voor gezonde spraak dwingt de op nul gezette embedding de FiLM-lagen om als identiteitstransformaties te fungeren, waardoor het oorspronkelijke modelgedrag behouden blijft.

Belangrijkste Bijdragen

• FiLM-gebaseerde Adaptatie: Het artikel introduceert een methode om een bevroren SpeechLLM te conditioneren op pathologische spraak zonder de basisgewichten te wijzigen, waardoor de generalisatie naar standaardspraak wordt gewaarborgd.
• Systematische Vergelijking: De studie vergelijkt vier adaptatiestrategieën—Full Fine-Tuning (FFT), Encoder-only Fine-Tuning (EFT), LoRA (Full en Encoder-only), en de voorgestelde Sprekersconditionering—over low-resource pathologische domeinen.
• Paralinguïstische Evaluatie: Naast de Word Error Rate (WER) evalueren de auteurs of adaptatie de vermogens van het model om vragen over sprekerattributen (geslacht en leeftijd) te beantwoorden (Multiple Choice Question Answering of MCQA) beïnvloedt, een cruciale metriek voor SpeechLLMs.

Experimentele Resultaten
De aanpak werd geëvalueerd op de TORGO (Engels) en NeuroVoz (Spaans) datasets.

• ASR Prestaties (WER):
  • Fine-Tuning: FFT en F-LoRA bereikten de laagste WER's, waarmee ze het basismodel aanzienlijk overtroffen (bijv. het reduceren van de TORGO WER van ~25% naar ~11-12%).
  • Sprekersconditionering: De FiLM-gebaseerde methode vertoonde een marginale rauwe verbetering op TORGO (25,15% naar 23,24%), maar bereikte een concurrerende 16,36% WER wanneer deze werd gecombineerd met regelgebaseerde nabewerking. Dit suggereert dat de methode de akoestische inhoud goed vastlegt maar ruisiger hypothesen produceert dan volledig gefinetunede modellen.
  • NeuroVoz: Alle methoden lieten lichte verbeteringen zien, waarbij F-LoRA het beste presteerde (4,07%).
• MCQA Prestaties:
  • Basismodel: Het ongewijzigde model had moeite met leeftijdsvoorspelling maar presteerde boven toeval bij geslachtsvoorspelling (53,5%).
  • Fine-Tuning: FFT en EFT verbeterden de nauwkeurigheid van geslachtsvoorspelling (tot 64,9%), wat suggereert dat adaptatie de gevoeligheid voor sprekerkenmerken verscherpte. Echter, F-LoRA stortte in naar bijna willekeurige prestaties (8,4%), wat duidt op een ernstige degradatie in instructie-opvolgingsvermogen.
  • Sprekersconditionering: De voorgestelde methode bereikte een concurrerende geslachtsnauwkeurigheid (60,7%), die slechts 4,2 procentpunt achter EFT bleef, terwijl er slechts ~1,6% van de totale parameters werd bijgewerkt. Cruciaal is dat het, door ontwerp, het gedrag van het basismodel voor gezonde spraak behield.

Betekenis en Claims
Het artikel claimt dat FiLM-gebaseerde sprekersconditionering een levensvatbaar, parameterefficiënt alternatief is voor traditionele fine-tuning voor pathologische spraakherkenning. De primaire betekenis ligt in het vermogen om te adapteren aan individuele pathologische akoestische profielen terwijl de basisgewichten en algemene kennis strikt behouden blijven. Dit is bijzonder kritiek voor SpeechLLMs, waar het behouden van het vermogen om niet-transcriptie-taken uit te voeren (zoals het beantwoorden van vragen) even belangrijk is als de transcriptie nauwkeurigheid. De auteurs concluderen dat hoewel volledig gefinetunede modellen mogelijk een iets betere rauwe WER opleveren, de sprekersgeconditioneerde aanpak een gunstige afweging biedt tussen efficiëntie, generalisatie en het behoud van bredere audio-begripscapaciteiten, mits er nabewerking wordt toegepast om de output te verfijnen.