Technische Samenvatting: Vermindering van Promptgevoeligheid in LLM-gebaseerde Spraakherkenning via Leerbare Projectie

1. Probleemstelling

Hoewel Automatic Speech Recognition (ASR) op basis van Large Language Models (LLM) een veelbelovende architectuur is geworden die spraakfoundationmodellen via een spraak-naar-LLM-projector koppelt aan LLM's, vertrouwen huidige implementaties sterk op vaste, handmatig gedefinieerde prompts voor zowel training als inferentie.

Het artikel identificeert een kritieke, onderbelichte kwetsbaarheid in dit ontwerp: promptgevoeligheid. De auteurs demonstreren dat:

• De keuze van de prompt de ASR-prestaties aanzienlijk beïnvloedt (gemeten in Woordfoutpercentage, WER).
• Geen enkele prompt optimaal presteert over alle datasets of scenario's heen.
• Kleine variaties in formulering of de plaatsing van spraakembeddings binnen de prompt kunnen leiden tot drastische verschillen in transcriptiekwaliteit.
• In sommige gevallen presteren specifieke prompts slechter dan het gebruik van helemaal geen prompt (een "lege" prompt), wat instabiliteit introduceert en de robuustheid van praktische ASR-systemen beperkt.

2. Methodologie

2.1. Basisarchitectuur

De studie maakt gebruik van de SLAM-ASR-architectuur als fundament. Dit model bestaat uit:

• Spraakencoder: WavLM-large (getraind op 94.000 uur ongelabelde data).
• Spraakprojector: Een lichtgewicht module ($sp(\cdot)$) die gedownsampte audio-features afbeeldt op de LLM-invoerruimte.
• LLM: Vicuna-7B (fine-tuned vanuit Llama).
• Trainingsstrategie: De spraakencoder en de LLM zijn bevroren; alleen de spraakprojector wordt getraind.

2.2. Voorgestelde Oplossing: De Prompt Projector

Om promptgevoeligheid aan te pakken zonder de onderliggende LLM of spraakencoder te wijzigen, stellen de auteurs een Prompt Projector-module voor, aangeduid als $pp(\cdot)$.

• Concept: Geïnspireerd door het succes van de spraakprojector, leert de promptprojector een gemeenschappelijke projectiefunctie om vaste, handmatig gedefinieerde promptembeddings te transformeren naar een effectiever gebied in de LLM-invoerruimte.
• Architectuur: Het deelt dezelfde architectuur als de spraakprojector (een tweelaags lineair netwerk met ReLU-activering), maar werkt op LLM-tokenembeddings in plaats van spraakfeatures.
• Trainingsprotocol:
  1. Train het basis "vanilla"-model (bevroren encoder/LLM, geleerde spraakprojector).
  2. Bevries alle componenten van het getrainde basismodel.
  3. Train alleen de nieuwe promptprojector ($pp(\cdot)$) bovenop het bevroren model.
  • Opmerking: De auteurs hebben expliciet getest om de onderliggende modellen te ontvriezen, maar constateerden dat dit leidde tot instabiele training en verslechterde prestaties.

2.3. Experimentele Opstelling

• Datasets: Vier diverse datasets werden gebruikt:
  • LibriSpeech (LS-C/LS-O): Voorgelezen Engelse audioboeken.
  • CallHome (CH): Spontane telefoongesprekken.
  • AMI: Multimodale vergaderopnames.
  • ContactCenter (CC): Propriëtaire domeinspecifieke gesprekken (gezondheid/financiën).
• Promptvariaties: Tien verschillende prompttemplates werden geëvalueerd, variërend van de standaard "basis"-prompt tot variaties in formulering en plaatsing van embeddings, plus een "lege" prompt (bevat alleen spraakembeddings).
• Basislijnen: Vergelijkingen omvatten vanilla-modellen met verschillende prompts, modellen met LoRA fine-tuning, en recente state-of-the-art LLM-gebaseerde ASR-systemen.

3. Belangrijkste Resultaten

3.1. Impact van Handmatige Prompts

De evaluatie van het vanilla-model over tien prompts onthulde hoge variabiliteit:

• Prestatievariatie: Verschillende prompts leverden aanzienlijk verschillende WER's op, zelfs onder identieke model- en datacondities. Bijvoorbeeld, op de ContactCenter-dataset varieerde de WER van 11,81% tot 13,00%, uitsluitend afhankelijk van de prompt.
• Suboptimale Standaardwaarden: De standaard "basis"-prompt presteerde vaak slechter dan andere handmatig gemaakte prompts en, in sommige gevallen (bijvoorbeeld CallHome), zelfs slechter dan de "lege" prompt.
• Dataset-afhankelijkheid: Een prompt die uitstekend presteerde op de ene dataset (bijvoorbeeld CallHome), presteerde vaak slecht op een andere (bijvoorbeeld AMI), wat bevestigt dat er geen enkele prompt universeel optimaal is.

3.2. Effectiviteit van de Prompt Projector

Het toevoegen van de promptprojector ($pp(\cdot)$) leverde consistente verbeteringen op:

• Robuustheid: De projector verminderde de prestatievariatie aanzienlijk. Het mitigeerde de negatieve impact van suboptimale prompts, waardoor zelfs de "slechtste" handmatige prompt, wanneer verrijkt met $pp(\cdot)$, beter presteerde dan de beste handmatige prompt die zonder projector werd gebruikt.
• Prestatiewinst: Over alle vier datasets heen verlaagde de $pp(\cdot)$-uitbreiding consistent de WER in vergelijking met de vanilla-basislijn.
  • Voorbeeld: Op LibriSpeech-Clean bereikte de beste handmatige prompt een WER van 2,72%, terwijl de "basis"-prompt 3,09% behaalde. Met $pp(\cdot)$ verbeterde de "basis"-prompt naar 2,34% en de beste prompt naar 2,28%.
• Statistische Significantie: Gekoppelde statistische tests bevestigden dat de verbeteringen statistisch significant waren ($p < 0,05$) over alle datasets.
• Vergelijking met SOTA: De voorgestelde methode, vooral in combinatie met LoRA fine-tuning, bereikte concurrerende of superieure resultaten vergeleken met recente state-of-the-art systemen (bijvoorbeeld Qwen-Audio, SALMONN) op specifieke benchmarks.

4. Betekenis en Bijdragen

Het artikel claimt de volgende bijdragen en betekenis:

1. Eerste Systematische Analyse: Het biedt de eerste uitgebreide studie van promptgevoeligheid in LLM-gebaseerde ASR, waarbij wordt onthuld dat promptkeuze een kritieke, vaak over het hoofd geziene factor is in systeemprestaties.
2. Nieuwe Architectuur: Het introduceert de Prompt Projector, een eenvoudige, modelonafhankelijke uitbreiding die leert promptembeddings af te stemmen op de invoerruimte van de LLM zonder wijzigingen aan de onderliggende LLM of spraakencoder te vereisen.
3. Robuustheid zonder Complexiteit: De aanpak verbetert de robuustheid en vermindert de prestatievariatie zonder complexe prompt-engineering-parameters of tokens in te voeren. Het fungeert als een "drop-in" uitbreiding voor bestaande architecturen.
4. Diagnostisch Inzicht: De bevindingen suggereren dat toekomstig onderzoek een "lege prompt"-basislijn moet opnemen als diagnostisch hulpmiddel om slecht presterende handmatige prompts vroeg in de ontwikkeling te detecteren.

5. Beperkingen en Toekomstig Werk

De auteurs houden een bescheiden standpunt aan met betrekking tot de reikwijdte van hun werk:

• Initiële Verkenning: Dit wordt gepresenteerd als een eerste stap naar het begrijpen van promptrobuustheid.
• Vergelijkingskloof: Het artikel vergelijkt de Prompt Projector niet direct met soft-prompt learning-methodes (die taalspecifieke tokens leren), met de opmerking dat een eerlijke vergelijking uitgebreide hyperparameter-tuning over meerdere prompts en datasets zou vereisen, wat buiten de huidige reikwijdte valt.
• Generalisatie: Er blijven open vragen over of een enkele projector kan generaliseren over verschillende taken, talen of LLM-architecturen.
• Reikwijdte: Het huidige werk richt zich strikt op transcriptie; de toepasbaarheid op andere downstream-taken is onderwerp voor toekomstig onderzoek.