Technische Samenvatting: Van Tekstmetrieken naar Modelinterne Toestanden: Een Studie naar de Detectie van Whisper ASR-hallucinaties

Probleemstelling

Automatic Speech Recognition (ASR)-hallucinaties—vloeiende transcripties die worden gegenereerd zonder basis in de audio-input—brengen aanzienlijke risico's met zich mee voor downstream-toepassingen, omdat ze potentieel aanstootgevende, stereotiepe of feitelijk onjuiste inhoud injecteren. Hoewel traditionele foutmetrieken zoals Word Error Rate (WER) en semantische afstanden (bijv. BERTScore, SeMaScore) dienen als algemene prestatie-indicatoren, zijn ze onvoldoende om hallucinaties te onderscheiden van andere fouttypen, met name bij afwezigheid van grondwaarheid-referentietranscripties. Bestaande detectiemethoden vertrouwen vaak op oracle-instellingen (die referentietekst vereisen) of synthetische data, waardoor er een gat ontstaat voor robuuste, referentievrije detectie voor real-world spontane spraak. Deze studie adresseert de uitdaging van het detecteren van hallucinaties in het Whisper large v3-model met behulp van menselijk geannoteerde real-speech data, waarbij drie verschillende paradigma's worden geëvalueerd: tekstgebaseerde metrieken, Large Language Model (LLM) prompting, en het proberen van interne decoder-toestanden.

Methodologie

Het onderzoek maakt gebruik van de HALAS-dataset, die menselijk geannoteerde hallucinatie-labels bevat voor voorspellingen van zeven ASR-modellen op Earnings-22 audio-data. De studie richt zich op het Whisper large v3-model, waarbij ongeveer 23,8% van de uitingen als hallucinatie is gemarkeerd. De evaluatie maakt gebruik van 5-voudige kruisvalidatie, gestratificeerd op hallucinatiepercentage en audio-duur, waarbij ROC AUC, F1-score, precisie en recall als primaire metrieken worden gebruikt.

De investigatie verloopt via drie detectiekaders:

1. Tekstgebaseerde Detectie:

   • Oracle Features: Metrieken die grondwaarheid vereisen, waaronder WER, Character Error Rate (CER), Insertion Error Rate (IER), Length Ratio (LenR), BERTScore, SeMaScore, en een Common Hallucinated Phrase (CHP) detector.
   • Referentievrije Features: Metrieken die uitsluitend op de voorspelling opereren, waaronder 5-gram Repetitierate (Rep), Stopword Ratio (StopW), GPT-2 Perplexity (PPL), Characters Per Second (CPS), wav2vec Forced Alignment confidence (Align), en een Naive CHP detector.
   • Classifiers: Logistische Regressie, Random Forest en XGBoost werden getraind op deze features.

2. LLM-gebaseerde Detectie:

   • Zero-shot baselines met GPT-4o mini en Gemini 2.0/3.0 Flash werden vastgesteld.
   • De aanpak werd iteratief verbeterd via prompt engineering: het upgraden van het reasoning model, het injecteren van domeinspecifieke pathologiekennis (Whisper's lijst met non-speech hallucinaties), het toevoegen van few-shot voorbeelden, en het aanpassen van prompts voor strikt referentievrije settings.

3. Interne Toestand Probing (Internal State Probing):

   • Initiële pogingen met de ingebouwde confidence-heuristieken van Whisper (Average Log-probability, Compression Ratio, No-Speech Probability) bleken ineffectief.
   • In plaats daarvan probeerde de studie de intermediaire decoder-representaties. Embeddings werden geëxtraheerd uit de Self-Attention (SA), Cross-Attention (CA), en de finale output (D) lagen over de 32 decoder-lagen.
   • Om variabele sequentielengtes af te handelen, werd mean-pooling en max-pooling toegepast op de sequentie en de deltas (stap-voor-stap verschillen).
   • Een Bidirectional Long Short-Term Memory (BLSTM) classifier werd getraind op deze sequentiële embeddings om hallucinaties te detecteren zonder referentietranscripties.

4. Late Fusion:

   • Een meta-classifier (Logistische Regressie) werd geconstrueerd om de outputs van de best presterende tekstgebaseerde (XGBoost) en interne-toestand (BLSTM) detectoren, samen met audio-duur als feature, te combineren.

Belangrijkste Resultaten

Tekstgebaseerde Detectie

• Oracle vs. Referentievrij: Oracle-metrieken bereikten sterke prestaties (bijv. BERTScore AUC: 82,3%, XGBoost F1: 62,8%). Echter, referentievrije tekstfeatures alleen leden aan ernstige degradatie. Het beste referentievrije XGBoost-model daalde naar een F1 van 37,7%, met een significante instorting in recall (15,5% voor Logistische Regressie), wat aangeeft dat tekstgebaseerde detectie sterk afhankelijk is van grondwaarheid-ankers.
• Feature Belang: Tree-gebaseerde ensembles (XGBoost) presteerden significant beter dan lineaire baselines, wat bevestigt dat hallucinatie-detectie profiteert van niet-lineaire interacties tussen features.

LLM-gebaseerde Detectie

• Prestaties: Out-of-the-box LLM's worstelden (F1 ~41%). Hoewel prompt engineering (domeinkennis, few-shot voorbeelden) de prestaties verbeterde naar een F1 van 58,7%, slaagden LLM's er niet in om de lichtgewicht XGBoost tekst-classifier (F1 62,8%) te overtreffen, ondanks de enorme computationele overhead.
• Referentievrije Beperking: In strikt referentievrije settings stortte de prestatie van LLM's in tot een F1 van 32,8%, wat de degradatie weerspiegelt die gezien werd bij tekst-alleen methoden.

Interne Toestand Probing

• Laalanalyse: Hallucinatie-signalen bleken gecodeerd te zijn over intermediaire lagen in plaats van gelokaliseerd te zijn in een enkele laag of de finale EOS-token. Mean-pooling van deltas bij laag 15 behaalde de hoogste AUC (82%) onder lineaire probes.
• BLSTM Prestaties: De BLSTM-classifier die gebruikmaakte van de volledige decoding-sequentie van de finale output (D) lagen, bereikte een AUC van 87,6% en een F1-score van 65,5%.
• Significantie: Dit vertegenwoordigt de sterkste referentievrije prestatie in de studie, waarbij het de best presterende tekst-feature modellen (F1 62,8%) overtrof zonder grondwaarheid-transcripties te vereisen.

Cross-Paradigma Fusie

• Complementariteit: De paradigma's legden deels niet-overlappende signalen vast (overeenkomst 0,64–0,73). Tekst-classifiers maximaliseerden de recall (0,73) maar leden onder precisie, terwijl de interne-toestand detectoren de meest gebalanceerde prestaties boden.
• Fusie Resultaten: Een late-fusion meta-classifier die tekst en interne-toestand waarschijnlijkheden combineerde, bereikte de hoogste algehele prestatie met een F1-score van 68,3% en een AUC van 90,0%.
• Beperkingen: Hoewel fusie de metrieken verbeterde, gaf het de "referentievrije" capaciteit van de interne-toestand detector op, aangezien het tekstcomponent grondwaarheid vereist.

Significantie en Claims

Het artikel claimt dat hoewel tekstgebaseerde en LLM-gebaseerde methoden effectief zijn in oracle-settings, ze fundamenteel beperkt zijn in zero-shot implementaties door het gebrek aan grondwaarheid-ankers. De primaire bijdrage is de demonstratie dat het proben van de interne toestanden van de Whisper-decoder een zeer competitieve, referentievrije oplossing biedt voor hallucinatie-detectie.

De studie benadrukt dat hallucinatie-kenmerken systematisch gecodeerd zijn over intermediaire decoding-lagen, en niet alleen in de finale outputs. Door een BLSTM te gebruiken op deze interne toestanden, bereiken de auteurs een robuuste detectie zonder referentietranscripties. Verder stelt het onderzoek dat een late-fusion aanpak de prestaties kan maximaliseren door de complementaire aard van tekst en interne-toestand signalen te benutten, hoewel dit ten koste gaat van de vereiste referentiedata.

De auteurs concluderen dat interne toestand probing een veelbelovende weg biedt voor real-world ASR-hallucinatie-detectie, toepasbaar op andere autoregressieve encoder-decoder modellen, waarbij zij opmerken dat het uitbreiden van deze aanpak naar alternatieve architecturen en het ontwikkelen van gespecialiseerde, lichtgewicht LLM's voor hallucinatie-detectie belangrijke toekomstige richtingen zijn.