Whisper-CD: Accurate Long-Form Speech Recognition using Multi-Negative Contrastive Decoding

Dit paper introduceert Whisper-CD, een trainingsvrij contrastief decoderingsframework dat hallucinaties en herhalingslussen in lange spraaktranscripties effectief reduceert door logit-vergelijkingen met meervoudige negatieve perturbaties toe te passen tijdens de inferentie.

De kern

Stel je voor dat je een zeer slimme, maar soms wat overgevoelige vertaler hebt: Whisper. Deze vertaler kan urenlang audio opnemen en omzetten in tekst. Maar als je een heel lang gesprek laat vertalen, begint hij soms te "hallucineren". Hij verzint woorden die niet gezegd zijn, blijft in een kringetje hangen (herhalingen) of slaat hele zinnen over.

Het ergste is: als hij een fout maakt in het eerste stukje van het gesprek, gebruikt hij die fout als basis voor het volgende stukje. De fouten stapelen zich op, net als een dominosteenrij die nooit stopt.

De auteurs van dit papier hebben een oplossing bedacht die ze Whisper-CD noemen. Ze hoeven de vertaler niet opnieuw te leren (geen "retraining"), maar geven hem een slimme truc mee tijdens het vertalen. Hier is hoe het werkt, uitgelegd met een paar alledaagse vergelijkingen:

1. Het Probleem: De "Dronken Vertaler"

Stel je voor dat je een vertaler hebt die net een beetje te veel koffie heeft gedronken. Als hij een gesprek vertaalt, begint hij soms dingen te verzinnen die niet gebeurd zijn, omdat hij denkt dat hij het moet horen. Als hij eenmaal begint met verzinnen, blijft hij dat doen, alsof hij in een droomland zit.

2. De Oplossing: De "Realiteitscheck"

Whisper-CD werkt als een dubbelcheck-systeem. Terwijl de vertaler de tekst schrijft, doet hij tegelijkertijd drie andere dingen om te controleren of hij niet aan het fantaseren is. Het is alsof je een spiegel voorhoudt, maar dan met drie verschillende vervormingen:

• De "Ruis-test" (Gaussian Noise): De vertaler krijgt het gesprek te horen alsof er een storm buiten waait en er statische ruis op de radio zit. Als hij dan toch nog dezelfde woorden "hoort" en vertaalt, zijn die woorden waarschijnlijk niet echt, maar uit zijn eigen verbeelding.
• De "Stilte-test" (Silence Signal): De vertaler krijgt een volledig stil geluid te horen (alsof er niemand praat). Als hij dan toch nog woorden begint te typen (bijvoorbeeld "Bedankt voor het kijken"), dan weten we: "Aha! Hij fantaseert nu!"
• De "Tijdsverschuiving" (Temporal Shift): De vertaler krijgt het gesprek te horen alsof de tijd een beetje is opgeschoven (bijvoorbeeld alsof hij de volgende zin al hoort voordat de vorige klaar is). Als hij hierdoor in de war raakt en fouten maakt, weten we dat hij te veel afhankelijk is van de context en niet echt naar het geluid luistert.

3. De Slimme Truc: De "Gedachtenkrant"

Normaal gesproken kijkt de vertaler alleen naar het echte geluid. Bij Whisper-CD doet hij dit:

1. Hij luistert naar het echte gesprek.
2. Hij luistert tegelijkertijd naar de drie vervormde versies (ruis, stilte, verschoven tijd).
3. Hij vergelijkt wat hij in het echte gesprek denkt te horen, met wat hij in de vervormde versies denkt te horen.

Als hij in het echte gesprek een woord kiest dat hij ook kiest als er alleen ruis of stilte is, zegt het systeem: "Wacht even! Dat woord komt waarschijnlijk uit je eigen hoofd, niet uit het gesprek. Laten we dat woord negeren."

Het is alsof je een detective bent die drie getuigen vraagt naar een gebeurtenis. Als de echte getuige iets zegt, maar de drie getuigen die onder invloed van drugs (de vervormingen) zitten, zeggen exact hetzelfde, dan is de echte getuige waarschijnlijk ook aan het liegen of hallucineren.

4. Waarom is dit geweldig?

• Geen nieuwe training: Je hoeft de vertaler niet opnieuw te leren. Het is een "plug-and-play" trucje dat je gewoon toevoegt aan wat je al hebt.
• Snelheid: Het is veel sneller dan de oude manier om fouten te voorkomen (waarbij je 5 of 10 verschillende versies van de tekst probeerde en de beste koos). Whisper-CD is bijna net zo snel als het normale vertalen, maar veel accurater.
• Geen herhalingen: Het breekt die vervelende kringetjes waarin de vertaler blijft hangen (bijvoorbeeld: "en toen... en toen... en toen...").

Samenvattend

Whisper-CD is als een waakhond die naast de vertaler staat. Terwijl de vertaler werkt, fluistert de waakhond: "Hé, dat woord klinkt verdacht. Als ik het gesprek met ruis zou horen, zou je dat woord ook zeggen? Nee? Dan is het waarschijnlijk een hallucinatie. Laten we het weglaten."

Hierdoor krijgen we veel schonere, betrouwbaardere transcripties van lange gesprekken, zonder dat de computer trager wordt of dat we de software opnieuw hoeven te bouwen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Whisper-CD: Accurate Long-Form Speech Recognition using Multi-Negative Contrastive Decoding" in het Nederlands.

Probleemstelling

Grote encoder-decoder modellen voor automatische spraakherkenning (ASR), zoals Whisper, presteren uitstekend op korte audiofragmenten, maar vertonen significante fouten bij lange audio-opnames (long-form speech). Deze fouten manifesteren zich voornamelijk in drie patronen:

1. Hallucinaties: Het genereren van fictieve tekst tijdens stilteperiodes of bij ruis (bijv. standaardzinnen als "Thank you for watching").
2. Herhalingslussen (Repetition loops): Het model blijft vastzitten in het herhalen van zinnen of zinsdelen, vaak over segmentgrenzen heen.
3. Inhoudsweglatingen: Het overslaan van gesproken inhoud.

Een kritiek punt is dat deze fouten zich opstapelen wanneer de transcriptie van een eerder segment als context wordt gebruikt voor het volgende segment. Zodra een foutieve transcriptie als context wordt doorgegeven, beïnvloedt dit de decodering van het huidige segment, waardoor hallucinaties en lussen zich versterken over de hele opname. Bestaande oplossingen vereisen vaak hertraining van het model of architecturale wijzigingen, wat ze onpraktisch maakt voor reeds ingezette systemen.

Methodologie: Whisper-CD

De auteurs stellen Whisper-CD voor, een trainingsvrij (training-free) raamwerk dat gebruikmaakt van Contrastive Decoding (CD) tijdens de inferentie. Het doel is om de token-selectie te sturen zonder de modelparameters aan te passen.

Kernprincipe:
In plaats van alleen te vertrouwen op de logits (kansverdelingen) van het model bij de schone audio, contrasteert Whisper-CD deze met "negatieve" logits die zijn gegenereerd op basis van akoestisch verstoord geluid. Tokens die waarschijnlijk zijn onder zowel schone als verstoord geluid, worden waarschijnlijk hallucinaties of fouten en krijgen een lagere prioriteit.

De drie negatieve perturbatiestrategieën:
Whisper-CD gebruikt drie specifieke audio-manipulaties om de negatieve logits te genereren:

1. Gaussian Noise Injection: Het toevoegen van ruis aan het invoersignaal (met een specifieke SNR). Dit verzwakt fijne fonetische details, waardoor het model tokens moet kiezen die het zelfs onder onzekerheid zou genereren.
2. Silence Signal: Het vervangen van de invoer door een volledig stil signaal (nullen). Dit activeert de "voorkeur" van het model voor tekst zonder akoestische onderbouwing, wat helpt bij het detecteren van stilte-hallucinaties.
3. Audio Temporal Shift: Het verschuiven van het invoersignaal in de tijd (bijv. 7 seconden naar links). Dit creëert een misalignement tussen de audio-inhoud en de verwachte tijdspositie, wat helpt bij het detecteren van fouten aan segmentgrenzen.

Multi-Negatieve Aggregatie:
De logits van deze drie negatieve paden worden gecombineerd tot één unified doelwit met behulp van de log-sum-exp operator. De uiteindelijke contrastieve logits ($\ell_{CD}$) worden berekend als:
$$\ell_{CD} = (1 + \alpha\tau) \ell_{pos} - \alpha\tau \log \left( \frac{1}{K} \sum_{k=1}^{K} \exp(\ell_{neg, k} / \tau) \right)$$
Waarbij:

• $\ell_{pos}$ de logits zijn van de schone audio.
• $\ell_{neg, k}$ de logits zijn van de $k$-de verstoorde audio.
• $\alpha$ de sterkte van het contrast bepaalt.
• $\tau$ de temperatuur is voor de aggregatie.

Dit proces vindt plaats tijdens de inferentie (inference-time) en is compatibel met bestaande pipelines zoals beam search.

Belangrijkste Bijdragen

1. Eerste toepassing van CD op ASR: Whisper-CD is het eerste framework dat contrastive decoding toepast om hallucinaties in spraakherkenning te bestrijden, specifiek voor lange audiofragmenten.
2. Trainingsvrij en Plug-and-Play: Het vereist geen hertraining van het Whisper-model en kan direct worden toegepast op bestaande, ingezette systemen als een "drop-in replacement".
3. Multi-Negatief Ontwerp: Door drie verschillende, akoestisch gemotiveerde perturbaties te combineren, worden diverse foutpatronen (stilte-hallucinaties, lussen, inhoudsweglatingen) gelijktijdig aangepakt.
4. Efficiëntie: In tegenstelling tot beam search, dat de zoekruimte vergroot en de doorvoersnelheid verlaagt, biedt Whisper-CD een betere balans tussen nauwkeurigheid en snelheid.

Resultaten

De methode is getest op vijf Engelse benchmarks voor lange audio (CORAAL, VoxPopuli, Earnings22, TED-LIUM, REV-16) met Whisper Large-v3 en Large-v3-Turbo.

• WER-vermindering: Whisper-CD verlaagt de Woordfoutratio (WER) aanzienlijk. Op het CORAAL-dataset werd een verbetering van 24,3 procentpunten bereikt (van 208,76% naar 45,77% voor Large-v3, en van 38,75% naar 14,43% voor Large-v3-Turbo).
• Onderdrukking van Hallucinaties: De methode elimineert effectief herhalingslussen en fictieve tekst die vaak voorkomen bij lange opnames.
• Doorvoersnelheid (Throughput): Whisper-CD is aanzienlijk sneller dan beam search. Voor Whisper Large-v3-Turbo was de token-generatiesnelheid 48% sneller dan beam search, terwijl de nauwkeurigheid hoger bleef.
• Ablatie-studies:
  • De combinatie van alle drie de perturbaties presteerde beter dan het gebruik van één enkele strategie.
  • De parameter $\alpha$ (contrast-strength) moet worden afgestemd op het dataset en model, maar is robuust voor hallucinatie-gevoelige opnames.

Betekenis en Toekomstperspectief

Whisper-CD lost een fundamenteel probleem op in de lange-termijn spraakherkenning: de accumulatie van fouten door contextgebruik. Door dit op te lossen zonder het model te hertrainen, maakt het de technologie veel praktischer voor real-world toepassingen waar audio vaak lang en onzuiver is.

De studie suggereert dat dynamische aanpassing van de contrast-strength ($\alpha$) per segment en het uitbreiden van de perturbatiestrategieën (bijv. frequentiemaskering) toekomstige verbeteringen kunnen bieden. Bovendien biedt het een blauwdruk voor het toepassen van contrastieve decoding op andere decoder-only ASR-modellen, hoewel daar de implementatie complexer is door de integratie van audio en tekst in één stream.

Kortom, Whisper-CD biedt een krachtige, efficiënte en direct toepasbare oplossing om de betrouwbaarheid van moderne ASR-systemen bij lange opnames drastisch te verbeteren.