Doctor or Patient? Synergizing Diarization and ASR for Code-Switched Hinglish Medical Conditions Extraction

Dit paper introduceert een robuust, open-source cascade-systeem dat EEND-VC voor spreker-diarisatie en een aangepaste Qwen3 ASR-modellen combineert om medische aandoeningen uit overlappende Hinglish-gesprekken te extraheren, waarmee het de eerste plaats behaalde in de DISPLACE-M-uitdaging.

De kern

Stel je voor dat je in een drukke, kleine kamer bent waar een dokter en een patiënt praten. Ze spreken een mix van Hindi en Engels (wat we "Hinglish" noemen), en ze onderbreken elkaar voortdurend. Soms praten ze tegelijk, soms is er veel lawaai op de achtergrond. Het is alsof twee mensen tegelijkertijd een gesprek voeren terwijl er een radio op de achtergrond staat die hard aan staat.

De uitdaging voor computers is: Wie zegt wat, en wat is er precies gezegd? En nog belangrijker: Wat is de medische klacht van de patiënt?

Dit paper beschrijft hoe een team van onderzoekers een slimme "vertaal- en luistermachine" hebben gebouwd om dit probleem op te lossen. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De Luisteroefen (Speaker Diarization)

Stel je voor dat je een gesprek opneemt, maar je weet niet wie wie is. De computer moet eerst leren onderscheid maken tussen de "Dokter" en de "Patiënt", zelfs als ze tegelijkertijd praten.

• Het probleem: De oude methoden waren als een luie luisteraar die dacht: "Als ze tegelijk praten, praat ik maar niets op." Of ze dachten dat er maar één persoon tegelijk kon praten.
• De oplossing: De onderzoekers gebruikten een nieuwe techniek genaamd EEND-VC. Denk hierbij aan een super-scherpe geluidsdetectie die twee hoofdjes heeft. Het is alsof je twee gespecialiseerde luisteraars hebt die elk een ander hoofdtelefoon opzetten. De ene luistert alleen naar de dokter, de andere alleen naar de patiënt. Zelfs als ze schreeuwen, kan de computer zeggen: "Ah, dat was de dokter die 'koorts' zei, en de patiënt zei 'ik voel me niet goed'."

2. De Vertaler (ASR - Automatic Speech Recognition)

Zodra de computer weet wie wat zegt, moet het gesprek in tekst omgezet worden. Maar dit is lastig omdat ze in een mix van talen praten en soms in het Devanagari-schrift (het schrift voor Hindi) Engels woorden spellen.

• Het probleem: Standaard vertalers raken in de war. Ze denken dat "koorts" een Engels woord is, of ze verwarren geluiden.
• De oplossing: De onderzoekers namen een zeer slimme AI (Qwen3) en gaven hem een "medische training". Ze lieten hem urenlang luisteren naar echte doktersgesprekken in India.
  • Ze leerden de AI om de "spelling" van Hindi-woorden die Engels klinken, correct te begrijpen.
  • Ze gaven de AI een "nabewerker" (een tweede AI) die de tekst leest en foutjes corrigeert, alsof een redacteur een verslag naleest.
• Het resultaat: De machine maakt nu veel minder fouten dan voorheen. Het is alsof je van een beginnende vertaler bent gegaan naar een ervaren tolk die ook nog eens een medische achtergrond heeft.

3. De Diagnose (Medical Conditions Extraction)

Nu hebben we een tekst, maar wat is de echte medische klacht?

• De oude manier (De Cascade): Eerst de audio omzetten in tekst, dan de tekst vertalen naar Engels, en dan de AI vragen: "Wat is de ziekte?"
  • Gevolg: Elke stap introduceert fouten. Het is alsof je een boodschap doorgeeft aan vijf mensen; aan het einde is de boodschap vaak verdraaid.
• De nieuwe manier (End-to-End): De AI krijgt direct de audio te horen en mag direct de ziekte noemen, zonder eerst tekst te schrijven.
  • Gevolg: Dit werkt het beste (zoals een ervaren dokter die direct luistert en diagnose stelt zonder te typen). De "slimme" commerciële AI's (zoals Gemini) waren hierin het allerbeste.

De Grote Overwinning

Het team won de DISPLACE-M uitdaging (een wedstrijd voor dit soort problemen) met hun eigen, openbare systeem.

• Waarom wonnen ze? Omdat hun systeem heel goed was in het scheiden van de stemmen (stap 1) en het correct vertalen (stap 2).
• De les: Zelfs als je geen dure, gesloten AI gebruikt, kun je winnen als je de onderdelen slim combineert. Het is als een goed georganiseerd team: als de luisteraars (stap 1) en de vertalers (stap 2) perfect samenwerken, is het eindresultaat geweldig.

Kortom: Ze hebben een slimme machine gebouwd die in een luid, chaotisch gesprek tussen een Indiase dokter en een patiënt precies kan horen wie wat zegt, en vervolgens de medische klacht eruit haalt. Dit helpt om gezondheidszorg in dorpen te verbeteren, waar mensen vaak in een mix van talen praten en waar computers het tot nu toe moeilijk hadden.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Doctor or Patient? Synergizing Diarization and ASR for Code-Switched Hinglish Medical Conditions Extraction", vertaald en samengevat in het Nederlands.

Probleemstelling

Het extraheren van medische aandoeningen uit gesproken klinische dialogen is een complexe opgave, vooral in real-world scenario's met de volgende uitdagingen:

• Code-switching: De gesprekken vinden plaats in "Hinglish" (een mix van Hindi en Engels), vaak geschreven in het Devanagari-script. Dit vereist modellen die zowel linguïstische als scriptuele variatie kunnen hanteren.
• Overlappende spraak: In medische consulten wisselen arts en patiënt snel van rol, wat leidt tot frequente spraakoverlappingen (dense turn-taking).
• Ruisonderdrukking: De opnames zijn vaak "far-field" (ver weg van de microfoon) en bevatten omgevingsruis.
• Beperkte middelen: Er is een tekort aan grote, open datasets voor medische conversaties in laag-resource talen zoals Hindi.

De huidige systemen worstelen vaak met deze combinatie van factoren, waarbij traditionele benaderingen (monolinguïstisch of sequentieel) falen bij het onderscheiden van sprekers en het correct transcriberen van code-gemixte spraak.

Methodologie

De auteurs presenteren een robuust, modulair cascade-systeem bestaande uit drie hoofdstappen:

1. Spreker-Diarisatie (EEND-VC)

Om overlappende spraak nauwkeurig op te lossen, gebruiken ze een End-to-End Neural Diarization with Vector Clustering (EEND-VC) aanpak.

• Encoder: In plaats van de standaard WavLM (gebruikt in DiariZen), kiezen ze voor w2v-bert2.0, een model getraind op 143 talen en 4,5 miljoen uur data, wat beter generaliseert voor Hindi-conversaties.
• Contextnetwerk: Ze vergelijken LSTM-lagen met Mamba-lagen (Selectieve State Space Models). Hoewel Mamba theoretisch efficiënter is, presteerden de LSTM-architecturen in dit specifieke geval iets beter.
• Clustering: Ze gebruiken k-means clustering (k=2 voor arts en patiënt) op ResNet-34 embeddings in plaats van complexere methoden zoals VBx, wat de afstemming vereenvoudigt.
• Training: Het model wordt voorgeprogrammeerd op grote, multi-domein datasets (zoals DIHARD3, VoxConverse) en vervolgens fijngefineerd (fine-tuning) op het specifieke DISPLACE-M dataset.

2. Spreker-Attributed Automatic Speech Recognition (SA-ASR)

De diarisatie-output wordt gebruikt om het ASR-systeem te conditioneren, zodat het alleen spraak transcribeert van de actieve spreker (arts of patiënt).

• Model: Ze passen het Qwen3-ASR-1.7B model aan.
• Aanpassingen:
  • Domain Adaptation: Fine-tuning op ~1.800 uur Hindi-spraakdata (van bronnen zoals FLEURS, IndicVoices) gecombineerd met de medische dataset.
  • Normalisatie: Toepassing van canonieke Unicode- en leestekennormalisatie voor het Devanagari-script om fouten door variaties in codering te voorkomen.
  • Error Correction: Een post-processing stap met een Large Language Model (LLM, specifiek GPT-4.1) voor contextuele correctie van ASR-fouten (bijv. fonetische verwarringen) zonder de code-switching te verliezen.
• Resultaat: Dit leidt tot een tcpWER (time-constrained Word Error Rate) van 18,59%.

3. Extractie van Medische Aandoeningen

Twee benaderingen worden vergeleken:

• Cascadesysteem (Tekst-gebaseerd): Transcriptie -> Vertaling (Hindi naar Engels) -> Extractie met LLM's (zoals Gemma 3, Claude, Gemini).
• End-to-End (E2E) Audio-systeem: Directe verwerking van audio naar medische aandoeningen door multimodale modellen (bijv. Gemini 3 Pro), waarbij de tussenstap van transcriptie wordt overgeslagen.

Belangrijkste Resultaten

• Diarisatie: Het EEND-VC systeem met w2v-bert2.0 en fine-tuning op domeinspecifieke data verbeterde de Diarization Error Rate (DER) aanzienlijk ten opzichte van baselines (van 9,31% naar 7,76%).
• ASR: Het aangepaste Qwen3-systeem bereikte een tcpWER van 18,59%, wat een relatieve verbetering van ~31% betekent ten opzichte van de IndicConformer-baseline (26,78%). De grootste winst kwam van domeinadaptatie en Unicode-normalisatie.
• Extraction:
  • Het E2E-audio-model (Gemini 3 Pro) behaalde de beste prestaties met een ROUGE-1 score van 45,60 (zero-shot). Dit bevestigt dat het overslaan van de kwetsbare tekst-translatieketen cruciaal is voor het behoud van akoestische nuances.
  • Het open-source cascade-systeem (gebruikmakend van Gemma 3 12B) behaalde een ROUGE-1 van 28,97. Hoewel dit lager is dan de gesloten E2E-modellen, is het zeer competitief.
• Competitie: Het team (ILIP1) behaalde eerste plaats onder 25 deelnemers in de DISPLACE-M challenge.

Significantie en Bijdragen

1. Robuustheid in Overlappende Spraak: Het paper demonstreert dat EEND-VC met w2v-bert2.0 zeer effectief is voor het scheiden van arts en patiënt in drukke, code-gemixde dialogen.
2. Domeinadaptatie voor Hinglish: Het succesvol toepassen van state-of-the-art ASR-modellen op Hinglish door middel van specifieke fine-tuning, normalisatie en LLM-correctie.
3. Architecturale Synergie: De studie toont aan dat verbeteringen in de upstream diarisatie alleen leiden tot betere eindresultaten als ze worden gekoppeld aan een robuust downstream ASR-systeem.
4. Open Source vs. Proprietary: Hoewel gesloten multimodale E2E-modellen de prestatieplafond stellen, bewijst het open-source cascade-systeem dat het een zeer sterke, reproduceerbare alternatief is voor privacy-bewuste medische toepassingen.
5. Publicatie: Alle implementaties zijn openbaar gemaakt (na een anonimiteitsperiode) om reproduceerbaarheid te waarborgen.

Kortom, het paper biedt een bewezen, modulaire pipeline die de complexe uitdagingen van medische spraakverwerking in laag-resource, code-gemixde talen effectief aanpakt.