TCG CREST System Description for the DISPLACE-M Challenge

Dit rapport beschrijft het TCG CREST-systeem voor de DISPLACE-M-uitdaging, waarbij een hybride end-to-end neurale diarizatie-architectuur (Diarizen) met geavanceerde clusteringtechnieken een relatieve verbetering van 39% in de diarizatiefout (DER) oplevert ten opzichte van een SpeechBrain-baseline en de zesde plaats behaalt onder de deelnemende teams.

De kern

Hier is een uitleg van het onderzoek in simpel, alledaags Nederlands, met behulp van creatieve vergelijkingen.

🎙️ Het Grote Moeilijke Gesprek: De TCG CREST Verklaring

Stel je voor dat je in een drukke, rommelige dorpshuis in India zit. Er zijn twee mensen die praten: een gezondheidswerker en een lokale bewoner. Ze praten snel, soms overlappen ze elkaar, er is achtergrondruis (kippen, wind, verkeer) en ze hebben verschillende dialecten.

De uitdaging voor de computer is simpel maar lastig: "Wie zegt wat?"

Dit heet Speaker Diarization (sprekers-diarisering). Het team van TCG CREST heeft meegedaan aan een wedstrijd (de DISPLACE-M challenge) om de beste computer te bouwen die dit kan. Hier is hoe ze het hebben aangepakt, vertaald naar alledaagse termen.

---

1. Het Probleem: Een Drukte in een Dichtgetimmerde Kamer

De opnames zijn niet als een stil studio-interview. Het is meer alsof je probeert twee mensen te onderscheiden in een drukke markt.

• De uitdaging: Soms praten ze tegelijk (overlapping). Soms is de stem heel zacht (ruis). Soms klinken ze heel erg op elkaar.
• De meting: Ze keken naar de "foutenpercentages". Hoe minder fouten, hoe beter.

2. De Twee Competitors: De Bouwpakket vs. De Alles-in-Één Robot

Het team testte twee verschillende manieren om dit probleem op te lossen.

A. De "Bouwpakket"-Aanpak (SpeechBrain)

Stel je voor dat je een auto bouwt uit losse onderdelen die je zelf koopt.

1. De Luisteraar (VAD): Eerst moet de computer weten wanneer er gesproken wordt en wanneer er stilte is. Ze testten verschillende "luisteraars" (Silero, Pyannote).
2. De Stem-Scanner (Embeddings): Als er gesproken wordt, wordt de stem omgezet in een digitaal vingerafdrukje.
3. De Groeperaar (Clustering): Een aparte module kijkt naar die vingerafdrukjes en zegt: "Hé, deze twee lijken op elkaar, dat is persoon A. Die andere is persoon B."

Het resultaat: Dit werkte goed als de "luisteraar" perfect was. Maar als de luisteraar een foutje maakte (bijvoorbeeld dacht dat er gesproken werd terwijl er alleen ruis was), stortte het hele systeem in. Het was te gevoelig voor slechte onderdelen.

B. De "Alles-in-Één"-Robot (Diarizen)

Dit is de moderne, slimme robot die alles in één keer doet.

• Hoe het werkt: In plaats van losse onderdelen, is dit een enorme, getrainde neural network (een soort superbrein). Het kijkt naar het geluid in kleine stukjes (zoals 80 seconden) en doet alles tegelijk: het hoort wie spreekt, het filtert de ruis eruit en het groepeert de sprekers.
• De kracht: Het is als een ervaren detective die niet alleen naar de stem luistert, maar ook naar de context, de timing en de subtiele nuances.

Het resultaat: Deze robot was veel sterker. Hij maakte veel minder fouten dan het bouwpakket.

---

3. De Magische Knop: Het "Scherpstellen" van de Groepering

Zelfs met de slimme robot (Diarizen) was er nog ruimte voor verbetering. De robot moest de stemmen groeperen. Stel je voor dat je een klasje kinderen moet verdelen in twee groepen op basis van hun kleding.

Ze testten verschillende manieren om dit te doen:

• De standaardmethode (AHC): "Kijk naar de dichtstbijzijnde kindjes en groepeer ze."
• De slimme methoden (Spectral Clustering variants): Probeerden slimme wiskundige trucs om de groepen nog scherper te maken.

De verrassende ontdekking: De slimme wiskundige trucs waren niet veel beter dan de standaardmethode. De echte winst kwam van een heel simpel trucje: De "Medische Filter" (Median Filtering).

• De Analogie: Stel je voor dat de robot soms even twijfelt: "Is dit nu persoon A of B?" en dan binnen een seconde weer: "Oh, toch A." Dit zorgt voor een onrustig, huppelend verhaal.
• De oplossing: Ze stelden een "rustperiode" in. Als de robot twijfelt, kijkt hij naar de laatste 29 momenten (in plaats van de standaard 11). Als de meerderheid van die 29 momenten zegt "A", dan is het "A".
• Het effect: Dit maakte het verhaal veel rustiger en stabieler. Het was alsof je een trillende camera stabiliseert; het beeld wordt scherp en rustig.

---

4. De Uitslag: Wie won de wedstrijd?

• De Bouwpakket (SpeechBrain): Had een foutpercentage van ongeveer 17%.
• De Robot (Diarizen): Had een foutpercentage van ongeveer 10%.
• De Verbeterde Robot (Met de 29-momenten filter): Drukte het foutpercentage verder omlaag naar 9,21%.

Dit betekent dat de robot ongeveer 39% minder fouten maakte dan het bouwpakket. Dat is een enorme verbetering!

Het team van TCG CREST eindigde op plaats 5 van de 11 teams. Ze waren niet de allerbeste, maar ze hadden een heel sterke strategie gevonden door de juiste "rustknop" (de filter) op de juiste manier te gebruiken.

---

5. Wat hebben we geleerd voor de toekomst? (De Lessen)

1. De luisteraar is cruciaal: Als je niet goed kunt horen wanneer iemand spreekt, helpt de slimste groepering niet. Een betere "luisteraar" is de sleutel.
2. Simpel is soms beter: De ingewikkelde wiskundige groepeer-methoden waren niet nodig. Soms werkt een simpele "kijk naar de laatste 29 momenten"-regel beter.
3. Geen perfecte oplossing: Er waren een paar opnames waar de robot faalde en het bouwpakket beter deed. Dit betekent dat we in de toekomst misschien beide systemen kunnen combineren (zoals een team van twee detectives) om alle fouten op te lossen.

Kortom: Het team heeft bewezen dat je met de juiste combinatie van een slimme AI en een simpele stabilisatie-truc, zelfs in een rommelige, drukke dorpshuisomgeving, heel goed kunt horen wie wat zegt.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "TCG CREST System Description for the DISPLACE-M Challenge" in het Nederlands.

Technische Samenvatting: TCG CREST System voor DISPLACE-M Uitdaging

1. Probleemstelling en Context
Dit rapport beschrijft de aanpak van het TCG CREST-team voor Track 1 (Spreker-Diarisatie) van de DISPLACE-M-uitdaging. De focus ligt op natuurlijke medische gesprekken in luidruchtige, landelijke gezondheidszorgomgevingen. Deze dataset stelt unieke uitdagingen aan de systemen, waaronder:

• Overlappende spraak (foreground overlap).
• Achtergrondspraak en omgevingsruis.
• Dialectvariaties en spontane dialogen.
• Heterogene conversatiedynamiek.

De prestaties worden gemeten aan de hand van de Diarisatiefoutenratio (DER). De dataset voor Fase I bestaat uit 78 ontwikkelingsopnames (Dev) en 71 evaluatieopnames (Eval), met een gemiddelde spraakpercentage van 88% en een gemiddelde SNR van 32,43 dB, maar met aanzienlijke variatie in overlap en spraakwisselingen.

2. Methodologie en Experimentele Opzet
Het team heeft twee verschillende systemen voor spreker-diarisatie (SD) geëvalueerd en vergeleken:

• Systeem A: SpeechBrain (Modulair Pijplijn)

  • Architectuur: Een modulaire aanpak met gespecialiseerde componenten voor spraakdetectie (VAD), segmentatie en clustering.
  • Componenten:
    • VAD: Geëvalueerd met Silero en Pyannote.
    • Embeddings: ECAPA-TDNN (getraind op VoxCeleb2) voor het extraheren van spreker-embeddings.
    • Clustering: Verschillende varianten van spectrale clustering toegepast op een affiniteitsmatrix berekend met cosinus-ähnelijkheid.
  • Parameters: Het ECAPA-model vereist ongeveer 20,76 miljoen parameters.

• Systeem B: Diarizen (State-of-the-Art Hybride End-to-End)

  • Architectuur: Een hybride pijplijn gebaseerd op End-to-End Neural Diarization met Vector Clustering (EEND-VC).
  • Micro-niveau: Gebruikt een lokaal neurale module (pre-getraind WavLM + Conformer + lineaire classifier) om ruwe audio in korte, overlappende vensters (8-16 sec) te verwerken. Dit genereert frame-gebaseerde spraakwahrscheinlijkheden en discriminerende embeddings, zelfs bij overlappende spraak.
  • Macro-niveau: Een Pyannote-gebaseerde backend voert globale sprekerclustering uit.
  • Clustering-varianten: Naast de standaard Agglomerative Hierarchical Clustering (AHC) en VBx, zijn geavanceerde spectrale clustering-varianten getest:
    • SC-fixed: Standaard spectrale clustering met vaste k-NN.
    • SC-adapt: Adaptieve k-NN grootte (geoptimaliseerd op Dev-set).
    • SC-pNA: Adaptieve selectie zonder Dev-set (behoudt top 20% connecties).
    • SC-MK: Meerdere kernels voor de affiniteitsmatrix (polynomen + arccosine).
  • Post-processing: Toepassing van een mediamfilter om tijdelijke grenzen te gladstrijken en valse activeringen te onderdrukken. Er is geëxperimenteerd met een groter contextvenster (29 frames in plaats van de standaard 11).
  • Parameters: Totaal ongeveer 31,77 miljoen parameters (WavLM-Base met pruning + ResNet-34).

3. Belangrijkste Bijdragen

• Vergelijking van VAD-methoden: Het paper benadrukt dat de kwaliteit van de Voice Activity Detection (VAD) cruciaal is voor modulaire systemen. Oracle-VAD gaf de beste resultaten, terwijl geschatte VAD (Silero/Pyannote) de prestaties van het SpeechBrain-systeem aanzienlijk verslechterde.
• Evaluatie van Clustering-technieken: Uitgebreide test van diverse spectrale clustering-varianten binnen het Diarizen-framework.
• Optimalisatie van Post-processing: Het identificeren dat het vergroten van het venster voor mediav filtering van 11 naar 29 frames de prestaties verbetert door betere tijdelijke consistentie.
• Analyse van Prestatievariatie: Een diepgaande analyse per bestand toont aan dat Diarizen over het algemeen superieur is, maar dat er specifieke bestanden zijn waar het modulair systeem (SpeechBrain) beter presteert, wat wijst op complementaire sterktes.

4. Resultaten
De resultaten zijn samengevat in Tabel 1 en Figuren 2 & 3:

• SpeechBrain Baseline:

  • Met Oracle VAD: 8,99% DER.
  • Met Silero VAD: 17,37% DER.
  • Met Pyannote VAD: 17,96% DER.
  • Conclusie: Het modulaire systeem is sterk afhankelijk van de VAD-kwaliteit.

• Diarizen Baseline (AHC):

  • Dev-set: 10,54% DER.
  • Eval-set: 9,44% DER.
  • Dit is aanzienlijk beter dan SpeechBrain, zelfs zonder Oracle VAD.

• Invloed van Clustering in Diarizen:

  • De geavanceerde spectrale clustering-varianten (SC-adapt, SC-MK, etc.) leverden slechts marginale verbeteringen of zelfs degradaties ten opzichte van de standaard AHC.
  • Conclusie: AHC blijft de meest robuuste keuze voor dit specifieke scenario binnen de Diarizen-pijplijn.

• Beste Prestatie (Gedeponeerd Systeem):

  • Door de standaard AHC te combineren met een mediamfilter met een venstergrootte van 29, werd de beste prestatie behaald:
    • Dev-set: 10,37% DER.
    • Eval-set: 9,21% DER.
  • Dit vertegenwoordigt een relatieve verbetering van ongeveer 39% in DER ten opzichte van het SpeechBrain-baseline (gebaseerd op post-evaluatie analyse).
  • Ranking: Het team behaalde de 5e plaats van de 11 deelnemende teams.

5. Betekenis en Toekomstperspectief

• Overwinning van End-to-End: Het onderzoek bevestigt dat hybride end-to-end systemen (zoals Diarizen) superieur zijn aan traditionele modulaire pijplijnen in complexe, realistische scenario's met overlappende spraak.
• Rol van Post-processing: De verbetering door het vergroten van het mediav-filtervenster benadrukt het belang van tijdelijke gladstrijking voor het reduceren van fragmentatie in de diaristie.
• Beperkingen en Kansen:
  • Het huidige werk is onbewaakt (unsupervised); fine-tuning op de ontwikkelingsset zou de prestaties mogelijk verder kunnen verbeteren.
  • Er is potentie voor fusiestrategieën (score-level of decision-level fusion) om de sterke punten van zowel Diarizen als SpeechBrain te combineren, aangezien SpeechBrain in bepaalde specifieke bestanden beter presteert.
  • Statistische modellering van opname-eigenschappen (zoals SNR en overlap) kan helpen bij het begrijpen van prestatievariatie en het ontwerpen van robuustere systemen.

Kortom, dit paper presenteert een robuust systeem dat de staat van de kunst voor spreker-diarisatie in medische, luidruchtige omgevingen aantoont, met een focus op de effectiviteit van end-to-end neurale benaderingen en geoptimaliseerde post-processing.