Multimodal Laryngoscopic Video Analysis for Assisted Diagnosis of Vocal Fold Paralysis

Dit paper introduceert MLVAS, een multimodaal systeem dat audio- en videostroboscopische data combineert om automatische segmentatie, kenmerkextractie en objectieve visualisatie te bieden voor de ondersteunde diagnose van stembandverlamming.

De kern

Een slimme "luister- en kijk-assistent" voor de keelarts

Stel je voor dat een keelarts een video bekijkt van je stembanden. Dit is geen gewone video, maar een heel snelle, trillende film die door een speciale camera (een laryngoscoop) is opgenomen. Het probleem? Deze video's zijn vaak heel lang, beginnen met de arts die nog op zoek is naar de stembanden, en bevatten veel "ruis" of lege momenten. De arts moet die video's handmatig scannen om de goede stukjes te vinden, wat tijdrovend en vermoeiend is.

De auteurs van dit paper hebben een slimme computerprogramma bedacht, genaamd MLVAS (Multimodal Laryngoscopic Video Analyzing System). Je kunt dit zien als een slimme assistent die de arts helpt bij het diagnosticeren van verlamde stembanden.

Hier is hoe het werkt, vertaald naar alledaagse termen:

1. De "Oor" en het "Oog" van de assistent

Deze assistent heeft twee zintuigen: horen en zien.

• Het Horen (Audio): De assistent luistert naar de geluiden in de video. Patiënten worden gevraagd om een specifieke klank te maken (zoals een lange "ee"). De assistent zoekt in de audio naar dit specifieke geluid.
  • Analogie: Dit is alsof je een muziekapp hebt die alleen de nummers afspeelt waarin je zingt, en alle andere geluiden (zoals de arts die praat of de camera die beweegt) negeert. Zo weet de assistent precies welk stukje video belangrijk is.
• Het Zien (Video): Zodra de assistent weet dat er gezongen wordt, kijkt hij naar het beeld. Hij zoekt naar de stembanden en de opening ertussen (de glottis).
  • Analogie: Het is alsof een slimme fotograaf die alleen foto's maakt van het moment waarop de stembanden goed zichtbaar zijn, en alle wazige of lege foto's weggooit.

2. Het "Schoonmaken" van de foto's

Soms ziet de assistent per ongeluk een opening waar geen stembanden zijn (een "valse alarm"). Om dit op te lossen, gebruiken ze een speciale techniek die lijkt op AI-schilderen.

• Analogie: Stel je voor dat je een schets hebt van een landschap, maar er staan wat vlekken op waar geen bomen horen. De assistent gebruikt een "AI-penseel" (een zogenaamd diffusiemodel) om die vlekken te wissen en de randen van de bomen (de stembanden) haarscherp te maken. Hierdoor krijgt de arts een perfect scherp beeld, zonder fouten.

3. Het Meten van de "Dans"

Nu de assistent de goede video-fragmenten heeft, gaat hij meten hoe de stembanden bewegen.

• Normaal gesproken meten artsen hoe ver de twee stembanden uit elkaar staan. Maar dat vertelt niet welke kant verlamd is.
• De MLVAS doet iets slimmers: hij tekent een denkbeeldige lijn in het midden en meet hoe elke stemband afwijkt van die lijn.
  • Analogie: Stel je twee dansers voor die hand in hand dansen. Als één danser verlamd is, beweegt die nauwelijks, terwijl de ander enthousiast springt. De assistent meet precies hoeveel elke danser beweegt. Als de linkerdanser stil staat, weet de assistent: "Aha, de linkerkant is verlamd!"

4. De Grote Overwinning: Samenwerking

Het meest indrukwekkende is dat de assistent horen en zien combineert.

• Alleen naar het geluid kijken is soms niet genoeg (want geluid kan veranderen door een verkoudheid).
• Alleen naar het beeld kijken is soms lastig (want de camera kan wazig zijn).
• Maar als je beide gebruikt, krijg je een veel betrouwbaarder diagnose. Het is alsof je een raadsel oplost met twee verschillende aanwijzingen in plaats van maar één.

Waarom is dit belangrijk?

Vroeger moest een arts urenlang naar video's kijken en zelf beslissen of er iets mis was. Dit kon subjectief zijn (afhankelijk van de vermoeidheid van de arts).
Met dit systeem:

1. Bespaart de arts enorm veel tijd (de assistent doet het zware werk).
2. Krijgt de arts een objectief oordeel (de computer maakt geen fouten door vermoeidheid).
3. Kan de arts precies zien welke kant verlamd is (links of rechts), wat cruciaal is voor de juiste behandeling.

Kortom: Dit paper introduceert een slimme, tweezintuigige robot-assistent die de lange, saaie video's van stembanden automatisch scant, de beste momenten selecteert, de beelden verscherpt en precies meet welke stemband niet goed werkt. Het helpt artsen om sneller en nauwkeuriger patiënten te helpen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Multimodal Laryngoscopic Video Analysis for Assisted Diagnosis of Vocal Fold Paralysis" in het Nederlands.

Probleemstelling

Stembandverlamming (Vocal Fold Paralysis - VFP) is een aandoening waarbij één of beide stembanden niet goed bewegen, wat leidt tot stemveranderingen, slikproblemen en ademhalingsmoeilijkheden. De diagnose wordt momenteel vaak gesteld via laryngoscopische videostroboscopie. Hoewel dit een krachtige tool is, kent het enkele belangrijke beperkingen:

• Tijdsintensief: Klinici moeten lange, ruwe video-opnames handmatig bekijken om de relevante segmenten te vinden (de volledige fonatiecyclus met zichtbare stembanden). Veel van de opname bestaat uit nutteloze beelden (bijv. het zoeken naar de stembanden).
• Subjektiviteit: De diagnose is vaak afhankelijk van de subjectieve beoordeling van de arts, wat het risico op misdiagnose vergroot.
• Gebrek aan objectiviteit: Bestaande geautomatiseerde methoden gebruiken vaak slechts één modale (alleen audio of alleen video) en kunnen niet altijd onderscheid maken tussen linker- en rechterzijdige verlamming.
• Data-schaarste: Klinische datasets zijn klein en moeilijk te publiceren vanwege privacy, wat de training van diepe leermodellen bemoeilijkt.

Methodologie: Het MLVAS Systeem

Het auteurs stellen MLVAS (Multimodal Laryngoscopic Video Analyzing System) voor, een geïntegreerd systeem dat audio- en videodata combineert voor een geautomatiseerde analyse. Het systeem bestaat uit drie hoofdcomponenten:

1. Multimodale Voorverwerking (Front-end)

Het doel is om ruwe video's te filteren tot "highlights" die volledige fonatiecycli bevatten.

• Audio Keyword Spotting (KWS): Patiënten worden gevraagd om de klank "/i:/" te produceren (die in de praktijk vaak klinkt als "/E:/"). Een KWS-model, gebaseerd op een Spectrogram en een ResNet-achtige architectuur, detecteert deze specifieke klank in de audio. Dit markeert de tijdssegmenten waarin de patiënt spreekt.
• Video Glottis Detectie: Binnen de geluidssegmenten wordt een objectdetectiemodel (YOLO-v5) gebruikt om frames te filteren waarin de stembanden en de glottis (stemkloof) daadwerkelijk zichtbaar zijn.
• Stroboscopie Extractie: Een module analyseert de HSV-waarden (Hue, Saturation, Value) van de frames. Omdat stroboscopische video's snelle kleurveranderingen vertonen, worden segmenten met de hoogste fluctuatie geselecteerd om de trage beweging van de stembanden te visualiseren.

2. Kenmerkextractie (Feature Extraction)

• Audio Kenmerken: In plaats van handgemaakte features (zoals MFCC) te gebruiken, wordt een voorgeladen audio-encoder (Dasheng) gebruikt. Dit model is vooraf getraind op enorme datasets en vervolgens fijngefineerd (fine-tuned) op de klinische data om robuuste audio-embeddings te genereren voor VFP-detectie.
• Visuele Kenmerken:
  • Segmentatie: Een twee-staps proces wordt gebruikt voor het segmenteren van de glottis. Eerst wordt een U-Net gebruikt voor een eerste segmentatie. Omdat U-Net vaak "false positives" produceert (een masker genereren waar geen stemband is), wordt dit gevolgd door een Diffusion-based refinement. Dit model corrigeert de U-Net-output en vermindert fouten aanzienlijk.
  • Dynamiek (VFDyn): Om onderscheid te maken tussen links- en rechtszijdige verlamming, wordt niet alleen de totale opening gemeten, maar de hoekafwijking van elke stemband ten opzichte van een geschatte middenlijn. Een kwadratische aanpassing (Quadratic Fitting) wordt gebruikt om de middenlijn te kalibreren. Hieruit worden twee nieuwe metrics afgeleid: LVFDyn (Linker Stemband Dynamiek) en RVFDyn (Rechter Stemband Dynamiek).

3. Multimodale Classificatie (Back-end)

• Een ConvLSTM-model verwerkt de tijdreeksen van de visuele kenmerken (LVFDyn/RVFDyn).
• De audio-embeddings en visuele embeddings worden samengevoegd (concatenatie) en ingevoerd in een classificatielaag.
• Het systeem voert eerst een binaire classificatie uit (VFP vs. Normaal). Vervolgens wordt, bij een positieve VFP-uitslag, de variantie van LVFDyn en RVFDyn vergeleken om te bepalen welke kant verlamd is (de verlamde kant vertoont minder activiteit en dus lagere variantie).

Belangrijkste Bijdragen

1. Eerste toepassing van voorgeladen audio-modellen: Dit is het eerste werk dat een voorgeladen audio-encoder (Dasheng) toepast voor het voorspellen van stembandverlamming, wat de prestaties verbetert ondanks de beperkte dataset.
2. Multimodale Integratie: Het combineert succesvol audio (voor het vinden van fonatiecycli) en video (voor visuele analyse), wat leidt tot betere prestaties dan unimodale systemen.
3. Nieuwe Visuele Metrics (LVFDyn/RVFDyn): Het introduceert dynamische hoekmetingen die het mogelijk maken om niet alleen VFP te detecteren, maar ook onderscheid te maken tussen linker- en rechtszijdige verlamming.
4. Geavanceerde Segmentatie: De combinatie van U-Net en Diffusion-modellen vermindert significante "false positives" bij het segmenteren van de glottis, wat essentieel is voor nauwkeurige metingen.
5. Volledige Automatisering: Het systeem elimineert de noodzaak voor handmatige selectie van videoframes door automatisch highlights te genereren.

Resultaten

De prestaties zijn getest op twee datasets: BAGLS (publieke segmentatiedataset) en SYSU (klinische dataset van het Sun Yat-sen Memorial Hospital).

• Segmentatie: De combinatie van U-Net en Diffusion-refinement bereikte een IoU van 0.80 en verlaagde de False Alarm Rate (FAR) van 15,8% (alleen U-Net) naar 2,0%.
• VFP Detectie (Audio + Video): Het multimodale systeem bereikte een F-score van 80,52% en een ROC-AUC van 87,04%. Dit is significant beter dan alleen audio-modellen of traditionele machine learning methoden (zoals SVM of RF met MFCC).
• Unilaterale VFP (Links vs. Rechts): Met alle verbeteringsmodules (Kwadratische fitting en Diffusion) bereikte het systeem een nauwkeurigheid van 82,37% in het onderscheiden van links- versus rechtszijdige verlamming.
• Statistische Significantie: Paired t-tests bevestigden dat de verbeteringen door de toegevoegde modules (Diffusion en Quadratic Fitting) en de multimodale aanpak statistisch significant zijn (p < 0,05).

Betekenis en Conclusie

Het MLVAS-systeem biedt een robuust, objectief en tijdsefficiënt hulpmiddel voor klinici. Door de integratie van geavanceerde deep learning technieken (voorgeladen modellen, diffusion models) met medische expertise, lost het systeem de problemen van handmatige selectie en subjectieve diagnose op. Het vermogen om onderscheid te maken tussen links- en rechtszijdige verlamming en het leveren van interpreteerbare visualisaties (zoals GAW en VFDyn-plots) maakt het een waardevolle tool voor de klinische praktijk, wat kan leiden tot snellere en nauwkeurigere behandelingen voor patiënten met stemproblemen.