Multimodal Laryngoscopic Video Analysis for Assisted Diagnosis of Vocal Fold Paralysis

Diese Arbeit stellt das multimodale System MLVAS vor, das durch die Kombination von Videostroboskopie und Audioanalyse sowie fortschrittlicher Segmentierung und Merkmalsextraktion eine objektive, assistierte Diagnose der Stimmlippenlähmung ermöglicht.

Das Wesentliche

Stellen Sie sich vor, ein Arzt muss die Stimmbänder eines Patienten untersuchen. Dazu benutzt er eine kleine Kamera, die in den Hals eingeführt wird. Das Ergebnis ist ein Video, das oft sehr langweilig ist: Man sieht zuerst nur den Rachen, dann wird die Kamera justiert, und erst nach einer Weile fängt der Patient an zu sprechen, während die Stimmbänder vibrieren.

Das Problem:
Ärzte müssen sich diese langen Videos manuell durchschauen, um die kurzen, wichtigen Momente zu finden, in denen die Stimmbänder wirklich arbeiten. Das ist wie das Suchen nach einer Nadel im Heuhaufen. Außerdem ist die Diagnose oft subjektiv – „Ich denke, das linke Band bewegt sich nicht richtig" – was zu Fehlern führen kann.

Die Lösung: MLVAS (Der „Super-Detektiv" für den Hals)
Die Forscher haben ein neues System namens MLVAS entwickelt. Man kann es sich wie einen hochintelligenten Assistenten vorstellen, der zwei Sinne hat: Hören und Sehen.

Hier ist, wie es funktioniert, einfach erklärt:

1. Der Hör-Ohr: „Hey Siri, aber für den Hals"

Statt sich das ganze Video anzusehen, hört das System zuerst zu.

• Die Analogie: Stellen Sie sich vor, Sie rufen „Hey Siri" in ein lautes Zimmer. Ihr Handy ignoriert den Lärm und konzentriert sich nur auf diesen einen Befehl.
• Im System: Der Patient soll einen bestimmten Laut machen (wie ein langgezogenes „Eeeh"). Das System sucht im Audio genau nach diesem Laut. Sobald es diesen erkennt, weiß es: „Aha! Jetzt vibrieren die Stimmbänder!" Es schneidet alle unnötigen Teile des Videos (wie das Justieren der Kamera) automatisch weg und behält nur die wichtigen Sekunden.

2. Der Augen-Modus: Der „Kunst-Restaurator"

Jetzt hat das System die richtigen Videosegmente. Aber das Bild ist oft unscharf oder dunkel, und die Stimmbänder sind schwer zu erkennen.

• Die Analogie: Stellen Sie sich vor, Sie haben ein altes, verwaschenes Foto. Ein normaler Scanner würde es einfach kopieren. Unser System ist aber wie ein Kunstrestaurator, der das Bild nachbearbeitet.
• Im System:
  • Zuerst nutzt es ein einfaches Werkzeug (U-Net), um grob zu erkennen, wo die Stimmbänder sind.
  • Dann kommt der „Restaurator" (ein sogenanntes Diffusions-Modell) ins Spiel. Er schaut sich das Bild genau an und korrigiert Fehler. Wenn das erste Werkzeug fälschlicherweise dachte, es sehe ein Stimmband, wo keines ist, korrigiert der Restaurator das. Das sorgt für ein kristallklares Bild der Öffnung zwischen den Stimmbändern (der Glottis).

3. Die Analyse: Der „Tanz-Experte"

Jetzt, wo das Bild klar ist, muss das System messen, wie sich die Bänder bewegen.

• Die Analogie: Stellen Sie sich zwei Tänzer vor, die Hand in Hand tanzen. Normalerweise schauen wir nur, wie weit sie sich voneinander entfernen. Aber unser System schaut sich jeden Tänzer einzeln an.
• Im System: Das System zeichnet eine imaginäre Mittellinie. Dann misst es, wie sehr das linke Band und wie sehr das rechte Band von dieser Linie abweichen.
  • Wenn beide sich gleich bewegen, ist alles in Ordnung.
  • Wenn das linke Band starr bleibt und das rechte tanzt, weiß das System sofort: „Das linke Band ist gelähmt!"
  • Das ist der große Vorteil: Früher konnte man oft nur sagen „Etwas ist falsch", jetzt kann das System sagen: „Es ist genau das linke Band!"

4. Die Kombination: Das Gehirn

Am Ende wirft das System alles zusammen: Die Stimme (Audio) und die Bewegung (Video).

• Die Analogie: Es ist wie ein Detektiv, der nicht nur die Tatwaffe (Video) betrachtet, sondern auch den Fingerabdruck (Audio) und beides zusammenbringt, um den Täter zu finden.
• Das System nutzt eine riesige, vorgefertigte Datenbank (ein „vortrainiertes Modell"), die schon Millionen von Stimmen gehört hat, um die Klangmuster der gelähmten Stimme zu erkennen.

Warum ist das so toll?

1. Zeitersparnis: Der Arzt muss nicht mehr stundenlang Videos durchklicken. Das System liefert ihm sofort die Highlights.
2. Objektivität: Es gibt keine „Bauchgefühle" mehr. Das System misst Winkel und Bewegungen millimetergenau.
3. Präzision: Es kann genau unterscheiden, ob links oder rechts gelähmt ist, was für die richtige Behandlung entscheidend ist.
4. Zuverlässigkeit: Selbst wenn das Bild nicht perfekt ist, korrigiert das System die Fehler selbstständig.

Zusammenfassend:
MLVAS ist wie ein digitaler Assistent, der dem Arzt hilft, das Chaos aus langen Videos und unscharfen Bildern zu ordnen. Er hört zu, um den richtigen Moment zu finden, schaut genau hin, um die Bilder zu verbessern, und misst dann präzise, welches Stimmband Probleme macht. Das macht die Diagnose schneller, genauer und für den Patienten weniger belastend.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „Multimodal Laryngoscopic Video Analysis for Assisted Diagnosis of Vocal Fold Paralysis" auf Deutsch:

1. Problemstellung

Die Diagnose der Stimmlippenlähmung (Vocal Fold Paralysis, VFP) ist für die Behandlung von Sprachstörungen, Schluckbeschwerden und Atemproblemen entscheidend. Kliniker verwenden derzeit die Laryngovideostroboskopie, um die Vibration der Stimmlippen zu analysieren. Dieser Prozess ist jedoch mit erheblichen Herausforderungen verbunden:

• Manueller Aufwand: Rohdaten aus endoskopischen Untersuchungen enthalten oft viele nutzlose Abschnitte (z. B. vor der eigentlichen Phonation), was eine manuelle Auswahl relevanter Videosegmente erfordert.
• Subjektivität: Die Diagnose hängt stark von der subjektiven Einschätzung des Arztes ab, was zu Inkonsistenzen und Fehlern führen kann.
• Datenknappheit: Klinische Datensätze sind aufgrund des Datenschutzes oft klein, was das Training tiefer neuronaler Netze erschwert.
• Einseitige Modalitäten: Bestehende KI-Ansätze nutzen entweder nur Audio oder nur Video. Audio-basierte Methoden können nicht zwischen linker und rechter Lähmung unterscheiden, während Video-Analysen oft auf vorverarbeitete kurze Clips beschränkt sind und keine robusten Metriken für die gesamte Phonationsphase liefern.

2. Methodik: Das MLVAS-Framework

Das Paper stellt das Multimodal Laryngoscopic Video Analyzing System (MLVAS) vor, ein System, das Audio- und Videodaten integriert, um VFP automatisch zu erkennen und zu klassifizieren. Der Workflow gliedert sich in drei Hauptphasen:

A. Multimodale Extraktion relevanter Videosegmente (Frontend)

Das System filtert automatisch die wichtigsten Abschnitte aus den Rohvideos:

1. Audio-basierte Keyword Spotting (KWS): Ein Modell detektiert die spezifische Aussprache „/E:/" (oft als Ersatz für das gesuchte „/i:/" in endoskopischen Verfahren), um Phonationszyklen zu identifizieren.
2. Visuelle Glottis-Erkennung: Ein YOLO-v5-Modell bestätigt das Vorhandensein der Stimmlippen in den durch Audio gefilterten Segmenten.
3. Stroboskopie-Erkennung: Mittels Analyse der HSV-Farbraumwerte (Hue, Saturation, Value) werden die stroboskopischen Sequenzen identifiziert, die für die detaillierte Bewegungsanalyse notwendig sind.

B. Merkmalsextraktion

• Audio-Merkmale: Statt handgefertigter Features (wie MFCC) wird ein vor-trainierter Audio-Encoder (Dasheng) verwendet. Dieser wird auf dem klinischen Datensatz feinabgestimmt (Fine-Tuning), um robuste Audio-Embeddings zu erzeugen.
• Visuelle Merkmale (Glottis-Segmentierung & Dynamik):
  • Zweistufige Segmentierung: Zuerst wird eine U-Net-Architektur zur groben Segmentierung der Glottis verwendet. Um False Positives (Segmentierung bei nicht sichtbarer Glottis) zu reduzieren, folgt eine Diffusion-basierte Verfeinerung (Diffusion Refinement). Dies nutzt die U-Net-Ausgabe als Prior für den Denoising-Prozess.
  • Stimmlippen-Dynamik (VFDyn): Anstatt nur den Glottisflächen-Wellenform (GAW) zu nutzen, wird die Winkelabweichung der linken und rechten Stimmlippe zur geschätzten Mittellinie berechnet. Dies geschieht durch eine quadratische Anpassung (Quadratic Fitting) der Stimmlippenkonturen. Daraus werden zwei neue Metriken abgeleitet: LVFDyn (links) und RVFDyn (rechts).

C. Multimodale Klassifikation (Backend)

• VFP-Erkennung: Audio-Embeddings (Dasheng) und die zeitlichen Serien der VFDyn-Metriken werden in einem ConvLSTM-Modell fusioniert, um zwischen gesunden Patienten und VFP zu unterscheiden.
• Unilaterale VFP-Diagnose (Links vs. Rechts): Das System vergleicht die Varianz der LVFDyn- und RVFDyn-Signale. Die gelähmte Seite zeigt während der Phonation weniger Aktivität (geringere Varianz), was eine Unterscheidung zwischen linker und rechter Lähmung ermöglicht.

3. Wichtige Beiträge

1. Erste Anwendung von Pre-trained Audio-Modellen: MLVAS ist das erste System, das ein vor-trainiertes Audio-Modell (Dasheng) für die Vorhersage von Stimmlippenlähmungen einsetzt, um das Problem kleiner klinischer Datensätze zu adressieren.
2. Multimodaler Ansatz: Die Kombination von Audio- und Videodaten verbessert die Diagnosegenauigkeit signifikant im Vergleich zu unimodalen Ansätzen.
3. Neue visuelle Metriken: Die Einführung von LVFDyn und RVFDyn ermöglicht erstmals eine präzise Unterscheidung zwischen links- und rechtsseitiger Lähmung, was mit herkömmlichen AGA-Metriken (Anterior Glottic Angle) schwierig war.
4. Automatisierte Vorverarbeitung: Das System eliminiert den manuellen Aufwand bei der Auswahl relevanter Videosegmente durch die Kombination von KWS, Objekterkennung und HSV-Analyse.
5. Verfeinerung durch Diffusion: Die Integration von Diffusionsmodellen zur Nachbearbeitung der U-Net-Segmentierung reduziert False Positives erheblich.

4. Ergebnisse

Die Evaluation erfolgte auf einem öffentlichen Segmentierungsdatensatz (BAGLS) und einem realen klinischen Datensatz (SYSU-A/B) des Sun Yat-sen Memorial Hospital.

• Segmentierung: Die Kombination aus U-Net und Diffusion-Refinement erreichte einen IoU (Intersection over Union) von 0,80 und reduzierte die False-Alarm-Rate (FAR) drastisch von 15,8 % (reines U-Net) auf 2,0 %.
• VFP-Erkennung (Binär): Das multimodale System erreichte eine F1-Score von 78,49 % und eine ROC-AUC von 85,47 %. Dies übertrifft state-of-the-art Baselines (wie SVM, RF, ResNet50 mit MFCC) und zeigt eine bessere Balance zwischen Sensitivität (88,63 %) und Spezifität.
• Einfluss der Module: Ablationsstudien zeigten, dass sowohl die quadratische Anpassung (QF) als auch die Diffusions-Verfeinerung (DR) die Leistung signifikant steigern (p < 0,05).
• Unilaterale Diagnose: Die Unterscheidung zwischen linker und rechter Lähmung erreichte eine Genauigkeit von 82,37 %.
• Statistische Signifikanz: Paarweise t-Tests bestätigten, dass die Verbesserungen durch die multimodale Fusion und die Verfeinerungsmodulen statistisch signifikant sind.

5. Bedeutung und Fazit

Das MLVAS-System stellt einen bedeutenden Fortschritt in der computergestützten Diagnostik von HNO-Erkrankungen dar.

• Klinische Relevanz: Es bietet Ärzten objektive, quantitative Metriken und Visualisierungen (GAW und VFDyn-Plots), die die Diagnose unterstützen und die Arbeitslast durch Automatisierung der Videosegmentauswahl verringern.
• Robustheit: Durch die Nutzung von Pre-trained Models und Diffusion-Techniken ist das System auch mit begrenzten klinischen Daten robust und generalisierbar.
• Präzision: Die Fähigkeit, nicht nur das Vorhandensein einer Lähmung, sondern auch deren Seite (links/rechts) zu bestimmen, ist ein entscheidender Schritt hin zu einer personalisierten Therapieplanung.

Zusammenfassend demonstriert das Paper, dass die Integration von moderner Audio-KI (Pre-training) und fortschrittlicher Bildverarbeitung (Diffusion, geometrische Anpassung) die Diagnosegenauigkeit bei Stimmlippenlähmungen signifikant steigern kann.