Multimodal Laryngoscopic Video Analysis for Assisted Diagnosis of Vocal Fold Paralysis

Each language version is independently generated for its own context, not a direct translation.

Imagina que el sistema MLVAS es como un detective médico superpoderoso que tiene dos sentidos agudizados: uno para escuchar y otro para ver. Su misión es ayudar a los doctores a diagnosticar cuando una de las "cuerdas vocales" (esas dos tiras de músculo en la garganta que vibran para que hables) está paralizada y no se mueve bien.

Aquí te explico cómo funciona este sistema, usando analogías sencillas:

1. El Problema: Una película llena de "ruido"

Imagina que un doctor graba un video de la garganta de un paciente con una cámara diminuta. El problema es que la grabación es larga y desordenada:

Al principio, la cámara está buscando la garganta (pantalla negra o borrosa).
Luego, el paciente tose o traga saliva.
Solo en un momento breve, el paciente hace un sonido específico (como una "E" larga) y las cuerdas vocales vibran perfectamente.

Antes, el doctor tenía que ver todo el video manualmente, como si tuviera que buscar una aguja en un pajar, para encontrar esos segundos útiles. ¡Es muy cansado y lento!

2. La Solución: El Detective de Dos Sentidos (MLVAS)

El sistema MLVAS automatiza todo este proceso en tres pasos mágicos:

Paso A: El "Oído" que sabe lo que busca (Audio)

El sistema tiene un oído entrenado (llamado Keyword Spotting).

La analogía: Es como el asistente de voz de tu teléfono ("Oye Siri" o "Ok Google"), pero en lugar de buscar tu nombre, busca el sonido específico que hace el paciente para que las cuerdas vocales vibren (el sonido "E:/").
Qué hace: El sistema escucha la grabación y, en cuanto detecta ese sonido, le dice: "¡Eh, aquí empieza la parte interesante! Corta el video y guarda solo este trozo". Así, elimina todo el tiempo muerto.

Paso B: El "Ojo" que ve lo invisible (Video)

Una vez que tiene el trozo de video correcto, el sistema necesita ver las cuerdas vocales con claridad.

El problema: A veces, la cámara no está bien enfocada o hay zonas oscuras donde parece que hay cuerdas vocales pero no las hay (como ver fantasmas).
La solución (El "Refinador de Difusión"): El sistema usa una tecnología avanzada (como un artista que pinta sobre un boceto) para limpiar la imagen. Primero, dibuja un contorno rápido de las cuerdas (como un borrador), y luego usa un "pincel mágico" (difusión) para corregir los errores y borrar los "fantasmas".
El resultado: Ahora tiene una imagen perfecta y limpia de las cuerdas vocales moviéndose.

Paso C: El "Analista" que mide el baile (Análisis Multimodal)

Aquí es donde el sistema se vuelve un genio. No solo mira y escucha; compara.

La analogía: Imagina que las dos cuerdas vocales son dos bailarines. En una persona sana, bailan al unísono, moviéndose igual. En alguien con parálisis, un bailarín se queda quieto mientras el otro sigue bailando.
Lo que hace el sistema:
1. Escucha: Analiza la voz grabada para ver si suena "rota" o extraña.
2. Mira: Calcula el ángulo de movimiento de cada cuerda por separado (izquierda y derecha).
3. Compara: Si el sistema nota que la cuerda izquierda se mueve mucho y la derecha casi nada, grita: "¡Parálisis en la derecha!".

¿Por qué es tan especial?

No se equivoca con los "fantasmas": Gracias a su tecnología de "pincel mágico", evita decir que hay cuerdas vocales cuando no las hay, lo que antes confundía a los doctores.
Es un equipo: Combina lo que oye (la voz) con lo que ve (el movimiento). Si solo mirara el video, podría fallar; si solo escuchara, no sabría qué cuerda está mal. Juntos son infalibles.
Ahorra tiempo: En lugar de que el doctor pase 10 minutos buscando el momento exacto en el video, el sistema lo hace en segundos y le entrega un resumen claro.

En resumen

El MLVAS es como tener un asistente de enfermería robótico que:

Escucha la grabación y corta solo la parte donde el paciente habla.
Limpia la imagen para que se vea perfecto.
Mide cuánto se mueve cada cuerda vocal por separado.
Le dice al doctor: "El paciente tiene parálisis en la cuerda derecha, y aquí tienes los gráficos que lo demuestran".

Esto hace que el diagnóstico sea más rápido, más preciso y menos estresante tanto para el médico como para el paciente. ¡Es tecnología poniendo orden en el caos de los videos médicos!

Each language version is independently generated for its own context, not a direct translation.

Aquí tienes un resumen técnico detallado del artículo "Multimodal Laryngoscopic Video Analysis for Assisted Diagnosis of Vocal Fold Paralysis" en español:

Resumen Técnico: Sistema de Análisis Multimodal de Video Laringoscópico (MLVAS)

1. Problema y Contexto

La Parálisis de las Cuerdas Vocales (VFP, por sus siglas en inglés) es una condición que afecta la movilidad de las cuerdas vocales, causando problemas de voz, deglución y respiración. El diagnóstico clínico actual se basa en la estroboscopia laringe, una técnica que visualiza las vibraciones de las cuerdas vocales. Sin embargo, este proceso enfrenta varios desafíos:

Ineficiencia en el análisis: Los videos crudos de endoscopia contienen gran cantidad de información irrelevante (búsqueda del laringe, silencios) antes de los ciclos de fonación reales, lo que obliga a los médicos a realizar un etiquetado manual y selección de fotogramas, un proceso lento y subjetivo.
Limitaciones de los métodos existentes: La mayoría de los enfoques de IA actuales se basan en una sola modalidad (solo audio o solo video). Los métodos de audio a menudo carecen de información visual crítica para distinguir entre parálisis izquierda y derecha, mientras que los métodos visuales tradicionales a menudo fallan en videos crudos extensos, requieren segmentos pre-procesados y no pueden diferenciar la lateralidad de la parálisis.
Escasez de datos: La falta de conjuntos de datos clínicos grandes y públicos dificulta el entrenamiento de modelos de aprendizaje profundo sin sobreajuste.

2. Metodología Propuesta: MLVAS

El autores presentan el Sistema de Análisis Multimodal de Video Laringoscópico (MLVAS), un marco integral que combina procesamiento de audio y video para automatizar la extracción de segmentos clave y la detección de VFP. El sistema se divide en tres módulos principales:

A. Módulo Front-End: Extracción de Segmentos Clave
El objetivo es aislar automáticamente los ciclos de fonación completos y las secuencias estroboscópicas de los videos crudos.

Detección de Palabras Clave (KWS) en Audio: Se utiliza un modelo de KWS entrenado para detectar el sonido específico "/E:/" (el sonido que los pacientes hacen durante el examen). Esto permite identificar temporalmente los segmentos donde el paciente está vocalizando.
Detección Visual de la Glotis: Se emplea un modelo de detección de objetos (YOLO-v5) para confirmar la presencia de las cuerdas vocales en los segmentos de audio detectados.
Extracción de Secuencias Estroboscópicas: Se analiza el espacio de color HSV (Hue, Saturation, Value) de los fotogramas. Dado que los videos estroboscópicos tienen cambios rápidos de color, el sistema identifica los segmentos con mayor frecuencia de fluctuación de HSV, filtrando los fotogramas vacíos o irrelevantes.

B. Módulo de Extracción de Características

Características de Audio: Se utiliza un codificador de audio pre-entrenado (Dasheng), entrenado en grandes conjuntos de datos de habla y eventos sonoros. Este modelo se ajusta (fine-tuning) en el pequeño conjunto de datos clínico para extraer representaciones robustas de las patologías vocales.
Segmentación de Imagen Mejorada (Dos Etapas):
1. U-Net: Realiza una segmentación inicial de la máscara de la glotis.
2. Refinamiento Basado en Difusión: Para corregir los falsos positivos de U-Net (cuando no hay glotis visible), se aplica un modelo de difusión. A diferencia del ruido gaussiano estándar, este modelo inicia el proceso de difusión con un ruido personalizado basado en la máscara de U-Net, guiando al modelo a refinar los bordes y eliminar detecciones erróneas.
Extracción de Dinámica de las Cuerdas Vocales (VFDyn):
- Se introduce un algoritmo de ajuste cuadrático para calcular una línea media precisa de la glotis.
- Se calculan los ángulos de desviación de la cuerda vocal izquierda y derecha respecto a esta línea media.
- Se derivan dos métricas temporales: LVFDyn (Dinámica de la cuerda izquierda) y RVFDyn (Dinámica de la cuerda derecha). Estas métricas permiten cuantificar la actividad individual de cada cuerda.

C. Módulo Back-End: Clasificación Multimodal

Detección de VFP: Se fusionan las características de audio (codificador Dasheng) y las características visuales (series temporales de LVFDyn y RVFDyn) en un modelo ConvLSTM. Esto permite capturar tanto las características espaciales como temporales para clasificar si existe parálisis.
Detección de Lateralidad (UVFP): Para distinguir entre parálisis izquierda o derecha, el sistema compara la varianza de las series temporales LVFDyn y RVFDyn. El lado paralizado muestra menos actividad (menor varianza) durante la fonación.

3. Contribuciones Clave

Sistema Multimodal Integral: Primer sistema que integra KWS, detección de objetos, análisis de color HSV y modelos de difusión para procesar videos laringoscópicos crudos de extremo a extremo.
Aplicación de Modelos Pre-entrenados: Uso innovador del modelo de audio pre-entrenado Dasheng para la predicción de parálisis de cuerdas vocales, superando la escasez de datos clínicos.
Nuevas Métricas Visuales: Introducción de LVFDyn y RVFDyn basadas en el ajuste cuadrático, que permiten no solo detectar la parálisis, sino también determinar su lateralidad (izquierda vs. derecha), algo que los métodos anteriores (como el AGA) no lograban eficazmente.
Refinamiento con Difusión: Implementación de un paso de refinamiento basado en difusión para reducir drásticamente las tasas de falsos positivos en la segmentación de la glotis en imágenes sin glotis visible.

4. Resultados Experimentales

Los experimentos se realizaron en dos conjuntos de datos: BAGLS (segmentación pública) y SYSU (datos clínicos reales de parálisis).

Segmentación: La combinación de U-Net + Refinamiento por Difusión logró un IoU de 0.80 y redujo la Tasa de Falsas Alarmas (FAR) del 15.8% (solo U-Net) al 2.0%.
Detección de VFP (Binaria): El modelo multimodal (Audio + Video) alcanzó un F-score del 80.52% y un ROC-AUC del 87.04%, superando significativamente a los modelos basados solo en audio o solo en características manuales (MFCC). La prueba t pareada confirmó que las mejoras son estadísticamente significativas ( $p < 0.05$ ).
Detección de Lateralidad (UVFP): El sistema logró una precisión del 82.56% y un F-score del 82.44% para distinguir entre parálisis izquierda y derecha.
Análisis Visual: Las visualizaciones de las métricas VFDyn demostraron ser capaces de mostrar claramente la asimetría en el movimiento de las cuerdas vocales, proporcionando una herramienta interpretable para los clínicos.

5. Significado e Impacto

El MLVAS representa un avance significativo en la asistencia al diagnóstico de enfermedades laríngeas:

Eficiencia Clínica: Elimina la necesidad de revisión manual de horas de video, extrayendo automáticamente los "momentos destacados" relevantes.
Objetividad y Precisión: Proporciona métricas cuantitativas y objetivas, reduciendo la subjetividad del diagnóstico médico y el riesgo de errores.
Diagnóstico Específico: La capacidad de distinguir la lateralidad de la parálisis es crucial para planificar intervenciones quirúrgicas o médicas adecuadas.
Robustez: La integración de modalidades y el uso de modelos pre-entrenados hacen que el sistema sea robusto frente a la escasez de datos y las variaciones en la calidad del video clínico.

En conclusión, MLVAS ofrece una herramienta automatizada, precisa e interpretable que mejora el flujo de trabajo clínico y la calidad del diagnóstico de la parálisis de las cuerdas vocales.