Multimodal Laryngoscopic Video Analysis for Assisted Diagnosis of Vocal Fold Paralysis

Este artigo apresenta o MLVAS, um sistema multimodal que integra análise de vídeo e áudio para extrair automaticamente segmentos-chave e métricas de videolaringoscopia, visando auxiliar no diagnóstico clínico da paralisia das pregas vocais.

O essencial

Imagine que o seu médico precisa examinar as suas cordas vocais (aquelas "fitas" na garganta que vibram para você falar) para ver se elas estão paralisadas. Normalmente, ele usa uma câmera especial que grava um vídeo da sua garganta enquanto você faz um som específico.

O problema é que esses vídeos são longos, bagunçados e cheios de "lixo": momentos em que a câmera está procurando a garganta, momentos de silêncio, ou trechos onde a imagem está tremida. O médico teria que assistir a horas de vídeo, minuto por minuto, para achar os segundos importantes. É cansativo e propenso a erros.

É aqui que entra o MLVAS, o sistema inteligente criado pelos autores deste artigo. Pense nele como um "Detetive Multimodal" que combina dois sentidos para ajudar o médico: Ouvir e Ver.

Aqui está como funciona, passo a passo, usando analogias simples:

1. O Ouvido Atento (A Busca pelo Som Certo)

Imagine que você está em uma festa barulhenta e precisa encontrar alguém que está cantando uma música específica. O sistema faz a mesma coisa com o áudio do vídeo.

• O Truque: Os pacientes são instruídos a fazer um som específico (como um "Eeeeee" longo).
• A Ação: O sistema usa uma tecnologia chamada "Keyword Spotting" (como quando você diz "Ok Google" para o celular acordar). Ele ignora todo o barulho de fundo, a respiração ou a câmera ajustando o foco, e só "liga" quando ouve exatamente aquele som do paciente.
• Resultado: Ele corta automaticamente as partes inúteis do vídeo e deixa apenas os momentos em que o paciente está realmente falando. É como um editor de vídeo automático que só guarda os melhores takes.

2. O Olho Especialista (Enxergando o Invisível)

Agora que temos o áudio certo, o sistema precisa ver as cordas vocais se movendo. Mas às vezes, a imagem está escura ou confusa.

• O Problema: Às vezes, o sistema acha que viu uma corda vocal quando na verdade não havia nada ali (um "falso alarme").
• A Solução Mágica: O sistema usa duas ferramentas em sequência:
  1. O Rascunho (U-Net): É como um esboço rápido feito por um artista. Ele tenta desenhar a forma da corda vocal.
  2. O Refinamento (Modelo de Difusão): Imagine que o esboço tem borrões. O sistema de "difusão" é como um artista experiente que pega esse esboço e usa "ruído controlado" para apagar os erros e deixar a imagem nítida. Ele sabe exatamente onde a corda vocal não deve estar e corrige o desenho.
• Resultado: Uma máscara perfeita e limpa das cordas vocais, sem erros.

3. A Análise de Movimento (Medindo o "Balanço")

Com a imagem limpa, o sistema precisa saber se a corda vocal está paralisada.

• A Analogia do Balanço: Imagine duas crianças balançando em um balanço duplo. Se uma está paralisada, ela fica parada enquanto a outra se mexe.
• A Medida: O sistema desenha uma linha imaginária no meio da garganta (o "meio") e mede o ângulo que cada corda vocal faz em relação a essa linha.
• A Descoberta: Ele calcula a "variação" do movimento. Se o lado esquerdo se mexe muito e o direito quase nada, o sistema sabe: "O lado direito está paralisado!". Isso é crucial porque permite dizer qual lado está doente, algo que métodos antigos tinham dificuldade em fazer.

4. O Casal Perfeito (Áudio + Vídeo)

O grande segredo do MLVAS é que ele não confia em apenas um sentido.

• Sozinho: O áudio diz "a voz está estranha". O vídeo diz "a corda parece parada".
• Juntos: Quando o sistema combina o som da voz (que foi processado por uma inteligência artificial treinada em milhões de áudios) com a imagem precisa do movimento, ele acerta muito mais. É como ter um médico que ouve a voz e vê a garganta ao mesmo tempo, em vez de ter que escolher entre um ou outro.

Por que isso é importante?

1. Economia de Tempo: O médico não precisa assistir a 10 minutos de vídeo chato. O sistema entrega os 30 segundos importantes.
2. Precisão: Ele não se confunde com imagens ruins e consegue dizer exatamente se é o lado esquerdo ou direito que está paralisado.
3. Objetividade: Em vez de depender apenas da "intuição" do médico (que pode variar de um profissional para outro), o sistema dá números e gráficos claros, como um "relatório de saúde" das cordas vocais.

Em resumo: O MLVAS é como um assistente robótico superinteligente que filtra o ruído, limpa a imagem, mede o movimento com precisão milimétrica e diz ao médico: "Olhe aqui, o lado direito está com problemas". Isso torna o diagnóstico mais rápido, mais justo e mais preciso para os pacientes.

Resumo técnico

Título: Análise Multimodal de Vídeo Laringoscópico para Diagnóstico Assistido de Paralisia das Cordas Vocais

1. Problema e Contexto

A Paralisia das Cordas Vocais (VFP) é uma condição onde uma das cordas vocais falha em se mover adequadamente, causando alterações na voz, dificuldade de deglutição e problemas respiratórios. O diagnóstico clínico padrão utiliza a videolaringoscopia estroboscópica, que permite visualizar a vibração rápida das cordas vocais em câmera lenta.

No entanto, existem desafios significativos na prática clínica atual:

• Dados Brutos Ineficientes: As gravações endoscópicas contêm muitas informações inúteis (ex: tempo antes da visualização das cordas, movimentos de ajuste do endoscópio), exigindo que os médicos realizem uma seleção e marcação manual de quadros, o que é demorado.
• Diagnóstico Subjetivo: A análise depende fortemente da experiência do especialista, podendo levar a inconsistências e ansiedade no paciente.
• Limitações de Métodos Atuais: Abordagens existentes geralmente utilizam apenas uma modalidade (áudio ou vídeo) ou focam apenas em métricas globais (como o ângulo glótico anterior), falhando em distinguir entre paralisia à esquerda ou à direita. Além disso, a escassez de dados clínicos rotulados dificulta o treinamento de modelos de deep learning.

2. Metodologia: Sistema MLVAS

Os autores propõem o Sistema de Análise de Vídeo Laringoscópico Multimodal (MLVAS), um framework que integra processamento de áudio e vídeo para automatizar a extração de segmentos chave e a detecção de VFP.

O sistema é dividido em três módulos principais:

A. Módulo de Extração de Segmentos Chave (Front-end)
O objetivo é filtrar o vídeo bruto para encontrar apenas os ciclos de fonação completos e visíveis.

1. Keyword Spotting (KWS) de Áudio: Um modelo baseado em ResNet processa espectrogramas (STFT) para detectar a fonação do fonema "/i:/" (que soa como "/E:/" devido a restrições físicas durante o procedimento). Isso identifica os segmentos onde o paciente está vocalizando.
2. Detecção de Cordas Vocais (Vídeo): Um modelo YOLO-v5 é treinado no conjunto de dados BAGLS para detectar a presença das cordas vocais e da glote nos quadros de vídeo, refinando os segmentos selecionados pelo áudio.
3. Extração de Estroboscopia: Utiliza análise de espaço de cor HSV (Matiz, Saturação, Valor) para identificar sequências estroboscópicas. O sistema detecta variações rápidas de cor e elimina quadros vazios (brancos), selecionando o segmento com maior frequência de flutuação de HSV.

B. Extração de Características (Feature Extraction)

1. Características de Áudio: Utiliza um encoder pré-treinado (Dasheng), treinado em grandes conjuntos de dados de fala e áudio, para codificar os segmentos de voz. O modelo é ajustado (fine-tuned) no conjunto de dados clínico para extrair embeddings robustos.
2. Segmentação da Glote (Imagem):
   • Estágio 1 (U-Net): Uma rede U-Net realiza a segmentação inicial da glote.
   • Estágio 2 (Refinamento por Difusão): Para corrigir falsos positivos (segmentação quando a glote não está visível), um modelo de difusão refina a máscara gerada pelo U-Net. Diferente do processo padrão, o ruído inicial é personalizado com base na máscara do U-Net para guiar a geração.
3. Dinâmica das Cordas Vocais (VFDyn):
   • A partir das máscaras refinadas, o sistema calcula o desvio angular de cada corda vocal em relação a uma linha mediana estimada.
   • Utiliza ajuste quadrático (Quadratic Fitting) para refinar a linha mediana e calcular os ângulos de desvio para a corda esquerda (LVFDyn) e direita (RVFDyn) separadamente.

C. Módulo de Classificação Multimodal (Back-end)

• Um modelo ConvLSTM processa as séries temporais das características visuais (LVFDyn e RVFDyn).
• As características de áudio (do encoder Dasheng) e as características visuais são concatenadas.
• Uma camada de classificação final prediz a presença de VFP.
• Para distinguir paralisia unilateral (UVFP), o sistema compara a variância das séries temporais LVFDyn e RVFDyn: o lado paralisado apresenta menor variância (menos movimento).

3. Principais Contribuições

1. Sistema Multimodal Automatizado: Primeiro sistema a integrar detecção de palavras-chave em áudio e visão computacional para extrair automaticamente ciclos de fonação completos de vídeos laringoscópicos brutos, eliminando a necessidade de pré-edição manual.
2. Aplicação de Modelos Pré-treinados em Áudio: Uso inovador do encoder Dasheng (pré-treinado em larga escala) para a detecção de paralisia de cordas vocais, superando a escassez de dados clínicos.
3. Refinamento de Segmentação por Difusão: Introdução de um pipeline de dois estágios (U-Net + Difusão) que reduz significativamente os falsos positivos na segmentação da glote, melhorando a precisão das métricas subsequentes.
4. Métricas de Dinâmica Lateral (LVFDyn/RVFDyn): Desenvolvimento de métricas visuais que permitem não apenas detectar a paralisia, mas também distinguir especificamente entre paralisia à esquerda e à direita, algo que métodos anteriores (baseados apenas em métricas globais) não conseguiam fazer com precisão.

4. Resultados Experimentais

Os experimentos foram conduzidos em dois conjuntos de dados: BAGLS (segmentação pública) e SYSU (dados clínicos reais da Universidade de Sun Yat-sen).

• Segmentação: A combinação U-Net + Refinamento por Difusão alcançou um IoU (Interseção sobre União) de 0.80 e reduziu a Taxa de Falsos Alarmes (FAR) de 15,8% (U-Net puro) para 2,0%.
• Detecção de VFP (Bilateral):
  • O modelo multimodal (Áudio + Vídeo) alcançou um F-score de 80,52% e uma ROC-AUC de 87,04%.
  • Superou significativamente métodos baseados apenas em áudio ou apenas em vídeo, e também superou modelos tradicionais (SVM, RF, MLP) e redes profundas sem pré-treinamento.
  • Testes de significância estatística (t-test pareado) confirmaram que as melhorias foram estatisticamente significativas (p < 0,05).
• Detecção de Paralisia Unilateral (UVFP):
  • Ao comparar a variância das dinâmicas esquerda e direita, o sistema alcançou uma acurácia de 82,37% na distinção entre paralisia esquerda e direita.
  • A visualização das métricas (GAW e VFDyn) mostrou-se clinicamente útil para identificar qual lado está paralisado, validada por especialistas.

5. Significado e Conclusão

O MLVAS representa um avanço significativo na telemedicina e no diagnóstico assistido por computador de doenças laríngeas. Ao automatizar a seleção de vídeos relevantes e fornecer métricas objetivas e interpretáveis (como os gráficos de dinâmica das cordas vocais), o sistema reduz a carga de trabalho dos médicos e aumenta a objetividade do diagnóstico.

A capacidade de distinguir entre paralisia à esquerda e à direita é particularmente valiosa para o planejamento cirúrgico e tratamento. Além disso, a abordagem de usar modelos pré-treinados e técnicas de difusão oferece um caminho promissor para lidar com a escassez de dados médicos rotulados, estabelecendo um novo padrão para análise multimodal em otorrinolaringologia.