Respiratory Status Detection with Video Transformers

1. Problema e Motivação

A avaliação do status respiratório é uma habilidade clínica vital para identificar sinais precoces de deterioração, como o uso de músculos acessórios, retração da pele e dilatação nasal. No entanto, esses sinais são sutis e a detecção visual depende de anos de treinamento clínico.

• Desafio Técnico: Aplicações de visão computacional tradicionais têm dificuldade em detectar essas pequenas mudanças na mecânica respiratória devido a ruídos como movimento do paciente, posicionamento do corpo e variações de iluminação.
• Objetivo: Investigar se os avanços recentes em Transformers de vídeo podem permitir que sistemas de IA reconheçam esses sinais sutis de desconforto respiratório sem a necessidade de intervenção manual ou equipamentos invasivos.

2. Metodologia

2.1. Coleta de Dados e Construção do Dataset

• Cohorte: 52 participantes saudáveis (idosos de 18+ anos, nível de atividade intermediário/avançado) foram recrutados.
• Protocolo: Os participantes realizaram 5 minutos de exercício extenuante e gravaram 5 minutos de recuperação respiratória subsequente.
• Estratégia de Rotulagem: Em vez de usar rótulos absolutos (que seriam subjetivos), os autores criaram um desafio de ordenamento temporal. O vídeo foi dividido em clipes de 6 segundos.
  • Clipes iniciais da recuperação = Maior falta de ar (SOB - Shortness of Breath).
  • Clipes finais da recuperação = Estado basal (sem falta de ar).
  • O modelo deve prever qual de dois clipes aleatórios de um mesmo vídeo ocorreu primeiro (mais grave) ou depois (mais leve).

2.2. Arquitetura do Modelo

O estudo utilizou uma base ViViT (Video Vision Transformer) fatorada, com as seguintes modificações e estratégias:

• Codificação Posicional: Substituição dos Absolute Positional Embeddings (APEs) padrão por Lie Relative Encodings (LieRE). Os LieRE generalizam as rotações de posição (como RoPE) para coordenadas multidimensionais (x, y e tempo), permitindo uma representação espaço-temporal mais rica e reduzindo o overfitting.
• Pré-processamento de Entrada: Implementação de Motion-Guided Masking (MGM).
  • O fluxo óptico é calculado para determinar a magnitude do movimento em cada patch (bloco) do vídeo.
  • Apenas os 20% dos patches mais dinâmicos são mantidos; os demais são mascarados (preto).
  • Isso força o modelo a focar nas regiões de movimento relevante (respiração) e ignorar fundos estáticos ou variações de luz.
• Estratégia de Comparação: Foram testadas duas abordagens para comparar dois clipes:
  1. Dois Torres (Two-Tower) com Atenção Cruzada: Processa os clipes separadamente e usa atenção cruzada para compará-los.
  2. Comparação Baseada em Embeddings: Um único modelo codifica cada clipe em um vetor de embedding fixo. O modelo é treinado com supervisão fraca (rótulos proxy para "SOB" e "No SOB" baseados na posição no tempo) para minimizar a distância cosseno entre o embedding e protótipos de classe. Na inferência, a distância entre os vetores determina a classificação.

2.3. Configuração de Treinamento

• Hardware: Treinado em uma única GPU NVIDIA A100.
• Limites: Máximo de 5 épocas e <100 horas de treinamento por modelo para garantir comparabilidade computacional.
• Divisão de Dados: 49 participantes para treino/validação e 3 participantes (7 vídeos) mantidos estritamente para teste final (hold-out).

3. Resultados Principais

O desempenho foi avaliado principalmente pela pontuação F1 e precisão (Accuracy).

• Comparação de Estratégias:
  • A abordagem de Dois Torres com Atenção Cruzada teve desempenho inferior (F1 entre 0,58 e 0,69) e exigiu mais tempo de treinamento.
  • A abordagem de Comparação Baseada em Embeddings superou as outras, alcançando F1 de 0,75 na configuração base.
• Impacto das Melhorias (Augmentations):
  • Adicionar LieRE ao método de embeddings elevou o F1 para 0,77.
  • Adicionar MGM (juntamente com LieRE) resultou no melhor desempenho global: F1 de 0,81 e precisão de 67,5%.
• Análise de Sensibilidade:
  • A precisão do modelo correlacionou-se positivamente com a magnitude da diferença respiratória entre os clipes.
  • Quando a diferença temporal entre os clipes era pequena (sinais sutis), a precisão caiu para 55-65%.
  • Para diferenças maiores, a precisão subiu para quase 80%.

4. Contribuições Chave

1. Validação de Transformers de Vídeo: Demonstra que arquiteturas modernas (ViViT) conseguem capturar mudanças mecânicas respiratórias sutis, superando limitações históricas da visão computacional nessa tarefa.
2. Otimização de Arquitetura: Identifica que a combinação de LieRE (para melhor representação espaço-temporal) e MGM (para foco em movimento relevante) é crucial para tarefas de detecção de sinais sutis.
3. Estratégia de Comparação Eficiente: Estabelece que a comparação baseada em embeddings é mais eficiente e precisa do que abordagens complexas de dois torres para pares de vídeos de recuperação.
4. Abordagem Automatizada: O sistema opera sem recorte manual ou orientação clínica durante a gravação, o que é um passo importante para a escalabilidade em ambientes reais.

5. Significado e Limitações

• Significado: O estudo sugere que a IA pode auxiliar na monitorização contínua e passiva de pacientes de alto risco, detectando a descompensação respiratória antes que se torne crítica, potencialmente reduzindo custos operacionais e melhorando a segurança do paciente.
• Limitações:
  • Supervisão Implícita: Embora não tenha recorte manual, os participantes posicionaram as câmeras para manter o rosto e o tronco visíveis, o que não reflete totalmente um monitoramento passivo e contínuo em ambiente hospitalar.
  • Fator de Confusão (Suor): O modelo pode estar aprendendo a detectar suor (comum após exercício) como um proxy para falta de ar. Estudos futuros com dados de pacientes reais (doentes) são necessários para validar se o modelo detecta a patologia em si e não apenas artefatos de exercício.

Em conclusão, o trabalho prova o conceito de que a visão computacional baseada em Transformers pode ser treinada para detectar alterações sutis no status respiratório, abrindo caminho para sistemas de monitoramento automatizado em cenários clínicos.