RARE disease detection from Capsule Endoscopic Videos based on Vision Transformers

Resumo Técnico: Detecção de Doenças Raras em Vídeos de Endoscopia por Cápsula Baseada em Vision Transformers

1. Problema e Motivação
O trato gastrointestinal (GI) é um canal de aproximadamente 9 metros de comprimento, mas com um diâmetro estreito (cerca de 2 cm), o que torna o diagnóstico visual extremamente desafiador. A tecnologia atual de ponta utiliza a Endoscopia por Cápsula de Vídeo (VCE), onde o paciente engole uma cápsula com câmera que percorre todo o trato, gerando vídeos de cerca de 8 horas com aproximadamente 50.000 imagens (quadros).

Os principais desafios identificados são:

• Volume de Dados: A necessidade de inspecionar manualmente um número massivo de imagens.
• Qualidade da Imagem: As imagens da VCE possuem baixa resolução (aprox. 512x512 pixels) em comparação com endoscópios tradicionais (1900x2000 pixels) e sofrem com artefatos como desfoque, bolhas, especularidade e detritos alimentares.
• Complexidade da Tarefa: Diferente da classificação de imagem tradicional de rótulo único, esta tarefa exige classificação multi-rótulo. O modelo deve identificar simultaneamente:
  • Regiões Anatômicas: Boca, esôfago, estômago, intestino delgado, cólon, linha Z, piloro e válvula ileocecal.
  • Achados Patológicos: Sangramento ativo, angiectasia, sangue, erosão, eritema, hematina, linfangiectasia, pólipo e úlcera.
  • No total, são 17 classes distintas a serem classificadas.

2. Metodologia
A equipe MDXBrain (da Middlesex University, Londres) desenvolveu uma solução baseada em Transformadores de Visão (Vision Transformers - ViT) para a competição ICPR 2026 RARE-VISION.

• Arquitetura do Modelo:

  • Utilização de um modelo baseline baseado no Google Vision Transformer (ViT).
  • Configuração específica: ViT base16 com resolução de entrada de 224x224 pixels.
  • O modelo foi fine-tuned (ajustado finamente) para a tarefa de classificação multi-rótulo.

• Tratamento do Desequilíbrio de Classes (Class Imbalance):
  O conjunto de dados original apresentava um desequilíbrio extremo. Por exemplo, a classe "cólon" possuía mais de 1,8 milhão de amostras, enquanto "linha Z" tinha apenas 122. Para mitigar isso, foi empregada uma abordagem de subamostragem aleatória semi-supervisionada:

  • Priorização de Multi-rótulos: Imagens contendo múltiplos rótulos (especialmente 4 e 5 rótulos) foram incluídas integralmente no treinamento, pois são mais raras e informativas.
  • Seleção Aleatória: Para classes com grande volume de dados (1 a 3 rótulos compartilhados), foi realizada uma seleção aleatória para equilibrar o conjunto de dados.
  • Resultado da Amostragem: O objetivo foi atingir aproximadamente 3.000 imagens por classe para o treinamento e validação, criando um conjunto de dados mais balanceado para o aprendizado do modelo.

3. Contribuições Principais

• Aplicação de ViT em VCE: Adaptação bem-sucedida de arquiteturas Transformer (geralmente usadas em imagens de alta resolução) para vídeos de endoscopia por cápsula de baixa resolução e com ruído.
• Estratégia de Balanceamento de Dados: Desenvolvimento de um método sistemático de subamostragem que prioriza a complexidade das imagens (número de rótulos simultâneos) em vez de apenas o volume bruto de dados, abordando a escassez de exemplos de doenças raras e regiões anatômicas específicas.
• Pipeline Multi-rótulo: Implementação de um modelo capaz de detectar simultaneamente anatomia e patologia, essencial para o suporte à decisão clínica.

4. Resultados
O desempenho foi avaliado em um conjunto de teste composto por três vídeos de endoscopia. As métricas principais foram o mean Average Precision (mAP) em diferentes níveis de IoU (Interseção sobre União).

• mAP @ 0.5 (Geral): 0,0205
• mAP @ 0.95 (Geral): 0,0196

Desempenho por Vídeo de Teste (Tabela 3):

• Vídeo 001: mAP @ 0.5 = 0,0596 | mAP @ 0.95 = 0,0589 (Melhor desempenho).
• Vídeo 002: mAP @ 0.5 = 0,0018 | mAP @ 0.95 = 0,0001.
• Vídeo 003: mAP @ 0.5 = 0,0001 | mAP @ 0.95 = 0.0000.

Nota: Os resultados indicam que o modelo teve desempenho variável, com um vídeo apresentando resultados significativamente melhores que os outros dois, sugerindo desafios na generalização para diferentes condições de gravação ou qualidade de imagem.

5. Significado e Conclusão
Este trabalho representa um passo inicial na aplicação de tecnologias de IA avançadas (Transformadores) para auxiliar no diagnóstico de doenças gastrointestinais raras a partir de vídeos de cápsula. Embora os resultados quantitativos (mAP) sejam baixos, o estudo destaca a complexidade inerente ao problema: a baixa resolução, os artefatos visuais e o desequilíbrio massivo de dados.

A principal relevância do estudo reside na proposta metodológica para lidar com dados desbalanceados em cenários médicos críticos e na demonstração da viabilidade de usar ViTs para tarefas de classificação multi-rótulo em endoscopia. O trabalho estabelece uma base para futuras pesquisas que busquem melhorar a robustez do modelo, possivelmente através de pré-processamento de imagem mais avançado, aumento de dados ou arquiteturas específicas para vídeo, visando tornar a detecção automatizada de doenças raras uma ferramenta clínica prática.