Differential Attention-Augmented BiomedCLIP with Asymmetric Focal Optimization for Imbalanced Multi-Label Video Capsule Endoscopy Classification

Resumo Técnico: Classificação Multimodal de Endoscopia por Cápsula de Vídeo com Atenção Diferencial e Otimização Assimétrica

Título Original: Differential Attention-Augmented BiomedCLIP with Asymmetric Focal Optimization for Imbalanced Multi-Label Video Capsule Endoscopy Classification
Equipe: MINDH Lab (IIT Hyderabad)
Contexto: Desafio ICPR RARE-VISION 2026

1. O Problema

A endoscopia por cápsula de vídeo (VCE) é uma técnica não invasiva crucial para visualizar o trato gastrointestinal, especialmente o intestino delgado. No entanto, gera volumes massivos de dados (50.000 a 130.000 quadros por exame), tornando a revisão manual exaustiva e propensa a erros.
O desafio central abordado neste trabalho é a extrema desequilíbrio de classes no conjunto de dados Galar. Enquanto regiões anatômicas (estômago, intestino delgado, cólon) dominam os quadros, achados patológicos críticos (como sangramento ativo, angiectasia, erosão e úlcera) são extremamente raros, constituindo menos de 0,1% dos quadros anotados.

• Desafio Estatístico: Rácios positivo/negativo podem exceder 1:3.000 para certas classes (ex.: sangramento ativo).
• Falha de Modelos Padrão: Otimização com cross-entropy padrão leva a modelos que atingem alta precisão global ao prever trivialmente a classe majoritária, falhando completamente em detectar eventos raros e clinicamente significativos.

2. Metodologia Proposta

A equipe MINDH Lab propôs um pipeline de quatro estágios baseado no modelo fundacional BiomedCLIP, modificado para lidar com ruído de atenção e desequilíbrio de classes.

A. Arquitetura: BiomedCLIP com Atenção Diferencial

• Base: Utilização do BiomedCLIP (ViT-B/16 + PubMedBERT), pré-treinado em 15 milhões de pares imagem-texto biomédicos.
• Inovação (Atenção Diferencial): Substituição da atenção multi-head padrão por um mecanismo de Atenção Diferencial.
  • Os heads de atenção são divididos em dois grupos.
  • O mapa de atenção é calculado como a diferença entre duas distribuições softmax: $DiffAttn = Softmax(Q_1K_1^T) - \lambda \cdot Softmax(Q_2K_2^T)$.
  • Objetivo: Subtrair padrões de ruído de "modo comum" (mapas de atenção uniformes ou de baixo rank) para amplificar sinais espaciais raros, mas diagnosticamente relevantes, nas mucosas.
• Caminhos de Saída:
  1. Caminho de Classificação: Passa por um bloco de excitação (inspirado em Squeeze-and-Excitation) e uma camada linear para 17 classes.
  2. Caminho Contrastivo: Alinha as características da imagem com embeddings de texto congelados (prompts clínicos do PubMedBERT) para aprendizado de contraste.

B. Estratégia de Desequilíbrio de Classes (Multi-nível)
Para combater a escassez de dados patológicos, foram aplicadas estratégias em quatro níveis:

1. Amostragem: Sampler ponderado por frequência raiz quadrada ($1/\sqrt{f_c}$), fornecendo oversampling moderado de classes raras sem a instabilidade de pesos lineares inversos.
2. Função de Perda: Focal Loss Assimétrica ($\gamma^+=1, \gamma^-=4$), que penaliza agressivamente previsões negativas "fáceis" (majoritárias) enquanto preserva o fluxo de gradiente para exemplos positivos.
3. Regularização: Uso de Mixup ($\alpha=0.3$), Label Smoothing ($\epsilon=0.05$) e aumento de dados agressivo (rotação, jitter de cor, erasure aleatório).
4. Otimização: Uso de Exponential Moving Average (EMA) dos parâmetros para inferência e ajuste de limiares (thresholds) por classe no conjunto de validação.

C. Pós-Processamento Temporal
Para converter previsões de quadro para eventos temporais:

• Aplicação de um filtro mediano (janela $w=7$) para suprimir falsos positivos isolados.
• Fusão de Lacunas: Preenchimento de lacunas de até 5 quadros entre eventos da mesma classe, refletindo a persistência clínica de achados patológicos.
• Remoção de eventos com duração inferior a 3 quadros.

3. Resultados

O modelo foi avaliado no conjunto de teste held-out do RARE-VISION (3 exames NaviCam, ~161.025 quadros).

• Métricas Principais:
  • mAP Temporal @ 0.5: 0.2456
  • mAP Temporal @ 0.95: 0.2353
  • Tempo de Inferência: ~8,6 minutos para todo o conjunto de teste em uma única GPU (RTX PRO 6000).
• Desempenho por Classe:
  • Alta Performance: Regiões anatômicas com continuidade temporal (Estômago, Intestino Delgado, Cólon) atingiram AP > 0.84.
  • Desafio Persistente: Classes extremamente raras (sangramento ativo, eritema, hematina) com menos de 200 quadros de treino apresentaram AP < 0.03, indicando que a escassez de dados e a ambiguidade visual ainda são barreiras significativas.
• Dinâmica de Treino: O uso de regularização evitou o overfitting severo observado em experimentos preliminares, mantendo a divergência entre perda de treino e validação controlada.

4. Contribuições Chave

1. Mecanismo de Atenção Diferencial: Adaptação inovadora do BiomedCLIP para suprimir ruído de atenção e focar em características patológicas sutis, superando a atenção padrão em cenários de baixa frequência.
2. Estratégia de Otimização Assimétrica: Combinação eficaz de amostragem ponderada, Focal Loss assimétrico e calibração de limiares por classe para lidar com desequilíbrios extremos (1:3000).
3. Pipeline Temporal Robusto: Integração de suavização temporal e fusão de lacunas que melhora a precisão da localização temporal dos eventos, evidenciada pela pequena diferença entre mAP@0.5 e mAP@0.95.
4. Reprodutibilidade: Código completo, pesos do modelo e logs disponíveis publicamente no repositório GitHub da equipe.

5. Significância e Limitações

• Significância: O trabalho demonstra que a combinação de modelos fundacionais biomédicos com mecanismos de atenção diferenciada e estratégias de otimização específicas para desequilíbrio pode melhorar a detecção de eventos raros em VCE, reduzindo a carga de trabalho dos gastroenterologistas. A precisão temporal (gap estreito entre mAP@0.5 e mAP@0.95) sugere que o sistema localiza bem os limites dos eventos quando os detecta.
• Limitações:
  • Classes Ultra-Raras: Classes com menos de 200 quadros de treino (ex.: sangramento ativo, z-line) continuam com desempenho muito baixo, sugerindo que a arquitetura atual ainda não consegue extrair representações robustas de sinais visuais tão esparsos e ambíguos.
  • Desvio de Domínio: Diferenças na resolução e características de imagem entre os dados de treino (Olympus, PillCam) e teste (NaviCam) podem impactar a generalização.
• Trabalho Futuro: Sugere-se a incorporação de modelagem temporal explícita (ex.: módulos baseados em RNN ou Transformers sequenciais) para aproveitar o contexto de persistência temporal dos eventos patológicos, algo que classificadores de quadro único não exploram totalmente.