Diabetic Retinopathy Grading with CLIP-based Ranking-Aware Adaptation:A Comparative Study on Fundus Image

1. Problema e Contexto

A Retinopatia Diabética (RD) é uma complicação microvascular progressiva da diabetes e uma das principais causas de cegueira evitável no mundo. O diagnóstico precoce e a classificação precisa da gravidade da RD (de "Sem RD" a "RD Proliferativa") são cruciais para intervenções clínicas. No entanto, a graduação manual por oftalmologistas é cara, demorada e sujeita a variabilidade entre leitores.

O desafio central abordado neste trabalho é adaptar modelos de fundação visão-linguagem, especificamente o CLIP (Contrastive Language-Image Pre-training), para a classificação médica especializada. O CLIP possui capacidades de transferência zero-shot (sem treinamento específico), mas enfrenta dificuldades em tarefas médicas devido a:

• Diferenças sutis entre classes (graus adjacentes de RD).
• Distribuições de classes altamente desbalanceadas (poucos casos graves em comparação com casos leves ou normais).
• A natureza ordinal da progressão da doença (os graus seguem uma ordem de severidade).

2. Metodologia

Os autores investigam e comparam três abordagens baseadas no CLIP para a graduação de RD em cinco classes, utilizando um conjunto de dados combinado de APTOS 2019 e Messidor-2 (totalizando 5.406 imagens).

Abordagens Propostas:

1. Baseline Zero-Shot (CLIP Puro):

   • Utiliza o encoder de imagem do CLIP (baseado em ResNet) sem treinamento específico.
   • Empregam prompt engineering (engenharia de prompts) para descrever cada grau de RD em texto (ex: "uma fotografia de fundo de olho mostrando retinopatia diabética leve").
   • A classificação é feita pela maior similaridade de cosseno entre o embedding da imagem e os embeddings de texto dos prompts.

2. Modelo Híbrido FCN-CLIP com Atenção CBAM:

   • Um pipeline de classificação supervisionada que congela o encoder de imagem do CLIP para extrair mapas de características.
   • Esses mapas são processados por um decodificador de Rede Neural Convolucional Totalmente Convolucional (FCN).
   • Inovação: Módulos de atenção CBAM (Convolutional Block Attention Module) são inseridos para direcionar o foco do modelo para regiões de lesões clinicamente relevantes (microaneurismas, hemorragias, exsudatos), melhorando a localização.
   • Treinado com perda de entropia cruzada ponderada e focal loss para lidar com o desbalanceamento.

3. Modelo de Prompting Consciente de Ranking (Ranking-Aware):

   • Introduz vetores de prompt aprendíveis para cada grau de RD.
   • Inovação: O modelo é treinado para respeitar a estrutura ordinal da doença. A função de perda combina a entropia cruzada com uma perda de ranking, garantindo que a similaridade entre a imagem e o texto do grau correto seja a maior, e que graus mais severos tenham pontuação maior que graus menos severos.
   • Utiliza calibração de limiar (thresholding) específica por classe para otimizar a sensibilidade em classes minoritárias.

Estratégias de Pré-processamento e Treinamento:

• Combinação de Dados: APTOS 2019 e Messidor-2 foram fundidos para maximizar a representação de classes minoritárias.
• Tratamento de Desbalanceamento:
  • Resampling: Subamostragem da classe majoritária e sobreamostragem das classes minoritárias para criar um conjunto de treinamento mais equilibrado.
  • Aumento de Dados: Técnicas padrão (rotação, espelhamento) aplicadas a todas as classes, com aumento mais agressivo (maior probabilidade de espelhamento, random erasing) para as classes minoritárias.
• Avaliação: Divisão estratificada 70/15/15% (Treino/Validação/Teste) sem sobreposição de pacientes.

3. Contribuições Principais

1. Comparação Controlada: Uma análise sistemática de estratégias zero-shot, supervisionadas e de aprendizado de prompts baseadas no CLIP sob condições de dados e avaliação idênticas.
2. Análise de Forças Complementares: Demonstração de que os modelos ajustados possuem trade-offs distintos de precisão-recall, sugerindo que um ensemble (combinação) poderia ser ideal.
3. Estratégias Práticas de Mitigação: Validação da eficácia da combinação de resampling e calibração de limiar para lidar com o desbalanceamento crítico em dados de RD.

4. Resultados

Os experimentos foram realizados em um conjunto de teste mantido (held-out).

• Desempenho Geral:

  • Modelo Ranking-Aware: Alcançou a maior acurácia geral (93,42%) e um AUROC de 0,9845.
  • Modelo Híbrido FCN-CLIP: Alcançou 92,49% de acurácia e AUROC de 0,99.
  • Baseline Zero-Shot: Desempenho significativamente inferior, com apenas 55,17% de acurácia e AUROC de 0,75.

• Desempenho por Classe e Erros:

  • O modelo Ranking-Aware destacou-se na Recall de casos graves (83% para RD Grave e 88% para RD Leve), sendo crucial para triagem onde não se pode perder casos sérios.
  • O modelo Híbrido FCN-CLIP superou significativamente os outros na detecção de RD Proliferativa (Recall de 74% vs. 50% do modelo Ranking-Aware), a classe mais crítica para prevenir cegueira.
  • O modelo Ranking-Aware reduziu drasticamente erros graves (classificações erradas por 2 ou mais graus), caindo de 10% (Zero-Shot) para apenas 2%.

• Análise de Mapas de Atenção:

  • O modelo Zero-Shot mostrou atenção difusa focada em características anatômicas grossas (disco óptico, vasos).
  • O modelo Híbrido com CBAM concentrou a atenção corretamente nas microlesões (microaneurismas, hemorragias), explicando sua superioridade em distinguir graus adjacentes.

5. Significado e Implicações

• Adaptação de Domínio é Essencial: O estudo prova que o uso "caixa-preta" do CLIP (zero-shot) é insuficiente para graduação médica precisa; a adaptação específica ao domínio (via fine-tuning ou aprendizado de prompts) é obrigatória.
• Complementaridade Clínica:
  • O modelo Ranking-Aware é ideal para triagem populacional devido à sua alta sensibilidade (recall) em casos graves e severos, minimizando falsos negativos.
  • O modelo Híbrido FCN-CLIP é mais adequado para contextos de confirmação devido à sua alta precisão e capacidade de localizar lesões específicas, reduzindo falsos positivos.
• Futuro: Os autores sugerem que um sistema em ensemble combinando ambas as abordagens poderia oferecer o melhor desempenho clínico. Também destacam a necessidade de validação prospectiva em cenários clínicos reais e a redução de custos computacionais para implementação em hardware com recursos limitados.

Em suma, o trabalho oferece um roteiro robusto para a aplicação de modelos de fundação visão-linguagem em oftalmologia, equilibrando inovação arquitetural com estratégias práticas de engenharia de dados para resolver desafios clínicos reais.