Resumo Técnico: Transferência de Representação de Modelos de Fundação para Imagem de Retina de Campo Ultra-Amplo

Definição do Problema

A aplicação de modelos de fundação a imagens de retina de campo ultra-amplo (UWF) enfrenta dois desafios primários. Primeiro, as imagens UWF (ex: Optomap) possuem alta resolução espacial (frequentemente 4000×4000 pixels) e um grande campo de visão (até 200°), o que frequentemente exige um subamostragem (downsampling) agressiva para caber nos inputs padrão de aprendizado profundo (ex: 224×224). Esse downsampling corre o risco de descartar microlesões clinicamente relevantes, como microaneurismas ou pequenos tumores. Segundo, embora os modelos de fundação tenham se tornado extratores de características padrão na imagem médica, permanece incerto como diferentes estratégias de pré-treinamento (supervisionado, baseado em reconstrução e autodestilação) influenciam a transferibilidade das representações aprendidas para tarefas oftalmológicas fracamente supervisionadas. Especificamente, há uma falta de compreensão sobre como essas representações interagem com mecanismos de agregação baseados em patches quando aplicadas a dados de retina UWF de alta resolução.

Metodologia

Os autores propõem um framework de avaliação controlado usando Aprendizado de Múltiplas Instâncias (MIL - Multiple Instance Learning) para abordar o desafio da resolução e investigar a transferência de representação.

1. Framework de MIL Baseado em Patches

Em vez de comprimir toda a imagem UWF em um único embedding global, o framework trata cada imagem como uma "sacola" (bag) de pequenos patches (instâncias).

• Processamento de Input: As imagens UWF são redimensionadas para 1024×1024 e divididas em uma grade de 5×5 de patches sobrepostos de 224×224 (25 instâncias por sacola).
• Extração de Características: Um codificador Vision Transformer (ViT) pré-treinado e congelado processa cada patch independentemente para gerar embeddings de nível de patch. Embeddings posicionais representando a localização do patch dentro da grade são adicionados após a extração.
• Agregação: Um módulo MIL baseado em atenção agrega as características dos patches usando pesos de atenção aprendíveis para produzir uma única representação de nível de imagem para classificação.
• Protocolo de Treinamento: Nos experimentos primários, o codificador de características é congelado. Apenas o módulo MIL baseado em atenção e o classificador final são treinados. Esta configuração isola a qualidade das representações pré-treinadas.

2. Datasets e Tarefas

O framework foi avaliado em três tarefas de downstream:

• Graduação de Retinopatia Diabética (DR) de Cinco Classes: Usando o dataset MMRDR (10.044 imagens UWF) com classes variando de ausência de DR até DR proliferativa.
• Classificação Binária de DR: Usando o dataset DeepDRiD (DR não referível vs. referível).
• Classificação de Tumor Intraocular: Usando um dataset de 1.200 imagens UWF balanceadas (saudável vs. tumor).

3. Modelos Comparados

O estudo comparou vários codificadores ViT mantendo a arquitetura de MIL de downstream constante:

• ViT-B Controlado Pré-treinado no ImageNet:
  • Supervisionado: Treinado com perda de classificação.
  • MAE (Autoencoder Mascarado): Treinado com perda de reconstrução.
  • DINOv1: Treinado com autodestilação.
• Modelo Contemporâneo de Larga Escala:
  • DINOv3: Pré-treinado em um dataset massivo (LVD-168K) usando autodestilação.
• Modelo de Domínio Específico:
  • ViT-MAE (AlzEye): Um modelo ViT-S pré-treinado em ~100k imagens UWF não rotuladas usando MAE.
• Baselines: ResNet-18 e ResNet-50 pré-treinados no ImageNet.

4. Análises Adicionais

• Estratégias de Representação: Comparou o redimensionamento global versus estratégias baseadas em patches (pooling de média, máximo e atenção).
• Visualização de Atenção: Gerou mapas de calor para analisar como o módulo MIL agrega informações de diferentes regiões retinianas.
• Fine-Tuning Parcial: Avaliou se o descongelamento do último bloco do codificador poderia melhorar o desempenho para representações congeladas mais fracas.

Principais Resultados

1. Impacto da Estratégia de Representação

Abordagens baseadas em patches superaram significativamente o redimensionamento global.

• O Pooling de Atenção alcançou o melhor desempenho (QWK = 0,8621), superando o pooling de média (QWK = 0,8358) e o redimensionamento global (QWK = 0,7999).
• O pooling de máximo teve o pior desempenho (QWK = 0,7895), sugerindo que a gravidade da DR não é definida por uma única região saliente, mas pela distribuição cumulativa das lesões.

2. Estratégia de Pré-treinamento e Transferibilidade

Na comparação controlada de codificadores ViT-B congelados pré-treinados no ImageNet:

• Objetivos discriminativos (Supervisionado e Autodestilação) superaram consistentemente os objetivos de reconstrução (MAE).
• O ViT-DINOv3 alcançou o melhor desempenho geral (QWK = 0,8629 ± 0,0102), superando marginalmente o DINOv1 e significativamente o MAE (QWK = 0,5325).
• MAE de Domínio Específico: O modelo AlzEye MAE apresentou baixo desempenho na graduação de DR (QWK = 0,3247) quando congelado, performando abaixo do acaso na classificação binária de DR. No entanto, mostrou desempenho razoável na classificação de tumor intraocular, sugerindo que suas características aprendidas retiveram alguma utilidade para anormalidades distintas, mas falharam em capturar sutilezas nas gradações de DR.

3. Comportamento da Atenção

• Modelos Discriminativos (Supervisionado/DINO): Aprenderam a atribuir pesos de atenção mais altos a regiões retinianas específicas (ex: cabeça do nervo óptico para modelos supervisionados; regiões posteriores mais amplas para modelos DINO) e ignoraram com sucesso as bordas não retinianas.
• Modelos MAE: Exibiram uma distribuição de atenção uniforme em todos os patches, indicando uma incapacidade de identificar características locais discriminativas a partir das representações congeladas. Isso resultou no módulo MIL realizando efetivamente uma média não ponderada.

4. Efeito do Fine-Tuning Parcial

O descongelamento do último bloco do codificador melhorou substancialmente o desempenho dos modelos baseados em MAE:

• O ViT-MAE (ImageNet) melhorou de QWK 0,5325 para 0,8200.
• O ViT-MAE (AlzEye) melhorou de QWK 0,3247 para 0,5439.
• Em contraste, os modelos discriminativos (Supervisionado, DINO) mostraram apenas ganhos marginais (aprox. +0,02 a +0,03 QWK).
  Isso indica que as representações baseadas em reconstrução beneficiam-se significativamente da adaptação de downstream, enquanto as representações discriminativas são altamente transferíveis mesmo quando congeladas.

Significância e Alegações

O artigo afirma fornecer uma das primeiras avaliações sistemáticas de representações de modelos de fundação dentro de um framework de MIL para imagem de retina UWF. Os autores afirmam que:

1. O Objetivo de Pré-treinamento Importa: A escolha da estratégia de pré-treinamento (supervisionado, autodestilação vs. reconstrução) influencia substancialmente a transferibilidade das representações congeladas para tarefas oftalmológicas fracamente supervisionadas. Objetivos discriminativos (Supervisionado, DINO) geram representações que são imediatamente eficazes para MIL, enquanto objetivos de reconstrução (MAE) exigem adaptação de downstream para serem competitivos.
2. Dinâmica de Agregação de MIL: A eficácia do MIL em imagens médicas depende não apenas do mecanismo de agregação, mas também da qualidade das representações de características subjacentes. O pré-treinamento discriminativo permite que o módulo MIL aprenda padrões de atenção distintos e clinicamente relevantes, enquanto as representações MAE levam a uma agregação uniforme e não discriminativa.
3. Preservação de Resolução: Preservar a informação espacial de alta resolução através de representação baseada em patches é superior ao downsampling global para imagens UWF, pois permite que o modelo capture características patológicas distribuídas sem perder detalhes de microlesões.
4. Implicações Práticas: Para aplicações onde extratores de características congelados são necessários (ex: devido a restrições computacionais ou privacidade de dados), o pré-treinamento discriminativo é preferido. No entanto, se o fine-tuning de downstream for viável, modelos baseados em reconstrução podem alcançar desempenho comparável.

Os autores mantêm a modéstia, observando que seus achados são específicos para a modalidade UWF e os datasets testados, e que a comparação do MAE de domínio específico não é estritamente controlada devido a diferenças arquiteturais. Eles também destacam que os mapas de atenção podem refletir vieses de aquisição (ex: proeminência da cabeça do nervo óptico) em vez de sinais patológicos puramente causais.