💻 computer science

Predicting Visual Acuity from Fundus Photographs Using a Domain-Pretrained Vision Transformer: Anatomical Alignment of Attention Patterns

Este estudo demonstra que um Vision Transformer pré-treinado em domínio (RETFound) ajustado com mais de 21.000 fotografias de fundo de olho alcança uma concordância substancial na predição da acuidade visual de quatro classes, ao mesmo tempo em que desenvolve padrões de atenção anatomicamente organizados — deslocando-se de vasos retinianos em olhos com baixa visão para a mácula em olhos com visão normal — que se correlacionam com a correção da classificação e oferecem interpretabilidade para predições incertas.

Autores originais: Jin Hyun Kim, Yong Seop Han, Kuk Jin Jang, Seoung Jin Lee, Hyonyoung choi, Insup Lee

Publicado 2026-07-17

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Jin Hyun Kim, Yong Seop Han, Kuk Jin Jang, Seoung Jin Lee, Hyonyoung choi, Insup Lee

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando adivinhar quão bem alguém consegue enxergar apenas olhando para um único mapa colorido da parte de trás do olho deles. Este é o mundo da IA oftalmológica, onde computadores são ensinados a ler fotografias da retina para prever a acuidade visual — basicamente, o quão nítida é a visão de uma pessoa. Normalmente, verificar sua visão exige que você se sente no consultório de um médico, aperte os olhos diante de um quadro e leia letras em voz alta. Mas e se um computador pudesse olhar para uma foto do seu olho e dizer: "Ah, sua visão é perfeita" ou "Você pode precisar de óculos", sem que você precise dizer uma única palavra?

Para fazer isso, cientistas usam Vision Transformers. Pense neles como detetives digitais superinteligentes. Diferente dos modelos de computador mais antigos, que apenas escaneiam uma imagem como uma câmera tirando uma foto, um Vision Transformer divide a imagem em minúsculas peças de um quebra-cabeça e pergunta: "Como esta peça se relaciona com aquela outra?". Ele aprende a prestar atenção em detalhes específicos, como um detetive focando em uma impressão digital ou em uma pegada de sapato com lama. A grande questão que este artigo aborda é: um computador pode aprender a prever a qualidade da visão apenas olhando para esses mapas oculares e, mais importante, podemos confiar em onde o computador está olhando? Se o computador disser que sua visão está ruim, ele está realmente olhando para as partes danificadas do seu olho ou está apenas adivinhando com base em ruídos aleatórios?

Os Novos Óculos do Detetive

Neste estudo, uma equipe de pesquisadores decidiu dar ao seu detetive digital um par de "óculos" especiais chamados RETFound. Imagine que você tem um detetive que passou anos estudando milhões de fotos de cenas de crimes. Eles sabem exatamente como é uma impressão digital, como o sangue espirra e onde as pistas costumam se esconder. Isso é o que o RETFound é: um modelo de IA massivo que já "leu" 1,6 milhão de fotos de olhos não rotuladas. Ele já é um especialista em detectar os minúsculos vasos e texturas da retina antes mesmo de tentar resolver o quebra-cabeça específico da acuidade visual.

Os pesquisadores pegaram esse detetive especialista e o refinaram para resolver um mistério específico: classificar fotos de olhos em quatro categorias de visão.

C0: Cegueira total ou funcional.
C1: Comprometimento grave (muito embaçado).
C2: Comprometimento moderado a leve.
C3: Visão normal e nítida.

Eles testaram isso em 21.602 fotos de 3.654 pacientes. Para garantir que o detetive não estivesse apenas trapaceando ao memorizar as respostas, eles foram muito rigorosos: dividiram os dados por paciente, não por foto. Isso significa que, se um paciente tivesse cinco fotos, todas as cinco iriam para o grupo de treinamento ou para o grupo de teste, nunca para ambos. Isso é como garantir que um aluno fazendo uma prova nunca veja a mesma pergunta duas vezes em formas diferentes.

Os Resultados: Um Sucesso "Substancial"

Os resultados foram promissores. O detetive RETFound acertou a resposta 55,6% das vezes. Embora isso possa não parecer uma pontuação perfeita, no mundo da IA médica, é algo grandioso. Mais importante ainda, quando ele cometeu um erro, geralmente era um erro pequeno. 89,6% de seus erros estavam apenas um passo de distância da resposta correta (como adivinhar "comprometimento grave" quando a resposta era "moderado"). Ele raramente fazia palpites absurdos, como chamar um olho normal de "cego".

O artigo também comparou o RETFound com outros dois detetives: o DINOv2 (uma IA de propósito geral que não estudou especificamente fotos de olhos) e o EfficientNet (um estilo mais antigo de visão computacional). O RETFound superou ambos por uma margem significativa. Os pesquisadores calcularam uma pontuação chamada Kappa de Peso Quadrático, que mede o quão bem as previsões correspondem à ordem real das coisas. O RETFound marcou 0,612, o que os especialistas chamam de "concordância substancial".

O Mistério do "Onde Você Está Olhando?"

A parte mais emocionante do artigo não é apenas que o computador acertou a resposta, mas como ele olhou para o olho para chegar lá. Os pesquisadores usaram uma técnica chamada Attention Rollout. Imagine que o computador é um holofote iluminando a foto do olho. Essa técnica permite que os pesquisadores vejam exatamente onde o foco do holofote está concentrado.

Eles encontraram um padrão belíssimo que coincide com o que os médicos humanos sabem há décadas:

Para olhos com visão terrível (C0): O holofote do computador focou intensamente nos vasos sanguíneos ao redor da borda do olho. Isso faz sentido, pois a perda de visão grave é frequentemente causada por vasos sanguíneos danificados ou com vazamentos. O computador aprendeu a olhar para as partes "bagunçadas" do mapa.
Para olhos com visão perfeita (C3): O holofote moveu-se para o centro do olho (a mácula). Esta é a parte do olho responsável pela visão central nítida. O computador aprendeu a ignorar as bordas e focar no centro.

É como um detetive que sabe que, se uma casa está pegando fogo, ele deve olhar para a fumaça e as chamas (os vasos), mas se a casa está impecável, ele deve olhar para a porta da frente e as janelas (a mácula) para confirmar que está tudo bem.

O Teste do "Confie em Mim"

Aqui está a reviravltagem inteligente: os pesquisadores queriam saber se esse comportamento de "holofote" era apenas um acidente de sorte ou se significava que o computador estava realmente pensando corretamente. Eles compararam as fotos que o computador acertou versus as que ele errou.

Quando o computador acertou: O holofote comportou-se perfeitamente. Se ele adivinhou "cego", a luz estava nos vasos. Se adivinhou "normal", a luz estava no centro. A conexão entre onde ele olhou e a resposta foi muito forte.
Quando o computador errou: O holofote estava confuso. Estava por toda parte, olhando para pontos aleatórios. A conexão entre onde ele olhou e o que ele adivinhou era fraca.

Isso sugere que a "atenção" do computador é uma pista confiável. Se o computador estiver olhando para o lugar certo, provavelmente está certo. Se estiver olhando para todos os lugares ao mesmo tempo, você deve ser cético.

O Problema do "Meio Embaçado"

O estudo também encontrou um ponto problemático. O computador teve mais dificuldade com a categoria C1 (comprometimento grave, mas não cegueira total). Ele frequentemente confundia esses olhos com a categoria "moderada". Os pesquisadores sugerem que isso não é porque o computador é burro, mas porque as fotos dos olhos para este nível específico de visão são naturalmente ambíguas. É como tentar diferenciar um dia levemente enevoado de um dia muito nublado; às vezes, a imagem simplesmente não tem pistas claras o suficiente para ter 100% de certeza.

O Que Isso Significa

Este artigo não afirma ter resolvido a perda de visão ou substituído os médicos. Em vez disso, mostra que podemos construir uma IA que não apenas adivinha, mas que realmente "vê" o olho da mesma forma que um médico humano faria. Ela aprende a focar nos vasos sanguíneos para olhos ruins e no centro para olhos bons.

Os autores sugerem que, no futuro, poderemos usar esse comportamento de "holofote" como um sistema de alerta. Se uma IA faz uma previsão, mas seu holofote está espalhado por todos os lados, os médicos podem sinalizar esse caso para uma revisão humana. Isso transforma a IA de uma "caixa preta" em uma parceira que não diz apenas o que ela pensa, mas por que ela pensa aquilo, e o quanto você deve confiar naquela suposição.

Resumo Técnico: Predição de Acuidade Visual a partir de Fotografias de Fundo de Olho Utilizando um Vision Transformer Pré-treinado em Domínio Específico

Definição do Problema
A acuidade visual (AV) é a principal métrica para a visão funcional, mas tipicamente requer a cooperação do paciente e o uso de tabelas padronizadas, o que limita sua utilidade em triagens de larga escala ou em ambientes com recursos limitados. Embora o aprendizado profundo tenha sido aplicado para prever a AV a partir de fotografias de fundo de olho, abordagens anteriores frequentemente trataram a tarefa como classificação binária ou regressão contínua, falhando em capturar a natureza ordinal e multiclasse da graduação clínica da AV. Além disso, estudos anteriores dos autores e de outros sofreram de falhas metodológicas, especificamente divisões de imagem nível-treino/teste que introduziram vazamento de dados (data leakage) ao nível do paciente, inflando as métricas de desempenho. Adicionalmente, modelos existentes frequentemente operam como "caixas pretas", carecendo de insights sobre se eles prestam atenção em estruturas retinianas clinicamente relevantes (ex: mácula vs. vasos periféricos) ou em estatísticas espúrias da imagem. Este estudo aborda a necessidade de um modelo robusto, validado ao nível do paciente, que preveja a AV ordinal de quatro classes e caracterize o alinhamento anatômico de seus mecanismos internos de atenção.

Metodologia

Conjunto de Dados: O estudo utilizou um conjunto de dados retrospectivo de 21.602 fotografias de fundo de olho de 3.654 pacientes. As imagens foram classificadas em quatro classes ordinais de AV: C0 (0.0, cegueira), C1 (0.1–0.2, comprometimento severo), C2 (0.3–0.7, moderado-leve) e C3 (0.8–1.0, normal). Uma divisão rigorosa ao nível do paciente foi aplicada, com um conjunto de teste fixo e isolado de 564 pacientes (3.236 imagens) para evitar o vazamento de dados.
Arquitetura do Modelo: O backbone primário foi o RETFound, um Vision Transformer (ViT-L/16, 307 milhões de parâmetros), pré-treinado em 1,6 milhão de imagens de fundo de olho não rotuladas via autoencoding mascarado (MAE). Este foi comparado contra um ViT de propósito geral (DINOv2, ViT-B/14-reg4) e uma linha de base convolucional (EfficientNet-B4).
Estratégia de Treinamento: O RETFound foi ajustado (fine-tuned) utilizando um cronograma de descongelamento progressivo (apenas o head $\to$ últimos 25% dos blocos $\to$ últimos 50% dos blocos) para preservar as representações retinianas pré-treinadas. A função de perda primária foi a OrdinalFocalLoss, combinando entropia cruzada focal com uma penalidade de regressão ordinal (MSE sobre valores de classe esperados). Estudos de ablação compararam esta abordagem contra entropia cruzada ponderada por classe, entropia cruzada focal e Earth Mover's Distance (EMD).
Análise de Atenção: Para interpretar o modelo, o Attention Rollout foi computado através de todos os 24 blocos do transformer para agregar o fluxo de atenção espacial. As métricas quantitativas incluíram:
- Enriquecimento Anatômico: Razões de peso de atenção dentro de máscaras para vasos retinianos (filtro de Frangi), mácula (máscara circular fixa) e disco óptico.
- Métricas Espaciais: Razão de Proximidade Central (CPR) e Entropia Espacial.
- Análise ao Nível Individual: Um log da Razão de Dominância de Atenção (log-ADR) foi definido para quantificar o equilíbrio entre a atenção macular e vascular por amostra.
Validação: A robustez foi testada via 180 combinações de parâmetros de máscara, controles negativos (embaralhamento espacial e ViT com pesos aleatórios), comparação entre métodos (GradCAM++) e experimentos de oclusão de região.

Principais Resultados

Desempenho de Classificação: O RETFound alcançou o maior desempenho com 55,6% de acurácia e um Kappa Ponderado Quadrático (QWK) de 0,612 ("acordo substancial"), superando significativamente o DINOv2 e o EfficientNet-B4 (McNemar $p < 0,0001$ ). Notavelmente, 89,6% dos erros foram confinados a classes de AV adjacentes, preservando a ordem clínica.
Compensações da Função de Perda: Embora a OrdinalFocalLoss tenha gerado a melhor acurácia top-1 e o menor Erro Médio Absoluto (MAE), a entropia cruzada ponderada por classe alcançou o maior QWK e F1 ponderado, indicando uma compensação entre consistência ordinal e métricas orientadas ao acordo.
Alinhamento Anatômico: Um deslocamento monotônico claro nos padrões de atenção foi observado entre as classes de AV:
- Baixa AV (C0): A atenção foi enriquecida em vasos retinianos periféricos (Enriquecimento $\approx$ 1,75) e empobrecida na mácula.
- AV Normal (C3): A atenção deslocou-se para a mácula (Enriquecimento $\approx$ 1,17) e empobreceu nos vasos.
- AV Intermediária (C1/C2): A atenção foi mais difusa, com a classe C1 apresentando uma falta de um âncora anatômica dominante.
Confiabilidade ao Nível Individual: Amostras classificadas corretamente exibiram uma correlação significativamente mais forte entre o log-ADR e a classe de AV ( $\rho = 0,644$ ) em comparação com amostras classificadas incorretamente ( $\rho = 0,198$ ). As amostras classificadas incorretamente em todas as classes foram predominantemente "difuso-dominantes", carecendo de um foco anatômico claro.
Verificação Causal: Experimentos de oclusão de região confirmaram que o mascaramento da mácula causou uma queda significativa no recall de C3 (de 0,65 para 0,48), fornecendo evidência funcional de que a atenção macular é causalmente necessária para a classificação de visão normal. Inversamente, a oclusão de vasos teve impacto mínimo no C3, enquanto a oclusão macular não teve efeito sistemático no C0.
Robustez: Os padrões de atenção observados foram estáveis através de 180 combinações de parâmetros de máscara e estavam ausentes em modelos espacialmente embaralhados ou com inicialização aleatória, confirmando que derivam de características aprendidas e não de estatísticas da imagem.

Significância e Alegações
O artigo alega que o ajuste fino de um Vision Transformer pré-treinado em domínio (RETFound) para predição de AV ordinal não apenas atinge o estado da arte em desempenho, mas também desenvolve padrões de atenção anatomicamente organizados que espelham o conhecimento oftalmológico estabelecido. Especificamente, o modelo aprende a priorizar a patologia vascular em olhos com comprometimento severo e a integridade macular em olhos normais.

Crucialmente, os autores argumentam que o alinhamento entre a atenção anatômica e a correção da predição serve como um potencial proxy para a confiabilidade da classificação. A descoberta de que amostras classificadas incorretamente consistentemente carecem de um foco anatômico congruente com a classe sugere que a interpretabilidade baseada em atenção poderia ser usada para sinalizar predições incertas para revisão humana em contextos clínicos. O estudo também destaca que o desempenho inferior na classe C1 (AV 0.1–0.2) provavelmente reflete uma ambiguidade de imagem fundamental nesta faixa, em vez de uma limitação do modelo, já que mesmo as amostras de C1 classificadas corretamente careciam de uma âncora anatômica distinta.

Finalmente, o artigo distingue entre atenção espacial (onde o modelo olha, capturada pelo Rollout) e gradientes discriminativos (o que impulsiona a decisão, capturado pelo GradCAM++), observando que estes podem divergir (ex: a atenção vascular é alta em C0 para o Rollout, mas alta em C3 para o GradCAM++), fornecendo insights complementares sobre o comportamento do modelo.