💻 computer science

Predicting Visual Acuity from Fundus Photographs Using a Domain-Pretrained Vision Transformer: Anatomical Alignment of Attention Patterns

Este estudio demuestra que un Vision Transformer preentrenado en el dominio (RETFound), ajustado mediante fine-tuning con más de 21,000 fotografías de fondo de ojo, logra una concordancia sustancial en la predicción de la agudeza visual de cuatro clases al desarrollar patrones de atención anatómicamente organizados —cambiando de los vasos retinianos en ojos con baja visión hacia la mácula en ojos con visión normal— que se correlacionan con la corrección de la clasificación y ofrecen interpretabilidad para predicciones inciertas.

Autores originales: Jin Hyun Kim, Yong Seop Han, Kuk Jin Jang, Seoung Jin Lee, Hyonyoung choi, Insup Lee

Publicado 2026-07-17

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Jin Hyun Kim, Yong Seop Han, Kuk Jin Jang, Seoung Jin Lee, Hyonyoung choi, Insup Lee

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando adivinar qué tan bien ve alguien con solo mirar una única y colorida fotografía del fondo de su ojo. Este es el mundo de la IA oftalmológica, donde las computadoras son entrenadas para leer fotografías de la retina para predecir la agudeza visual —básicamente, qué tan nítida es la visión de una persona—. Por lo general, revisar tu visión requiere que te sientes en el consultorio de un médico, entrecierres los ojos ante una tabla y leas letras en voz alta. Pero, ¿qué pasaría si una computadora pudiera mirar una foto de tu ojo y decir: "Ah, tu visión es perfecta" o "Podrías necesitar anteojos", sin que tú digas una sola palabra?

Para hacer esto, los científicos utilizan Transformers de Visión. Piensa en estos como detectives digitales superinteligentes. A diferencia de los modelos informáticos más antiguos que solo escanean una imagen como una cámara tomando una instantánea, un Transformer de Visión divide la imagen en diminutas piezas de rompecabezas y se pregunta: "¿Cómo se relaciona esta pieza con aquella?". Aprende a prestar atención a detalles específicos, como un detective que se concentra en una huella dactilar o en la huella de un zapato embarrado. La gran pregunta que este artículo aborda es: ¿Puede una computadora aprender a predecir la calidad de la visión simplemente mirando estos mapas oculares y, lo que es más importante, podemos confiar en dónde está mirando la computadora? Si la computadora dice que tu visión es mala, ¿está realmente mirando las partes dañadas de tu ojo, o solo está adivinando basándose en ruido aleatorio?

Las nuevas gafas del detective

En este estudio, un equipo de investigadores decidió darle a su detective digital un par de "gafas" especiales llamadas RETFound. Imagina que tienes a un detective que ha pasado años estudiando millones de fotos de escenas del crimen. Sabe exactamente cómo es una huella dactilar, cómo salpica la sangre y dónde suelen esconderse las pistas. Eso es RETFound: un modelo de IA masivo que ya ha "leído" 1.6 millones de fotos de ojos sin etiquetar. Ya es un experto en detectar los diminutos vasos y texturas de la retina incluso antes de intentar resolver el rompecabezas específico de la agudeza visual.

Los investigadores tomaron a este detective experto y lo ajustaron para resolver un misterio específico: clasificar las fotos de los ojos en cuatro categorías de visión.

C0: Ceguera total o funcional.
C1: Deterioro severo (muy borroso).
C2: Deterioro moderado a leve.
C3: Visión normal y nítida.

Probaron esto en 21,602 fotos de 3,654 pacientes. Para asegurarse de que el detective no estuviera haciendo trampa memorizando las respuestas, fueron muy estrictos: dividieron los datos por paciente, no por foto. Esto significa que si un paciente tenía cinco fotos, las cinco iban al grupo de entrenamiento o al grupo de prueba, nunca a ambos. Esto es como asegurarse de que un estudiante que toma un examen nunca vea la misma pregunta dos veces en formas diferentes.

Los resultados: Un éxito "sustancial"

Los resultados fueron prometedores. El detective RETFound acertó la respuesta el 55.6% de las veces. Aunque eso pueda no parecer una puntuación perfecta, en el mundo de la IA médica, es algo importante. Más importante aún, cuando cometía un error, solía ser uno pequeño. El 89.6% de sus errores estaban a solo un paso de la respuesta correcta (como adivinar "deterioro severo" cuando la respuesta era "moderado"). Rara vez hacía conjeturas descabelladas, como llamar a un ojo normal "ciego".

El artículo también comparó a RETFound con otros dos detectives: DINOv2 (una IA de propósito general que no ha estudiado fotos de ojos específicamente) y EfficientNet (un estilo más antiguo de visión por computadora). RETFound los superó a ambos por un margen significativo. Los investigadores calcularon una puntuación llamada Kappa de Peso Cuadrático, que mide qué tan bien coinciden las predicciones con el orden real de las cosas. RETFound obtuvo un 0.612, lo que los expertos llaman un "acuerdo sustancial".

El misterio de "¿A dónde estás mirando?"

La parte más emocionante del artículo no es solo que la computadora obtuvo la respuesta correcta, sino cómo miró el ojo para lograrlo. Los investigadores utilizaron una técnica llamada Attention Rollout (Despliegue de Atención). Imagina que la computadora es un reflector que ilumina la foto del ojo. Esta técnica permite a los investigadores ver exactamente dónde se enfoca el reflector.

Encontraron un patrón hermoso que coincide con lo que los médicos humanos han sabido durante décadas:

Para ojos con una visión terrible (C0): El reflector de la computadora se concentró fuertemente en los vasos sanguíneos alrededor del borde del ojo. Esto tiene sentido porque la pérdida de visión severa suele ser causada por vasos sanguíneos dañados o con fugas. La computadora aprendió a mirar las partes "desordenadas" del mapa.
Para ojos con visión perfecta (C3): El reflector se movió al centro del ojo (la mácula). Esta es la parte del ojo responsable de la visión central nítida. La computadora aprendió a ignorar los bordes y concentrarse en el centro.

Es como un detective que sabe que, si una casa se está incendiando, debe mirar el humo y las llamas (los vasos), pero si la casa está impecable, debe mirar la puerta principal y las ventanas (la mácula) para confirmar que todo está bien.

La prueba de "Confía en mí"

Aquí está el giro ingenioso: los investigadores querían saber si este comportamiento del "reflector" era solo un accidente de suerte o si realmente significaba que la computadora estaba pensando correctamente. Compararon las fotos en las que la computadora acertó frente a las que erró.

Cuando la computadora acertaba: El reflector se comportaba perfectamente. Si adivinaba "ciego", la luz estaba en los vasos. Si adivinaba "normal", la luz estaba en el centro. La conexión entre el reflector y la respuesta era muy fuerte.
Cuando la computadora fallaba: El reflector estaba confundido. Estaba por todos lados, mirando puntos aleatorios. La conexión entre dónde miraba y lo que adivinaba era débil.

Esto sugiere que la "atención" de la computadora es una pista confiable. Si la computadora está mirando en el lugar correcto, probablemente tenga razón. Si está mirando en todas partes a la vez, deberías ser escéptico.

El problema del "Centro Borroso"

El estudio también encontró un punto difícil. La computadora tuvo más problemas con la categoría C1 (deterioro severo, pero no ceguera total). A menudo confundía estos ojos con la categoría "moderada". Los investigadores sugieren que esto no es porque la computadora sea tonta, sino porque las fotos de los ojos para este nivel específico de visión son naturalmente ambiguas. Es como tratar de distinguir entre un día ligeramente brumoso y un día muy nublado; a veces, la imagen simplemente no tiene suficientes pistas claras para estar 100% seguro.

Lo que esto significa

Este artículo no pretende haber resuelto la pérdida de visión o haber reemplazado a los médicos. En cambio, muestra que podemos construir una IA que no solo adivina, sino que realmente "ve" el ojo de la misma manera que lo hace un médico humano. Aprende a enfocarse en los vasos sanguíneos para los ojos malos y en el centro para los ojos buenos.

Los autores sugieren que, en el futuro, podríamos usar este comportamiento del "reflector" como un sistema de advertencia. Si una IA hace una predicción pero su reflector está por todas partes, los médicos podrían marcar ese caso para que un humano lo revise. Esto convierte a la IA de una caja negra en un compañero que no solo te dice qué piensa, sino por qué lo piensa y qué tanto puedes confiar en esa suposición.

Resumen Técnico: Predicción de la agudeza visual a partir de fotografías de fondo de ojo utilizando un Transformer de visión preentrenado en el dominio

Planteamiento del problema
La agudeza visual (AV) es la métrica principal para la visión funcional, pero típicamente requiere la cooperación del paciente y un registro estandarizado, lo que limita su utilidad en cribados a gran escala o en entornos con recursos limitados. Aunque el aprendizaje profundo se ha aplicado para predecir la AV a partir de fotografías de fondo de ojo, los enfoques previos a menudo trataron la tarea como una clasificación binaria o regresión continua, fallando al capturar la naturaleza ordinal y multiclase de la gradación clínica de la AV. Además, estudios previos de los autores y de otros sufrieron fallos metodológicos, específicamente divisiones de datos imagen-a-imagen entre entrenamiento y prueba que introdujeron filtraciones de datos (data leakage) a nivel de paciente, inflando las métricas de rendimiento. Adicionalmente, los modelos existentes suelen operar como "cajas negras", careciendo de información sobre si prestan atención a estructuras retinianas clínicamente relevantes (por ejemplo, mácula frente a vasos periféricos) o a estadísticas espurias de la imagen. Este estudio aborda la necesidad de un modelo robusto, validado a nivel de paciente, que prediga la AV ordinal de cuatro clases y caracterice la alineación anatómica de sus mecanismos de atención interna.

Metodología

Conjunto de datos: El estudio utilizó un conjunto de datos retrospectivo de 21,602 fotografías de fondo de ojo de 3,654 pacientes. Las imágenes se clasificaron en cuatro clases ordinales de AV: C0 (0.0, ceguera), C1 (0.1–0.2, deterioro severo), C2 (0.3–0.7, moderado-leve) y C3 (0.8–1.0, normal). Se impuso una división estricta a nivel de paciente, con un conjunto de prueba fijo retenido de 564 pacientes (3,236 imágenes) para evitar la filtración de datos.
Arquitectura del modelo: El backbone principal fue RETFound, un Vision Transformer (ViT-L/16, 307 millones de parámetros) preentrenado en 1.6 millones de imágenes de fondo de ojo sin etiquetar mediante auto-codificación enmascarada (MAE). Este se comparó contra un ViT de propósito general (DINOv2, ViT-B/14-reg4) y una línea base convolucional (EfficientNet-B4).
Estrategia de entrenamiento: RETFound fue ajustado mediante un esquema de descongelación progresiva (solo la cabeza $\to$ últimos 25% de bloques $\to$ últimos 50% de bloques) para preservar las representaciones retinianas preentrenadas. La función de pérdida principal fue OrdinalFocalLoss, que combina la entropía cruzada focal con una penalización de regresión ordinal (MSE sobre los valores de clase esperados). Los estudios de ablación compararon esto contra la entropía cruzada ponderada por clase, la entropía cruzada focal y la Distancia del Movimiento de la Tierra (EMD).
Análisis de atención: Para interpretar el modelo, se computó el Attention Rollout a través de los 24 bloques del transformer para agregar el flujo de atención espacial. Las métricas cuantitativas incluyeron:
- Enriquecimiento anatómico: Ratios de peso de atención dentro de máscaras para vasos retinianos (filtro Frangi), mácula (máscara circular fija) y disco óptico.
- Métricas espaciales: Ratio de Proximidad Central (CPR) y Entropía Espacial.
- Análisis a nivel individual: Se definió un log de la Ratio de Dominancia de Atención (log-ADR) para cuantificar el equilibrio entre la atención macular y la vascular por muestra.
Validación: La robustez se probó mediante 180 combinaciones de parámetros de máscara, controles negativos (barajado espacial y ViT con pesos aleatorios) y comparación entre métodos (GradCAM++), además de experimentos de oclusión de regiones.

Resultos clave

Rendimiento de clasificación: RETFound alcanzó el mayor rendimiento con un 55.6% de precisión y un Kappa de Peso Cuadrático (QWK) de 0.612 ("acuerdo sustancial"), superando significativamente a DINOv2 y EfficientNet-B4 (McNemar $p < 0.0001$ ). Notablemente, el 89.6% de los errores se confinaron a clases de AV adyacentes, preservando el orden clínico.
Compensaciones de la función de pérdida: Aunque OrdinalFocalLoss produjo la mejor precisión top-1 y el menor Error Absoluto Medio (MAE), la entropía cruzada ponderada por clase logró el mayor QWK y F1 ponderado, indicando un compromiso entre la consistencia ordinal y las métricas orientadas al acuerdo.
Alineación anatómica: Se observó un cambio monotónico claro en los patrones de atención a través de las clases de AV:
- Baja AV (C0): La atención se enriqueció en los vasos retinianos periféricos (Enriquecimiento $\approx$ 1.75) y se depletó en la mácula.
- AV Normal (C3): La atención se desplazó hacia la mácula (Enriquecimiento $\approx$ 1.17) y se depletó en los vasos.
- AV Intermedia (C1/C2): La atención fue más difusa, con C1 mostrando una falta de un ancla anatómica dominante.
Fiabilidad a nivel individual: Las muestras correctamente clasificadas exhibieron una correlación significativamente más fuerte entre el log-ADR y la clase de AV ( $\rho = 0.644$ ) en comparación con las muestras mal clasificadas ( $\rho = 0.198$ ). Las muestras mal clasificadas en todas las clases fueron predominantemente "dominantes-difusas", careciendo de un enfoque anatómico claro.
Verificación causal: Los experimentos de oclusión de regiones confirmaron que enmascarar la mácula causó una caída significativa en la recuperación de C3 (de 0.65 a 0.48), proporcionando evidencia funcional de que la atención macular es causalmente necesaria para la clasificación de visión normal. Por el contrario, la oclusión de vasos tuvo un impacto mínimo, mientras que la oclusión macular no tuvo un efecto sistemático en C0.
Robustez: Los patrones de atención observados fueron estables a través de 180 combinaciones de parámetros de máscara y estuvieron ausentes en modelos barajados espacialmente o con inicialización aleatoria, confirmando que surgen de características aprendidas y no de estadísticas de la imagen.

Significancia y Reivindicaciones
El artículo sostiene que el ajuste fino de un Vision Transformer preentrenado en el dominio (RETFound) para la predicción de la AV ordinal no solo logra un rendimiento de vanguardia, sino que también desarrolla patrones de atención anatómicamente organizados que reflejan el conocimiento oftálmico establecido. Específicamente, el modelo aprende a priorizar la patología vascular en ojos con deterioro severo y la integridad macular en ojos normales.

Crucialmente, los autores argumentan que la alineación entre la atención anatómica y la corrección de la predicción sirve como un potencial indicador de la fiabilidad de la clasificación. El hallazgo de que las muestras mal clasificadas carecen consistentemente de un enfoque anatómico congruente con la clase sugiere que la interpretabilidad basada en la atención podría utilizarse para señalar predicciones inciertas para la revisión humana en entornos clínicos. El estudio también destaca que el bajo rendimiento en la clase C1 (AV 0.1–0.2) probablemente refleja una ambigüedad de imagen fundamental en este rango más que una limitación del modelo, ya que incluso las muestras de C1 correctamente clasificadas carecían de un ancla anatómica distinta.

Finalmente, el artículo distingue entre atención espacial (hacia dónde mira el modelo, capturada por Rollout) y gradientes discriminativos (qué impulsa la decisión, capturada por GradCAM++), señalando que estos pueden divergir (por ejemplo, la atención vascular es alta en C0 para Rollout pero alta en C3 para GradCAM++), proporcionando perspectivas complementarias sobre el comportamiento del modelo.