Braided Vision Transformer for Stroke Detection in Multi-view Retinal Fundus Imaging

Resumen Técnico: Vision Transformer Trenzado para la Detección de Accidentes Cerebrovasculares en Imágenes de Fondo de Ojo Retiniano Multivista

Planteamiento del Problema
El accidente cerebrovascular y el Ataque Isquémico Transitorio (AIT) siguen siendo causas principales de mortalidad y morbilidad global. Aunque la Tomografía Computarizada (TC) y la Resonancia Magnética (RM) son los estándares de oro para la evaluación del accidente cerebrovascular, su utilidad clínica se ve limitada por los altos costos, los largos tiempos de adquisición y la exposición a la radiación (en el caso de la TC). Las imágenes de fondo de ojo retiniano ofrecen una alternativa no invasiva, portátil y rentable, ya que las alteraciones de la microvasculatura retiniana reflejan la salud cerebrovascular. Sin embargo, los enfoques actuales de aprendizaje profundo para la evaluación de accidentes cerebrovasculares utilizando imágenes retinianas enfrentan dos limitaciones primarias: (1) la mayoría de los estudios utilizan únicamente imágenes de vista única de un solo ojo, fallando al capturar las variaciones vasculares entre ambos ojos; y (2) los métodos multivista existentes dependen de Redes Neuronales Convolucionales (CNN), mientras que el potencial de los Vision Transformers (ViT) para esta tarea específica permanece inexplorado. Además, la detección del AIT ha sido ampliamente ignorada en favor del accidente cerebrovascular isquémico.

Metodología
Los autores proponen el Braided Vision Transformer (BViT), una arquitectura novedosa diseñada para analizar imágenes de fondo de ojo retiniano de múltiples vistas de ambos ojos.

• Datos de Entrada: El modelo procesa un conjunto de cuatro imágenes por paciente: vistas centradas en la mácula ($v_2$) y en la cabeza del nervio óptico ($v_1$) de ambos ojos, izquierdo ($l$) y derecho ($r$).
• Arquitectura:
  • Embedding (Incrustación): Cada una de las cuatro imágenes de entrada se divide en parches, se aplana y se aumenta con incrustaciones posicionales.
  • Módulos de Transformer Trenzado (Braided Transformer Modules): A diferencia de los ViT estándar donde los canales se procesan de forma independiente o de los transformadores mutuos que conectan solo pares de modalidades, el BViT emplea una estructura "trenzada". Esto implica dos etapas secuenciales de bloques de transformadores:
    1. Primera Etapa: Las cuatro incrustaciones de imagen ($\dot{a}, \dot{b}, \dot{c}, \dot{d}$) se procesan mediante mecanismos de atención mutua donde las consultas (queries) de una incrustación atienden a las claves (keys) y valores (values) de otra, estableciendo interacciones iniciales entre canales.
    2. Segunda Etapa: Los resultados de la primera etapa se procesan nuevamente en un segundo bloque trenzado, creando una interconexión interseccional compleja entre todos los canales de entrada. Este diseño imita las prácticas clínicas al modelar simultáneamente las relaciones intraocular (diferentes vistas) e interocular (izquierdo vs. derecho).
  • Clasificación: Los vectores de características finales se aplanan, se concatenan y se pasan a través de capas totalmente conectadas con activaciones ReLU y Softmax para la clasificación binaria (Accidente Cerebrovascular/AIT vs. Sano) o multiclasificación (Accidente Cerebrovascular, AIT, Sano).
• Conjunto de Datos y Entrenamiento: El modelo fue entrenado con el conjunto de datos Stroke-Data (220 participantes: 26 AIT, 73 accidentes cerebrovasculares, 121 controles sanos), que comprende 802 imágenes retinianas. Debido a la escasez de datos, se aplicó un aumento de datos extensivo (rotación, volteo, cizallamiento, zoom) para alcanzar 12,000 muestras de entrenamiento. El modelo utilizó un esquema de validación cruzada de 5 pliegues estratificados con un optimizador Adam y pérdida de entropía cruzada categórica.

Contribuciones Clave

1. Primer ViT para la Evaluación de Accidentes Cerebrovasculares Retinianos: Hasta donde saben los autores, este es el primer estudio en aplicar Vision Transformers al fondo de ojo retiniano para la detección de accidentes cerebrovasculares y AIT.
2. Arquitectura Trenzada Novedosa: La introducción del modelo BViT, que utiliza una forma estructural trenzada específica para capturar las relaciones entre vistas a través de ambos ojos simultáneamente, distinguiéndose de los ViT estándar y los módulos de transformador mutuo.
3. Paradigma de Aprendizaje Multivista: El estudio demuestra la superioridad del aprendizaje multivista (utilizando ambos ojos y dos vistas focales) sobre los enfoques de vista única para capturar los biomarcadores retinianos heterogéneos asociados con eventos cerebrovasculares.

Resultados Experimentales
Los experimentos se realizaron en el conjunto de datos Stroke-Data comparando el BViT contra modelos de referencia (Vanilla ViT, Mutual ViT y variantes de CNN basadas en MVS-Net).

• Clasificación Binaria (Accidente Cerebrovascular/AIT vs. Sano): El BViT logró el mayor rendimiento con un AUC de 0.752, superando al Vanilla ViT (0.729), al Mutual ViT (0.717) y al mejor modelo base de CNN, MVS-Net-v1 (0.707). El BViT también alcanzó una sensibilidad de 0.647 y una especificidad de 0.727.
• Clasificación Multiclase: Al distinguir entre Accidente Cerebrovascular, AIT y Controles Sanos, el BViT logró el AUC más alto para controles sanos (0.716) y pacientes con AIT (0.618). Para la clase de Accidente Cerebrovascular, alcanzó un AUC de 0.715, ligeramente por detrás del Mutual ViT (0.719).
• Vista Única vs. Multivista: Un estudio de ablación crítico comparó el BViT multivista contra un modelo base de vista única. El modelo de vista única obtuvo un pobre AUC de 0.49, mientras que el enfoque multivista alcanzó un 0.71, resaltando la necesidad de agregar información a través de las vistas y los ojos.
• Eficiencia del Modelo: A pesar de ser un modelo basado en transformadores, el BViT (aprox. 8 millones de parámetros) funcionó competitivamente frente a arquitecturas CNN más grandes como MVS-Net-v2 (aprox. 35 millones de parámetros).

Significancia y Reivindicaciones
El artículo afirma que el modelo BViT demuestra con éxito la viabilidad del uso de imágenes de fondo de ojo retiniano para la evaluación rápida y no invasiva del riesgo de accidente cerebrovascular. Los autores enfatizan que la arquitectura trenzada emula eficazmente las prácticas de evaluación clínica al aprovechar la información estructural y vascular complementaria de múltiples vistas y de ambos ojos. Si bien los resultados son prometedores, los autores mantienen un tono modesto, señalando que la neuroimagen (TC/RM) sigue siendo esencial para la toma de decisiones terapéuticas. El estudio establece una base para futuros marcos de trabajo basados en transformadores en la predicción de accidentes cerebrovasculares isquémicos, pero reconoce la dificultad clínica de discriminar el AIT del accidente cerebrovascular durante las fases diagnósticas tempranas, evidenciado por la menor sensibilidad en la detección multiclas de AIT.