💻 computer science

Braided Vision Transformer for Stroke Detection in Multi-view Retinal Fundus Imaging

Este artigo apresenta o Braided Vision Transformer (BViT), um novo modelo de aprendizado profundo que utiliza imagens de fundo de retina de múltiplas visões de ambos os olhos para detectar acidente vascular cerebral e ataques isquêmicos transitórios ao extrair simultaneamente características e modelar relações entre as visões, alcançando uma AUC de 0,75 em um conjunto de dados recém-coletado.

Autores originais: Aysen Degerli, Mika Hilvo

Publicado 2026-08-18

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Aysen Degerli, Mika Hilvo

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

O acidente vascular cerebral (AVC) continua sendo um dos desafios de saúde mais devastadores do mundo, uma das principais causas de morte e de incapacidade de longo prazo que atinge sem aviso prévio. Durante décadas, os médicos confiaram em máquinas pesadas e caras, como tomógrafos computadorizados e ressonâncias magnéticas, para ver o interior do céreão e confirmar um AVC. Essas ferramentas são essenciais para o tratamento, mas nem sempre estão disponíveis para triagem rápida, especialmente em áreas remotas ou para sinais de alerta precoce. Um corpo crescente de pesquisas sugere que a chave para detectar esses perigos pode não estar no cérebro em si, mas nos olhos. A retina, o tecido sensível à luz na parte posterior do olho, é o único lugar no corpo onde os médicos podem observar diretamente os vasos sanguíneos sem cirurgia. Como os vasos no olho e no cérebro são muito semelhantes, alterações nos minúsculos vasos sanguíneos da retina frequentemente espelham a saúde do próprio sistema circulatório do cérebro. Essa conexão desencadeou uma busca por uma forma mais rápida, barata e não invasiva de avaliar o risco de AVC usando nada mais do que uma fotografia do olho.

Pesquisadores do Centro de Pesquisa Técnica VTT, na Finlândia, levaram esse conceito um passo adiante ao desenvolver um novo sistema de computador projetado para ler essas fotografias retinianas com uma profundidade sem precedentes. Em um estudo recente, eles introduziram um método chamado Braided Vision Transformer, um tipo de inteligência artificial que observa o olho de uma maneira que nenhum sistema anterior conseguiu. Em vez de analisar uma única imagem isoladamente, este sistema examina quatro visões distintas da retina de uma só vez: a mácula e a cabeça do nervo óptico de ambos os olhos, esquerdo e direito. A mácula é a parte central da retina responsável pela visão nítida, enquanto a cabeça do nervo óptico é onde as fibras nervosas saem do olho para viajar ao cérebro. Ao capturar essas áreas específicas de ambos os olhos, o sistema reúne um quadro muito mais rico da saúde vascular de uma pessoa do que um único instantâneo jamais conseguiria.

A inovação central deste trabalho reside em como o computador processa essas quatro imagens. Os modelos tradicionais de inteligência artificial frequentemente tratam cada imagem como uma peça de quebra-cabeça separada, resolvendo-as uma por uma antes de combinar as respostas. O novo Braided Vision Transformer, no entanto, tece as informações desde o início. Ele cria uma estrutura onde o computador compara constantemente os padrões de vasos sanguíneos do olho esquerdo com os do olho direito, e a visão central com a visão lateral, tudo ao mesmo tempo. Essa abordagem imita a forma como um clínico habilidoso observaria um paciente, alternando constantemente o foco entre diferentes partes do olho e entre ambos os olhos para detectar inconsistências sutis que sinalizam problemas. Os pesquisadores treinaram este sistema em um conjunto de dados de mais de 800 imagens retinianas coletadas de mais de 200 participantes, incluindo pessoas que sofreram um AVC, aquelas que tiveram um ataque isquêmico transitório — um bloqueio temporário frequentemente chamado de mini-AVC — e indivíduos saudáveis.

Os resultados deste treinamento foram promissores. Quando testado em sua capacidade de distinguir entre olhos saudáveis e aqueles que mostram sinais de AVC ou mini-AVC, o novo sistema alcançou uma pontuação de desempenho de 0,75, uma medida de precisão que foi superior a outros modelos de visão computacional padrão testados no mesmo estudo. O sistema provou ser particularmente eficaz ao reconhecer os padrões complexos associados a eventos cerebrovasculares, superando modelos que analisavam imagens individualmente ou que utilizavam métodos mais antigos de combinação de dados. O estudo também destacou uma descoberta crucial: observar múltiplas visões do olho é significativamente melhor do que observar apenas uma. Quando os pesquisadores testaram uma versão do sistema que olhava apenas para uma única imagem, sua capacidade de detectar o AVC caiu drasticamente, sugerindo que os sinais sutis de doença vascular estão distribuídos por diferentes partes da retina e em ambos os olhos, e são facilmente perdidos se a visão for muito estreita.

Embora o sistema ainda não esteja pronto para substituir o tomógrafo computadorizado em uma sala de emergência hospitalar, ele representa um salto significativo no potencial para triagem precoce. Os pesquisadores observam que sua abordagem oferece uma alternativa portátil e de baixo custo que poderia, um dia, ser usada em clínicas comunitárias ou mesmo em locais remotos para sinalizar indivíduos que necessitam de atenção médica imediata e mais detalhada. O estudo confirma que a retina contém pistas valiosas sobre a saúde cerebral e que a inteligência artificial moderna, quando projetada para observar o quadro completo em vez de apenas uma parte, pode desbloquear essas pistas de forma mais eficaz do que antes. Ao tecer com sucesso múltiplas visões do olho, este novo método sugere um futuro onde a primeira linha de defesa contra o AVC pode ser tão simples quanto uma fotografia rápida e indolor.

Resumo Técnico: Braided Vision Transformer para Detecção de AVC em Imagens de Fundo de Retina Multiview

Definição do Problema
O Acidente Vascular Cerebral (AVC) e o Ataque Isquêmico Transitório (AIT) continuam sendo as principais causas de mortalidade e morbidade global. Embora a Tomografia Computadorizada (TC) e a Ressonância Magnética (RM) sejam os padrões-ouro para a avaliação do AVC, sua utilidade clínica é limitada pelos altos custos, longos tempos de aquisição e exposição à radiação (no caso da TC). A imagem do fundo de retina oferece uma alternativa não invasiva, portátil e de baixo custo, uma vez que as alterações na microvasculatura retiniana refletem a saúde cerebrovascular. No entanto, as abordagens de aprendizado profundo existentes para a avaliação de AVC usando imagens de retina enfrentam duas limitações primárias: (1) a maioria dos estudos utiliza apenas imagens de visão única de um único olho, falhando em capturar as variações vasculares entre os olhos; e (2) os métodos multiview existentes baseiam-se em Redes Neurais Convolucionais (CNNs), enquanto o potencial dos Vision Transformers (ViTs) para esta tarefa específica permanece inexplorado. Além disso, a detecção de AIT tem sido amplamente negligenciada em favor do AVC isquêmico.

Metodologia
Os autores propõem o Braided Vision Transformer (BViT), uma arquitetura inovadora projetada para analisar imagens de fundo de retina de múltiplas visões de ambos os olhos.

Dados de Entrada: O modelo processa um conjunto de quatro imagens por paciente: visões centradas na mácula ( $v_2$ ) e no disco óptico ( $v_1$ ) de ambos os olhos esquerdo ( $l$ ) e direito ( $r$ ).
Arquitetura:
- Embedding: Cada uma das quatro imagens de entrada é dividida em patches, achatada e aumentada com embeddings posicionais.
- Módulos Braided Transformer: Diferente dos ViTs padrão, onde os canais são processados independentemente, ou dos mutual transformers que conectam apenas pares de modalidades, o BViT emprega uma estrutura "braided" (trançada). Isso envolve dois estágios sequenciais de blocos de transformer:
  1. Primeiro Estágio: Os quatro embeddings de imagem ( $\dot{a}, \dot{b}, \dot{c}, \dot{d}$ ) são processados via mecanismos de atenção mútua, onde queries de um embedding atendem às chaves (keys) e valores (values) de outro, estabelecendo interações iniciais entre canais.
  2. Segundo Estágio: As saídas do primeiro estágio são processadas em um segundo bloco trançado, criando uma conectividade interseccional complexa entre todos os canais de entrada. Este design mimetiza a prática clínica ao modelar simultaneamente as relações intra-olho (diferentes visões) e inter-olho (esquerdo vs. direito).
- Classificação: Os vetores de características finais são achatados, concatenados e passados por camadas totalmente conectadas com ativações ReLU e Softmax para classificação binária (AVC/AIT vs. Saudável) ou multiclasse (AVC, AIT, Saudável).
Dataset e Treinamento: O modelo foi treinado no dataset Stroke-Data (220 participantes: 26 AIT, 73 AVC, 121 controles saudáveis), compreendendo 802 imagens de retina. Devido à escassez de dados, uma extensa aumentação de dados (rotação, inversão, cisalhamento, zoom) foi aplicada para atingir 12.000 amostras de treinamento. O modelo utilizou um esquema de validação cruzada de 5 dobras estratificada com um otimizador Adam e perda de entropia cruzada categórica.

Principais Contribuições

Primeiro ViT para Avaliação de AVC Retiniano: Tanto quanto o conhecimento dos autores, este é o primeiro estudo a aplicar Vision Transformers para a detecção de AVC e AIT através de imagens de fundo de retina.
Arquitetura Braided Inovadora: A introdução do modelo BViT, que utiliza uma forma estrutural trançada específica para capturar relações entre visões em ambos os olhos simultaneamente, distinguindo-se dos ViTs padrão e módulos de transformer mútuos.
Paradigma de Aprendizado Multi-view: O estudo demonstra a superioridade do aprendizado multi-view (utilizando ambos os olhos e duas visões focais) sobre as abordagens de visão única na captura de biomarcadores retinianos heterogêneos associados a eventos cerebrovasculares.

Resultados Experimentais
Experimentos foram conduzidos no dataset Stroke-Data comparando o BViT contra modelos de baseline (Vanilla ViT, Mutual ViT e variantes de MVS-Net baseadas em CNN).

Classificação Binária (AVC/AIT vs. Saudável): O BViT alcançou o desempenho mais alto com um AUC de 0,752, superando o Vanilla ViT (0,729), o Mutual ViT (0,717) e o melhor baseline de CNN, MVS-Net-v1 (0,707). O BViT também alcançou uma sensibilidade de 0,647 e especificidade de 0,727.
Classificação Multiclasse: Ao distinguir entre AVC, AIT e controles Saudáveis, o BViT alcançou o maior AUC para controles Saudáveis (0,716) e pacientes com AIT (0,618). Para a classe AVC, alcançou um AUC de 0,715, ligeiramente atrás do Mutual ViT (0,719).
Visão Única vs. Multi-view: Um estudo de ablação crítico comparou o BViT multi-view contra um baseline de ViT de visão única. O modelo de visão única alcançou um AUC pobre de 0,49, enquanto a abordagem multi-view atingiu 0,71, destacando a necessidade de agregar informações entre visões e olhos.
Eficiência do Modelo: Apesar de ser um modelo baseado em transformer, o BViT (aprox. 8 milhões de parâmetros) apresentou desempenho competitivo contra arquiteturas de CNN maiores como o MVS-Net-v2 (aprox. 35 milhões de parâmetros).

Significância e Alegações
O artigo afirma que o modelo BViT demonstra com sucesso a viabilidade do uso de imagens de fundo de retina para uma avaliação rápida e não invasiva do risco de AVC. Os autores enfatem que a arquitetura braided mimetiza efetivamente as práticas de avaliação clínica ao alavancar informações vasculares e estruturais complementares de múltiplas visões e de ambos os olhos. Embora os resultados sejam promissores, os autores mantêm um tom modesto, observando que a neuroimagem (TC/RM) continua essencial para a tomada de decisão terapêutica. O estudo estabelece uma base para futuros frameworks baseados em transformers na predição de AVC isquêmico, mas reconhece a dificuldade clínica de discriminar AIT de AVC durante as fases diagnósticas iniciais, evidenciada pela menor sensibilidade na detecção de AIT multiclasse.

Mais como este