💻 computer science

Braided Vision Transformer for Stroke Detection in Multi-view Retinal Fundus Imaging

이 논문은 양안의 다중 뷰 망막 안저 영상을 활용하여 특징 추출과 시점 간 관계 모델링을 동시에 수행함으로써 뇌졸중 및 일과성 허혈 발작을 탐지하는 새로운 딥러닝 모델인 Braided Vision Transformer(BViT)를 소개하며, 새롭게 수집된 데이터셋에서 0.75의 AUC를 달성하였다.

원저자: Aysen Degerli, Mika Hilvo

게시일 2026-08-18

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Aysen Degerli, Mika Hilvo

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

뇌졸중은 예고 없이 찾아오는 사망 및 장기 장애의 주요 원인으로서, 여전히 세계에서 가장 파괴적인 보건 과제 중 하나로 남아 있습니다. 수십 년 동안 의사들은 뇌 내부를 관찰하고 뇌졸중을 확진하기 위해 CT 스캐너나 MRI와 같은 무겁고 비싼 장비에 의존해 왔습니다. 이러한 도구들은 치료에 필수적이지만, 특히 원격 지역이나 조기 경고 징후를 포착해야 하는 상황에서는 신속한 선별 검사를 위해 항상 사용 가능한 것은 아닙니다. 이 위험을 포착하는 열쇠가 뇌 자체가 아니라 눈에 있을지도 모른다는 연구 결과가 점점 늘어나고 있습니다. 망막은 빛에 반응하는 조직으로 눈의 뒷부분에 위치하며, 의사가 수술 없이 체내 혈관을 직접 관찰할 수 있는 유일한 부위입니다. 눈의 혈관과 뇌의 혈관은 매우 유사하기 때문에, 망막의 미세 혈관에서 나타나는 변화는 종종 뇌 자체의 혈액 순환계 건강 상태를 거울처럼 반영합니다. 이러한 연관성은 눈 사진 한 장만으로도 뇌졸중 위험을 평가할 수 있는 더 빠르고 저렴하며 비침습적인 방법을 찾는 탐색에 불을 지폈습니다.

핀란드 VTT 기술 연구 센터의 연구진은 이러한 개념을 한 단계 더 발전시켜, 전례 없는 깊이로 망막 사진을 판독하도록 설계된 새로운 컴퓨터 시스템을 개발했습니다. 최근 연구에서 그들은 이전의 어떤 시스템도 시도하지 못한 방식으로 눈을 관찰하는 인공지능의 일종인 '브레이디드 비전 트랜스포머(Braided Vision Transformer)'라는 방법을 소개했습니다. 이 시스템은 단일 이미지를 독립적으로 분석하는 대신, 네 가지 서로 다른 망막 뷰를 동시에 조사합니다. 바로 양쪽 눈의 황반(macula)과 시신경 유두(optic nerve head)입니다. 황반은 선명한 시력을 담당하는 망막의 중심부이며, 시신경 유두는 신경 섬유가 눈을 빠져나와 뇌로 향하는 지점입니다. 양쪽 눈의 이 특정 영역들을 포착함으로써, 이 시스템은 단일 스냅샷이 제공할 수 있는 것보다 훨씬 더 풍부한 개인의 혈관 건강 정보를 수집합니다.

이 작업의 핵심 혁신은 컴퓨터가 이 네 장의 이미지를 처리하는 방식에 있습니다. 기존의 인공지능 모델은 종-종 각 이미지를 별개의 퍼즐 조각처럼 취급하여, 답을 결합하기 전에 하나씩 개별적으로 해결합니다. 그러나 새로운 브레이디드 비전 트랜스포머는 처음부터 정보를 함께 엮어냅니다. 이 시스템은 왼쪽 눈의 혈관 패턴을 오른쪽 눈과 비교하고, 중앙 뷰를 측면 뷰와 동시에 비교하는 구조를 만들어 실시간으로 정보를 통합합니다. 이러한 접근 방식은 숙련된 임상의가 환자를 진찰할 때, 미세한 불일치를 찾아내기 위해 눈의 여러 부분과 양쪽 눈 사이를 끊임없이 시선을 옮기며 집중하는 방식을 모방한 것입니다. 연구진은 뇌졸중을 경험한 사람, 일시적인 혈류 차단 현상인 일과성 허혈 발작(흔히 미니 뇌졸중이라 불림)을 겪은 사람, 그리고 건강한 개인을 포함하여 200명 이상의 참가자로부터 수집된 800장 이상의 망막 이미지 데이터셋을 통해 이 시스템을 학습시켰습니다.

이러한 학습의 결과는 유망했습니다. 건강한 눈과 뇌졸중 또는 미니 뇌졸중의 징후를 보이는 눈을 구별하는 능력을 테스트했을 때, 이 새로운 시스템은 0.75의 성능 점수를 기록했습니다. 이는 동일한 연구에서 테스트된 다른 표준 컴퓨터 비전 모델들보다 높은 정확도 수치입니다. 이 시스템은 특히 뇌혈관 사건과 관련된 복잡한 패턴을 인식하는 데 효과적이었으며, 이미지를 개별적으로 보거나 데이터를 결합하는 구식 방법을 사용한 모델들보다 뛰어난 성능을 보였습니다. 또한 연구는 눈의 여러 뷰를 보는 것이 단 하나의 뷰를 보는 것보다 훨씬 더 효과적이라는 중요한 사실을 강조했습니다. 연구진이 단일 이미지만을 보도록 시스템 버전을 테스트했을 때, 뇌졸중 감지 능력이 급격히 떨어졌는데, 이는 혈관 질환의 미세한 징후들이 망막의 서로 다른 부분과 양쪽 눈에 걸쳐 분포되어 있으며, 시야가 너무 좁을 경우 쉽게 놓칠 수 있음을 시사합니다.

이 시스템이 아직 병원 응급실의 CT 스캐너를 대체할 준비가 된 것은 아니지만, 이는 조기 선별 검사의 잠재력 측면에서 중대한 도약을 의미합니다. 연구진은 이 방식이 지역 사회 클리닉이나 심지어 원격지에서도 즉각적이고 더 상세한 의료 조치가 필요한 개인을 식별하는 데 사용될 수 있는 휴대 가능하고 비용 효율적인 대안이 될 수 있다고 언급했습니다. 이 연구는 망막이 뇌 건강에 대한 가치 있는 단서를 보유하고 있다는 점과, 현대의 인공지능이 단순히 일부분이 아닌 전체 그림을 보도록 설계되었을 때 이전보다 더 효과적으로 그 단서들을 풀어낼 수 있다는 점을 확인시켜 주었습니다. 여러 개의 눈 뷰를 성공적으로 엮어냄으로써, 이 새로운 방법은 뇌졸중에 대한 첫 번째 방어선이 간단하고 통증 없는 빠른 사진 촬영만큼 쉬워질 수 있는 미래를 제시합니다.

기술 요약: 다중 뷰 망막 안저 영상을 이용한 뇌졸중 탐지를 위한 브레이디드 비전 트랜스포머(Braided Vision Transformer)

문제 정의
뇌졸중 및 일과성 허혈 발작(TIA)은 전 세계적인 사망 및 이환의 주요 원인으로 남아 있다. 컴퓨터 단층촬영(CT)과 자기공명영상(MRI)이 뇌졸중 평가를 위한 골드 표준이지만, 이들의 임상적 유용성은 높은 비용, 긴 촬영 시간, 그리고 (CT의 경우) 방사선 노출이라는 한계가 있다. 망막 안저 영상은 망막 미세혈관의 변화가 뇌혈관 건강을 반영한다는 점에서 비침습적이고 휴대 가능하며 비용 효율적인 대안을 제공한다. 그러나 뇌졸중 평가를 위한 망막 영상을 사용하는 기존의 딥러닝 접근 방식은 두 가지 주요 한계에 직면해 있다: (1) 대부분의 연구가 한쪽 눈의 단일 뷰 이미지만을 사용하여 양안 간의 혈관 변이를 포착하지 못하며, (2) 기존의 다중 뷰 방법들은 합성곱 신경망(CNN)에 의존하고 있는 반면, 이 특정 과업을 위한 비전 트랜스포머(ViT)의 잠재력은 아직 탐구되지 않았다. 더욱이, TIA 탐지는 허혈성 뇌졸중에 비해 크게 간과되어 왔다.

방법론
저자들은 양안의 다중 뷰 망막 안저 영상을 분석하기 위해 설계된 새로운 아키텍처인 **브레이디드 비전 트랜스포머(Braided Vision Transformer, BViT)**를 제안한다.

입력 데이터: 모델은 환자당 네 개의 이미지 세트, 즉 왼쪽( $l$ )과 오른쪽( $r$ ) 눈에서 각각 황반 중심( $v_2$ ) 및 시신경 유두 중심( $v_1$ ) 뷰를 처리한다.
아키텍처:
- 임베딩(Embedding): 각 4개의 입력 이미지는 패치로 나누어지고, 평탄화(flattened)된 후 위치 임베딩(positional embeddings)이 추가된다.
- 브레이디드 트랜스포머 모듈(Braided Transformer Modules): 채널을 독립적으로 처리하거나 쌍(pair)으로만 연결되는 뮤추얼 트랜스포머(mutual transformers)와 달리, BViT는 "브레이디드(braided, 땋은 형태의)" 구조를 채택한다. 이는 두 단계의 순차적인 트랜스포머 블록을 포함한다:
  1. 첫 번째 단계: 네 개의 이미지 임베딩( $\dot{a}, \dot{b}, \dot{c}, \dot{d}$ )은 한 임베딩의 쿼리(query)가 다른 임베딩의 키(key)와 값(value)에 어텐션(attention)을 수행하는 상호 어텐션 메커니즘을 통해 처리되며, 이를 통해 초기 교차 채널 상호작용을 구축한다.
  2. 두 번째 단계: 첫 번째 단계의 출력은 두 번째 브레이디드 블록에서 다시 처리되어, 모든 입력 채널 간의 복잡한 교차 연결성을 생성한다. 이 설계는 안구 내 관계(서로 다른 뷰)와 안구 간 관계(좌안 vs 우안)를 동시에 모델링함으로써 임상 관행을 모방한다.
- 분류(Classification): 최종 특징 벡터는 평탄화되고 결합(concatenated)된 후, 이진 분류(뇌졸중/TIA vs 정상) 또는 다중 클래스 분류(뇌졸중, TIA, 정상)를 위해 ReLU 및 Softmax 활성화 함수가 적용된 완전 연결 계층(fully connected layers)을 통과한다.
데이터셋 및 학습: 모델은 220명의 참가자(TIA 26명, 뇌졸중 73명, 정상 대조군 121명)로 구성된 Stroke-Data 데이터셋(802개의 망막 이미지 포함)을 사용하여 학습되었다. 데이터 부족 문제를 해결하기 위해 회전, 뒤집기, 전단(shear), 줌 등의 광범적인 데이터 증강을 적용하여 12,000개의 학습 샘플을 확보하였다. 모델은 Adam 옵티마이저와 범주형 교차 엔트로피 손실 함수를 사용하여 층화된 5-겹 교차 검증(stratified 5-fold cross-validation) 체계를 활용하였다.

주요 기여

망막 뇌졸중 평가를 위한 최초의 ViT: 저자들이 알고 있는 바로는, 뇌졸중 및 TIA 탐지를 위해 비전 트랜스포머를 망막 안저 영상에 적용한 첫 번째 연구이다.
새로운 브레이디드 아키텍처: 표준 ViT 및 뮤추얼 트랜스포머 모듈과 구별되는, 양안의 다중 뷰 관계를 동시에 포착하기 위해 특정한 브레이디드 구조를 활용하는 BViT 모델을 도입하였다.
다중 뷰 학습 패러다임: 본 연구는 다중 뷰 학습(양안 및 두 가지 초점 뷰 모두 활용)이 단일 뷰 접근 방식보다 뇌혈관 사건과 관련된 이질적인 망막 바이오마커를 포착하는 데 우수함을 입증한다.

실험 결과
실험은 Stroke-Data 데이터셋을 대상으로 BViT를 바닐라 ViT(Vanilla ViT), 뮤추얼 ViT(Mutual ViT), 그리고 CNN 기반의 MVS-Net 변형 모델들과 비교하여 수행되었다.

이진 분류 (뇌졸중/TIA vs 정상): BViT는 AUC 0.752를 달성하여 바닐라 ViT(0.729), 뮤추얼 ViT(0.717), 그리고 가장 우수한 CNN 베이스라인인 MVS-Net-v1(0.707)을 능가하는 최고 성능을 기록했다. BViT는 또한 0.647의 민감도와 0.727의 특이도를 달성했다.
다중 클래스 분류: 뇌졸중, TIA, 정상 대조군을 구분하는 데 있어, BViT는 정상 대조군(0.716)과 TIA 환자(0.618)에 대해 가장 높은 AUC를 달성했다. 뇌졸중 클래스의 경우, 0.715의 AUC를 기록하여 뮤추얼 ViT(0.719)에 근소하게 뒤처졌다.
단일 뷰 vs 다중 뷰: 다중 뷰 BViT를 단일 뷰 ViT 베이스라인과 비교하는 핵심적인 절제 연구(ablation study)를 수행했다. 단일 뷰 모델은 0.49라는 낮은 AUC를 보인 반면, 다중 뷰 접근 방식은 0.71에 도달하여 뷰와 안구 전반에 걸친 정보 통합의 필요성을 강조했다.
모델 효율성: 트랜스포머 기반 모델임에도 불구하고, BViT(약 8백만 개의 파라미터)는 MVS-Net-v2(약 3천 5백만 개의 파라미터)와 같은 더 큰 CNN 아키텍처와 경쟁할 수 있을 만큼 우수한 성능을 보였다.

의의 및 주장
본 논문은 BViT 모델이 신속하고 비침습적인 뇌졸중 위험 평가를 위한 망막 안저 영상 사용의 타당성을 성공적으로 입증했다고 주장한다. 저자들은 브레이디드 아키텍처가 여러 뷰와 양안의 보완적인 혈관 및 구조적 정보를 활용함으로써 임상 평가 관행을 효과적으로 모방한다고 강조한다. 결과가 유망함을 보여주기는 하지만, 저자들은 치료적 의사결정에는 여전히 신경 영상(CT/MRI)이 필수적임을 언급하며 신중한 태도를 유지한다. 본 연구는 허혈성 뇌졸중 예측을 위한 향러 트랜스포머 기반 프레임워크의 토대를 마련하였으나, 초기 진단 단계에서 TIA와 뇌졸중을 구별하는 임상적 어려움(다중 클래스 TIA 탐지에서의 낮은 민감도로 나타남)을 인정한다.

유사한 논문