Disentangling Co-Occurring Retinal Pathologies with Saliency-Guided Sparse Expert Routing

당신의 눈이 분주한 도시이고, 의사들이 사고를 포착하려는 교통 통제관이라고 상상해 보세요. 수년 동안 이러한 도시를 스캔하는 데 사용된 도구들(망막 이미지)은 마치 거리 전체를 찍는 하나의 거대한 보안 카메라와 같아서, 그 사진 한 장으로 모든 자동차, 건물, 사람에게 무슨 문제가 있는지 추측해야 했습니다. 이 방식은 타이어 펑크 하나처럼 문제가 단 하나일 때는 괜찮게 작동합니다. 하지만 현실 세계에서는, 특히 사람들이 나이가 들거나 당뇨병을 앓게 되면, 한쪽 눈에 여러 가지 문제가 동시에 발생할 수 있습니다. 예를 들어, 타이어 펑크와 전조등 고장, 그리고 도로의 포트홀이 한 곳에서 동시에 일어나는 것과 같습니다.

의료 영상 분석이라는 과학 분야의 이 큰 과제는 컴퓨터가 이렇게 뒤섞인 문제들을 어떻게 풀어낼지 가르치는 것입니다. 표준적인 컴퓨터 프로그램들은 대개 눈 이미지의 모든 부분을 동일하게 취급하며, 건강한 부분과 아픈 부분에 똑같은 "두뇌 능력"을 사용합니다. 이 논문은 바로 이 점을 해결하기 위해 다음과 같은 질문을 던집니다. 만약 우리가 단순히 전체 그림을 보는 것이 아니라, 이미지의 각기 다른 부분을 서로 다른 전문의들에게 보내는 컴퓨터 시스템을 구축할 수 있다면 어떨까요? 이것은 환자가 다리가 부러져서 정형외과 의사에게 가고, 열이 나는 환자는 감염내과 의사를 찾아가는 병원과 같습니다. 목표는 컴퓨터를 더 똑똑하고, 빠르고, 복잡한 안과 질환을 진단할 때 이해하기 쉽게 만드는 것입니다.

안구 스캔을 위한 "스마트 병원"

이 논문에서 조지아 주립대학교와 Piehealthcare Inc.의 연구진은 망막 안저 이미지(눈 뒷부분의 유색 사진)를 분석하는 새로운 방법을 제안합니다. 그들은 기존의 딥러닝 모델들이 마치 다섯 가지 서로 다른 시험을 공부하면서 모든 과목에 대해 똑같은 학습 노트를 사용하는 학생과 같다는 점을 발견했습니다. 당뇨망망증(DR), 황반변성(AMD), 망막전막(ERM), 녹내장과 같은 질환이 함께 발생할 때, 컴퓨터는 이 다양한 "질병의 형태"들을 하나의 크고 엉망인 정보 더미로 합치려 하기 때문에 혼란을 겪습니다.

이를 해결하기 위해 팀은 Saliency-Guided Sparse Expert Routing(돌출도 유도 희소 전문가 라우팅)이라 불리는 시스템을 구축했습니다. 이름이 좀 길으니 재미있는 비유로 풀어보겠습니다. 엄청나게 첨단 기술이 적용된 도서관에 책(눈 이미지)이 매초 도착한다고 상상해 보세요.

1. 스포트라이트 (Saliency-Guided Tokenization)
먼저, 시스템은 **Guided Context Gating (GCG)**라는 "스포트라이트"를 사용합니다. 모든 책의 모든 페이지를 똑같이 읽는 대신, 이 스포트라이트는 표지와 목차를 스캔하여 가장 중요한, 즉 "병이 있는" 부분을 찾아냅니다. 이 과정에서 건강한 배경(눈의 흰자위 등)은 무시하고, 실제로 질병이 있는 지저리하고 색이 변한 부분을 집중적으로 봅니다. 이를 통해 컴퓨터가 중요한 단서에만 주의를 기울이도록 보장합니다.

2. 전문가 팀 (Sparse Mixture-of-Experts)
스포트라이트가 중요한 단서를 찾고 나면, 이미지는 "토큰"이라고 불리는 아주 작은 조각들로 나뉩니다. 이 토큰들은 Mixture-of-Experts (MoE) 블록으로 보내집니다. 이것은 여덟 명의 서로 다른 의사(전문가)가 방에 앉아 있는 팀이라고 생각하면 됩니다.

• 라우터(Router): 똑똑한 교통 경찰(라우터)이 이미지의 각 작은 조각을 살펴보고, 어떤 두 명의 의사가 이를 검사하기에 가장 적합한지 결정합니다. 만약 조각이 출혈처럼 보이면 "출혈 전문가"에게 보내고, 특정 유형의 흉터처럼 보이면 "흉터 전문가"에게 보냅니다.
• 공통 의사(Shared Doctor): 시스템이 기본 사항을 잊지 않도록, 모든 이미지를 살펴보는 한 명의 "공통 전문가"가 존재합니다. 이 의사는 혈관이나 시신경 유두처럼 모든 눈이 공통으로 가진 기본적인 것들을 처리하여, 다른 전문가들이 오로지 질병 특유의 이상 징식에만 집중할 수 있게 합니다.
• 결과: 하나의 거대한 뇌가 모든 것을 하려고 하는 대신, 시스템은 "희소(sparse)"한 방식을 사용합니다. 즉, 특정 이미지에 필요한 특정 전문가들만 깨우는 방식입니다. 이는 에너지를 절약할 뿐만 아니라, 더 중요하게는 서로 다른 질병들이 컴퓨터 메모리 속에서 뒤섞이는 것을 방지합니다.

3. 최종 진단 (Structural Decoding)
전문가들이 업무를 마친 후, 시스템은 그들의 의견을 결합합니다. 하지만 연구진은 영리한 규칙을 하나 더 추가했습니다. 만약 컴퓨터가 환자가 아프다고 판단하면, 그 환자는 자동으로 "정상"이 아니라는 것을 알게 됩니다. 이는 시스템이 환자의 다리가 부러졌으면서 동시에 완벽하게 건강하다는 식의 모순된 답변을 내놓는 것을 방지합니다.

연구 결과

연구팀은 다섯 가지 카테고리(당뇨망망증, 황반변성, 망막전막, 녹내장, 정상)가 포함된 안구 이미지 데이터셋을 사용하여 이 새로운 "스마트 병원" 시스템을 테스트했습니다. 그들은 컴퓨터가 한 번도 본 적 없는 환자의 질병을 맞혀야 하는 엄격한 테스트를 통해 기존의 최고 수준의 모델들과 비교했습니다.

결과는 인상적이었습니다. 새로운 모델은 macro AUC 0.912 ± 0.008과 macro F1 score 0.653 ± 0.014를 달적으로 달성했습니다. 쉬운 말로, 이 모델은 여러 질병을 동시에 포착하는 데 있어 기존의 최고 방법들(약 0.895 AUC)보다 훨씬 뛰어난 성능을 보였습니다.

하지만 가장 멋진 점은 점수뿐만이 아닙니다. 이 시스템은 **해석 가능(interpretable)**하다는 것입니다. 연구진은 실제로 컴퓨터가 어떻게 생각하고 있는지 직접 확인할 수 있었습니다.

• "교통" 지도: 어떤 "의사(전문가)"가 어떤 질병을 위해 선택되었는지 살펴보았을 때, 명확한 패턴을 발견했습니다. 서로 매우 다르게 보이는 질병들(예: 황반변성 또는 녹내장)은 일관되게 특정 전담 전문가에게 이미지 조각들을 보냈습니다.
• "혼합" 테스트: 환자가 두 가지 질병을 동시에 가지고 있을 때(예: DR과 ERM), 컴퓨터는 단순히 무작위로 추측하지 않았습니다. 대신, 이미지의 일부는 "DR 전문가"에게 보내고 다른 부분은 "ERM 전문가"에게 보냈습니다. 컴퓨터의 내부 지도는 이러한 혼합 사례들이 두 개의 별개 질병 그룹 사이의 중간 지점에 위치하고 있음을 보여주었으며, 이는 컴퓨터가 두 문제를 성공적으로 분리해냈음을 증명합니다.
• 시각적 증거: Grad-CAM++ 기법을 사용하여, 컴퓨터가 녹내장의 경우 시신경 유두를, 황반변성의 경우 황반을 보는 것처럼 인간 의사와 똑같이 정확히 올바른 지점을 보고 있다는 것을 보여주었습니다.

이것이 왜 중요한가

이 논문은 "하나의 크기로 통일된" 컴퓨터 두뇌에서 벗어나, 이미지의 각기 다른 부분을 전문 전문가에게 동적으로 배정하는 시스템으로 전환함으로써 복잡한 안과 질환을 더 잘 진단할 수 있음을 시사합니다. 연구진은 전문가의 라우팅이 특정 질병의 존재와 강력하게 연관되어 있음(통계적 유의성 p < 0.001)을 측정했으며, 이는 컴퓨터가 단순히 추측하는 것이 아니라 서로 다른 상태를 분리하는 법을 진정으로 배우고 있다는 것을 의미합니다.

이 모델은 여전히 컴퓨터 프로그램이며 인간 의사를 대체할 수는 없지만, 이 접근 방식은 여러 안과 질환을 동시에 스크리닝하는 유망한 새로운 방법을 제시합니다. 이는 더 많은 문제를 조기에 발견하고 의사가 컴퓨터의 결정 근거를 이해하도록 돕는 데 기려할 수 있습니다. 저자들은 문제가 발생하는 서로 다른 부분을 각기 다른 전문가에게 보내는 방식을 모방한 이 "희소(sparse)"한 방법이, 동반되는 의료 조건들의 복잡한 현실을 풀어내는 강력한 도구라고 결론지었습니다.