Eyes on the Image: Gaze Supervised Multimodal Learning for Chest X-ray Diagnosis and Report Generation

영상의학과실의 조용하고 어둑한 방 안에서, 한 의사가 인간 흉부의 흑백 이미지를 연구하고 있다. 이것은 흉부 X선 사진으로, 뼈와 공기, 그리고 액체가 존재하는 3차원의 세계를 숨기고 있는 평면적인 그림이다. 질병을 찾기 위해 의사는 이미지를 무작위로 보는 것이 아니라, 부러진 갈비뼈나 액체가 고인 흔적이 숨어 있을 법한 특정 지점에 시선을 머물게 하는 특정한 숙련된 패턴에 따라 움직인다. 이러한 시각적 탐색은 인간의 신체에 대해 알고 있는 바와 보이는 것을 연결하는 방식이자, 일종의 침묵하는 추론이다. 수십 년 동안 컴퓨터는 이 기술을 배우기 위해 X선의 픽셀을 분석하며 질병을 찾아내려 노력해 왔다. 그러나 기계는 질병이 존재한다는 사실을 식별하는 데는 능숙해졌지만, 정확히 어디를 보아야 하는지는 이해하는 데 어려움을 겪는 경우가 많으며, 의사들이 사용하는 명확한 공간적 언어로 그 결과를 설명하는 데 자주 실패한다. 기계는 환자에게 폐렴이 있다고 말할 수는 있지만, 폐의 어느 특정 부위가 아픈지 지목할 수 없으며, 인간 전문가와 같은 정밀함으로 이를 묘사할 수도 없다.

방글라데시 다카에 위치한 BRAC 대학교 연구진의 새로운 연구는 컴퓨터에게 인간의 눈이 어떻게 움직이는지를 가르침으로써 이 간극을 메우고자 시도한다. 연구팀은 단순히 X선 이미지를 보는 것을 넘어, 동일한 이미지를 판독하는 영상의학 전문의의 기록된 안구 운동을 연구하는 시스템을 구축했다. 연구진은 흉부 사진, 의사의 소견서 텍택스트, 그리고 의사의 눈이 어디에 머물고 집중했는지를 나타내는 지도를 결합하여, 인간처럼 흉부를 바라보는 법을 배우는 모델을 만들었다. 데이터의 절반에 대해서는 시스템이 해부학적 영역의 윤곽선을 함께 통합하며, 원래 기록에 이러한 윤곽선이 없는 나머지 절반에 대해서는 특화된 탐지 모델을 사용하여 계산적으로 윤곽선을 생성한다. 그 결과, 이 컴퓨터 시스템은 더 높은 정확도로 질병을 진단할 뿐만 아니라, 인간 전문가의 세심하고 단계적인 주의력을 모방하여 문제가 발견된 폐의 특정 부위에 근거한 의료 보고서를 생성한다.

연구진은 방대한 양의 흉부 X선 컬렉션으로 시작했지만, 사진 이상의 것이 필요했다. 그들은 의사가 어디를, 얼마나 오래, 심지어 그 순간의 동공 크기는 어떠했는지까지 기록하는 실제 안구 추적 데이터를 포함한 데이터셋을 수집했다. 또한 의사들이 작성한 서술형 보고서도 포함했다. 흉부 영역의 경우, 가능한 경우에는 기존의 윤곽선을 활용하였고, 이러한 윤곽선이 없는 연구의 경우에는 필요한 경계를 추론하기 위해 경량 탐지 모델을 훈련시켰다. 과제는 이미지, 텍스트, 윤곽선(원래의 것이든 추론된 것이든), 그리고 안구 운동이라는 네 가지 서로 다른 정보의 흐름을 하나의 이해로 융합하는 법을 컴퓨터에게 가르치는 것이었다. 연구팀은 이를 달성하기 위해 2단계 과정을 설계했다. 첫 번째 단계에서 컴퓨터는 환자를 진단하는 법을 배운다. 컴퓨터는 X선 이미지와 안구 추적 지도를 동시에 본다. 단순히 추측하는 대신, 모델은 인간 의사의 시선이 머물렀던 것과 동일한 지점에 주의를 기울이도록 훈련된다. 만약 의사의 시선이 오른쪽 아래 폐에 집중되었다면, 컴퓨터는 액체나 감염이 있는지 결정할 때 해당 영역에 더 큰 비중을 두도록 학습한다. 이 훈련은 컴퓨터의 주의를 임상적으로 중요한 영역으로 유도하고 불필요한 노이즈로부터 멀어지게 하는 가이드 역할을 한다.

이러-훈련의 결과는 측정 가능하며 유의미했다. 컴퓨터가 인간의 시선을 따르도록 교육받았을 때, 질병을 정확하게 식별하는 능력이 눈에 띄게 향상되었다. 다양한 질환을 탐지하는 시스템의 정확도가 명확한 차이로 상승했으며, 인간 의사의 집중 지점과 일치하는 능력도 훨씬 강력해졌다. 구체적으로, 컴퓨터가 보는 곳과 인간이 보는 곳 사이의 일치도가 높아졌는데, 이는 단순히 운 좋은 추측이 아니라 시각적 과업에 대한 진정한 이해를 시사하는 수준이었다. 컴퓨터는 인간의 안구 운동 히트맵과 매우 유사한 형태의 어텐션 맵(attention maps)을 생성하기 시작했으며, 이는 의사가 표시할 법한 어두운 부분과 구조적 이상을 강조하였다. 이는 안구 추적 데이터가 단순한 추가 정보가 아니라, 더 나은 진단 성능을 끌어내는 핵심 열쇠임을 입в 증명했다.

컴퓨터가 이 새로운 시선 인지적 집중력을 통해 환자를 진단하는 법을 배운 후, 연구진은 두 번째 단계인 보고서 작성으로 넘어갔다. 과거의 컴퓨터 생성 보고서는 종-종 로봇 같거나 모호하여, 질병이 어디에 위치하는지 설명하지 못한 채 질병 목록만을 나열하곤 했다. 새로운 시스템은 컴퓨터가 식별한 특정 영역을 사용함으로써 이를 변화시켰다. 시스템은 진단의 확신도를 가져와 이를 상엽, 하엽, 심장 주변부 등 17개의 뚜렷한 해부학적 영역에 매핑했다. 그런 다음, 강력한 언어 도구를 사용하여 이 발견 사항들을 실제 의사의 보고서처럼 들리는 문장으로 변환했다. 단순히 "폐렴이 있음"이라고 말하는 대신, 시스템은 "우측 하폐야에 불투과성이 있음"과 같이 질병을 방금 분석한 특정 위치와 직접 연결하는 문장을 생성할 수 있었다.

생성된 보고서의 품질은 인간의 기준에 따라 테스트되었으며, 시스템은 우수한 성과를 보였다. 시스템이 생성한 보고서는 문법적으로 정확할 뿐만 아니라 의미론적으로도 정확했다. 즉, 사용된 단어가 이미지의 의학적 실체와 일치했다는 의미이다. 시스템은 특히 발견 사항을 기술하는 방식에 있어 인간 영상의학 전문의가 작성했을 내용인 '그라운드 트루스(ground truth)'와 높은 일치도를 보였다. 가장 복잡한 세부 사항에서 여전히 미세한 격차가 존재하기는 했으나, 전반적인 출력물은 의료용 기계 생성 텍스트를 신뢰할 수 있고 유용하게 만드는 데 있어 중요한 진전이었다. 연구진은 시각적 증거와 전문가의 안구 운동에 기반을 둠으로써, 컴퓨터가 사실을 지어내거나 실제로 존재하지 않는 것을 묘사하는 것을 피할 수 있음을 발견했다.

이 연구는 인간이 문제를 바라보는 방식이 기계가 학습할 수 있는 가치 있는 신호라는 점을 보여준다. 안구 운동의 미묘한 단서들을 학습 과정에 통합함으로써, 연구진은 이전 모델들보다 더 투명하고 신뢰할 수 있는 시스템을 만들었다. 컴퓨터는 단순히 이미지를 보는 것이 아니라, 인간의 주의라는 렌즈를 통해 이미지를 본다. 이 접근 방식은 의료 인공지능의 새로운 경로, 즉 기계의 추론이 의사의 추론이 관찰을 바탕으로 하듯 이미지의 특정 부분으로 추적될 수 있는 미래를 제시한다. 연구는 기술이 아직 완벽하지는 않지만, 시각적 데이터, 안구 추적, 그리고 언어 생성이 결합되어 흉부 X선을 해석하는 강력한 도구를 만들어내며, AI의 의료 지원이 정확할 뿐만 아니라 인간의 전문성과 일치할 수 있는 미래를 제공한다고 결론지었다.