$\Delta$Representation: Geometry Supervised Representation Learning of Phenotypes via Counterfactual Reasoning for Medical VLMs

병원 방사선과의 고요한 소음 속에서, 한 의사가 CT 스캔을 연구하며 건강한 폐와 병든 폐 사이의 미세한 차이를 찾고 있습니다. 인간의 눈에 이 작업은 정상 조직이 질병에 의해 어떻게 변하는지를 인식하기 위한 수년간의 훈련에 의존합니다. 최근 몇 년 동안, 컴퓨터는 시각-언어 모델(vision-language models)이라고 불리는 인공지능 시스템을 통해 이와 동일한 기술을 배우기 시작했습니다. 이 시스템들은 의료 영상을 보고 임상 텍스트를 읽도록 훈련되어, 자신이 보는 것과 쓰여 있는 것을 연결하는 법을 배웁니다. 목표는 의사가 스캔 영상을 해석하고, 이상 징관을 발견하며, 보고서를 생성하는 것을 도울 수 있는 디지털 비서를 만드는 것입니다. 그러나 중대한 장애물이 남아 있습니다. 이 컴퓨터 모델들은 종종 질병이 몸속에 떠다니는 별개의 물체가 아니라, 신체의 정상적인 구조에 일어나는 변화라는 점을 이해하는 데 어려움을 겪습니다. 그들은 영상을 전체로서 보지만, 병변(lesion)이나 손상된 부위가 주변의 건강한 조직과 정확히 어떻게 다른지는 분리해 내는 데 어려움을 겪습니다. 이러한 정밀한 이해가 없다면, 컴퓨터는 무언가 잘못되었다는 것은 식별할 수 있어도, 의사가 필요로 하는 정밀도로 무엇이 정확히 잘못되었는지, 혹은 어디에 위치해 있는지를 신뢰성 있게 설명할 수는 없습니다.

한 연구팀은 이러한 컴퓨터 모델을 가르치는 새로운 방법, 즉 단순히 최종 이미지만을 보는 것이 아니라 '변화'라는 개념에 집중하는 방법을 제안했습니다. 그들은 이를 반사실적 추론(counterfactual reasoning)을 통한 시각적 표현 학습법이라고 부릅니다. 간단히 말해서, 연구진은 컴퓨터에게 아픈 폐 사진를 보여주며 질병의 이름을 맞히라고 요구하는 대신, 그 특정 부위가 만약 건강했다면 어떤 모습이었을지를 상상하도록 가르칩니다. 시스템은 먼저 건강한 신체 부위들이 공간적으로 어떻게 배치되어 있는지에 대한 상세한 지도를 학습합니다. 즉, 심장이 폐와 어떤 관계에 놓여 있는지, 그리고 혈관이 어떻게 연속적인 경로를 따르는지를 이해합니다. 일단 이러한 정상 해부학적 지도가 구축되면, 컴퓨터는 병든 영역을 바라보며 다음과 같은 가설적인 질문을 던집나다. "만약 이 지점이 정상이었다면, 어떤 모습이었을까?" 실제 병든 조직의 이미지와 이렇게 상상된 건강한 버전을 비교함으로써, 시스템은 구체적인 차이를 계산합니다. 이 차이, 즉 '증분(increment)'으로서의 변화가 질병을 식별하는 핵심이 됩니다. 연구진은 이 실재하는 상태와 상상된 건강한 상태 사이의 간극에 집중함으로써, 컴퓨터가 문제가 어디에 있는지 정확히 짚어내고 어떤 종류의 문제인지 정확하게 설명하는 능력이 훨씬 향상된다는 것을 발견했습니다.

이 방법은 두 가지 뚜렷한 단계로 구성됩니다. 첫째, 시스템은 질병이 존재하지 않는 상태에서 인체의 기하학적 구조를 학습하는 훈련 단계를 거칩니다. 시스템은 수천 장의 건강한 해부학적 이미지를 보여주며, 이러한 구조들의 공간적 관계가 현실과 일치하도록 내부적 이해를 배치하는 법을 배웁니다. 모델이 왼쪽 폐가 오른쪽 폐와 어떤 위치 관계에 있어야 하는지, 그리고 조직이 단일 장기 내에서 어떻게 연속적으로 흐르는지를 알게 된다면, 안정적인 기준점을 구축하게 됩니다. 이는 컴퓨터에게 신뢰할 수 있는 베이스라인을 제공한다는 점에서 매우 중요합니다. 둘째 단계에서 시스템은 결절(nodules)이나 염증 부위와 같은 병변이 포함된 영상을 접합니다. 병든 조직의 모든 패치에 대해, 시스템은 건강한 해부학에 대한 지식을 사용하여 해당 패치가 질병이 없었다면 어떤 모습이어야 할지를 추정합니다. 그런 다음 추정된 건강한 버전을 실제 병든 이미지에서 뺍니다. 그 결과는 오직 병리학적 변화만을 강조하며, 정상 해부학의 배경 소음을 제거한 명확한 신호가 됩니다. 이를 통해 모델은 '폐 결절'이 단순히 무작위적인 모양이 아니라, 정상적인 폐 조직에 대한 특정한 유형의 시각적 변화라는 것을 학습할 수 있습니다.

이 아이디어를 테스트하기 위해, 연구진은 자신들의 방법을 여러 기존 의료 인공지능 모델에 적용하고, 흉부 CT 스캔이 포함된 두 개의 대규모 공개 데이터셋을 통해 평가했습니다. 한 데이터셋에는 네 가지 특정 폐 질환에 대한 상세한 노트가 포함된 2,0로 이상의 영상이 있었고, 다른 데이터셋에는 폐 결절에 대한 전문가 주석이 달린 수백 개의 스캔이 포함되었습니다. 결과는 모델이 두 가지 핵심 과업, 즉 스캔상의 병변 위치를 정확히 찾아내는 능력과 질병 유형을 올바르게 식별하는 능력을 수행하는 데 있어 극적인 향상을 보였습니다. 예를 들어, 한 모델을 테스트했을 때 문제를 정확히 짚어내는 정확도가 약 10%에서 50% 이상으로 급증했습니다. 마찬가지로, 특정 질병 유형을 식별하는 정확도는 일부 사례에서 세 배 이상 증가했습니다. 연구진은 시스템에 병든 조직의 사례를 더 많이 입력할수록, 서로 비슷해 보이는 새들을 많은 사례를 본 뒤에 구분할 줄 알게 되는 학생처럼, 서로 다른 유형의 질환을 구별하는 능력이 더욱 날카로워지는 것을 관찰했습니다.

또한 이 연구는 컴퓨터가 스캔에 대한 전체 서술형 보고서를 생성하도록 요청받는 경우, 즉 방사선 보고서 생성(radiology report generation) 작업에서도 이 방식이 잘 작동함을 입증했습니다. 이 테스트에서 새로운 방법이 적용된 모델들은 설명이 더 정확할 뿐만 아니라, 그 설명을 이미지의 올바른 부분과 연결하는 능력도 더 뛰어났습니다. 한 구체적인 사례 연구에서, 표준 모델은 간유리 음영(ground-glass opacity, 폐의 미세한 구름 같은 혼탁)을 감지하지 못하고 정상이라고 보고했습니다. 그러나 새로운 방법을 사용한 모델은 이상 징후를 정확히 식별하고, 그 질감과 형태를 설명하며, 폐 하부에 위치해 있음을 기록했습니다. 이러한 성공은 컴퓨터에게 신체의 정상적인 레이아웃을 이해하게 하고, 그 레이아웃으로부터의 편차를 측정하게 함으로써 시스템이 질병에 대해 더 깊고 신뢰할 수 있는 이해를 얻게 된다는 것을 시사합니다. 연구진은 정상과 비정상을 비교 과정을 통해 분리하는 이 학습 방식이 의료 영상을 해석하는 인공지능을 개선하는 강력한 도구가 될 수 있으며, 잠재적으로 더 정확한 진단과 미래의 의사들을 위한 더 나은 지원으로 이어질 수 있다고 결론지었습니다.