당신이 로봇에게 도시의 지도를 그리도록 가르치려 한다고 상상해 보세요. 하지만 당신은 오직 흐릿한 사진만을 보여줄 수 있고, 때로는 서로 모순되는 지침을 줄 수만 있습니다. 이것이 컴퓨터가 의료 영상을 이해하려고 노력할 때 마주하는 일상의 현실입니다. 인공지능의 세계에는 사진을 보는 동시에 글을 읽으며 학습하는 '멀티모달 학습(multimodal learning)'이라는 성장하는 분야가 있습니다. 이것은 마치 형사가 흐릿한 보안 카메라 사진과 목격자의 서면 보고서를 결합하여 범죄를 해결하는 것과 같습니다. 보통 이러한 컴퓨터들은 설령 틀렸을 때조차 매우 자신만만합니다. 그들은 사진의 모든 픽셀과 보고서의 모든 단어를 고정되고 변하지 않는 사실로 취급합니다. 하지만 현실 세계에서 의료 영상은 종종 (어두운 곳에서 찍은 사진처럼) 노이즈가 많고, 의사의 기록은 모호하거나 불분명할 수 있습니다. 컴퓨터가 이러한 무질서함을 무시할 때, 특히 새로운 유형의 환자나 자신이 본 적 없는 다른 종류의 카메라를 접했을 때 위험한 실수를 저지를 수 있습니다.

여기서 새로운 연구가 게임의 판도를 바꾸기 위해 등장했습니다. 이 논문의 연구진은 DistMedVL이라는 시스템을 통해, 컴퓨터에게 확신을 강요하는 대신 불확실함에 익숙해지도록 가르쳐야 한다는 점을 깨달았습니다. 그들은 단순히 사진을 단어에 맞추는 것이 아니라, 하나의 "퍼지는 구름(fuzzy cloud)" 형태의 가능성을 또 다른 "퍼지는 구름"에 맞추는 시스템을 구축했습니다. 이렇게 함으로써 컴퓨터는 "이 부분은 꽤 확실하지만, 저 부분은 조금 불확실해"라고 말할 수 있게 되며, 그에 따라 최종 답변을 조정합니다. 이 접근 방식은 데이터가 지저로울 때나 완전히 새로운 것을 보고 있을 때도 AI가 정확성을 유지하도록 도와주며, 이는 의사들을 돕는 데 있어 훨씬 더 안전하고 신뢰할 수 있는 도구가 되게 합니다.

문제점: 과도하게 자신만만한 로봇

친구와 함께 "물체 맞히기" 게임을 하고 있다고 상상해 보세요. 친구가 동물을 설명하면, 당신은 사진 속에서 그 동물을 찾아야 합니다. 만약 친구가 "다리가 네 개고 꼬리가 있어"라고 말했는데, 사진에 개, 고양이, 말이 있다면, 일반적인 컴퓨터는 단순히 가장 먼저 찾은 매칭 대상인 개를 선택할 것입니다. 그것은 설명이 모호하거나 사진이 흐릿하다는 점에는 신경 쓰지 않습니다. 그것은 모든 세부 사항이 100% 완벽하다고 믿는 경직된 로봇처럼 행동합니다.

의료 영상에서 이것은 큰 문제입니다. 의사의 보고서에 "종양일 수도 있는 그림자가 있음"이라고 적혀 있고, X-레이가 다소 거칠 수 있습니다. 표준 AI는 텍스트를 이미지와 맞추려다 혼란에 빠지거나 자신 있게 잘못된 모양을 그려낼 수 있습니다. 그것은 "그림자"와 "거친 입자"를 명확하고 단단한 사실인 것처럼 취급합니다. AI가 다른 병원의 기계나 학습 과정에서 보지 못한 희귀 질환을 마주하게 되면, "잠깐, 이거 좀 이상한데, 잘 모르겠어"라고 말할 방법이 없기 때문에 무너지는 경향이 있습니다.

해결책: "퍼지는 구름" 어댑터

이 논문의 저자들은 DistMedVL이라 불리는 새로운 시스템을 제안합니다. 경직된 로봇 대신, 그들은 "확률적(probabilistic)"인 로봇을 만들었습니다. 핵심 아이디어는 단어와 이미지 픽셀을 단일한 고정점으로 취급하는 것을 멈추고, 이를 가능성의 구름으로 취급하기 시작하는 것입니다.

의사의 노트에 적힌 "간(liver)"이라는 단어를 작은 점이 아니라 푹신한 구름이라고 생각해 보세요. 구름의 어떤 부분은 매우 밀도가 높고(컴퓨터가 간의 중심부에 대해 매우 확신함), 가장자리 부분은 옅습니다(컴퓨터가 정확한 경계에 대해 확신이 낮음). 마찬가지로, X-레이의 한 구역은 단순히 하나의 색상이 아니라 잠재적인 의미를 가진 구름입니다.

이를 구현하기 위해 연구진은 AI의 뇌에 PCM-Adapter라는 특별하고 가벼운 도구를 추가했습니다. 이 어댑터는 AI가 결정을 내리기 전에 노이즈를 정화하는 스마트한 필터 역할을 하며 두 가지 주요 임무를 수행합니다.

1. 마할라노비스 정렬 모듈 (MAM): "신뢰 측정기"

어댑터의 첫 번째 부분은 MAM입니다. 자동차의 흐릿한 사진을 설명과 맞추려고 노력한다고 상상해 보세요. 어떤 부분은 선명하지만(바퀴), 어떤 부분은 번져 있습니다(배경). 일반적인 컴퓨터는 전체를 똑같이 맞추려고 합니다. 그러나 MAM은 신뢰 측정기 역할을 합니다.

MAM은 텍스트의 "구름"과 이미지의 "구름"을 살펴봅니다. 만약 이미지의 특정 부분이 매우 흐릿하다면(높은 불확실성), MAM은 "이 부분은 너무 노이즈가 많으므로 이 매칭을 무시하겠다"라고 말합니다. MAM은 수학적으로 매칭의 가중치를 조절하여 신뢰할 수 없는 특징들이 정답을 망치지 않도록 합니다. 이는 로봇에게 "흐릿한 배경에 주의를 빼앗기지 말고, 자동차의 선명한 부분에 집중해"라고 말하는 것과 같습니다. 이는 AI가 이미지의 노이즈와 텍스트의 모호함을 무시하도록 돕습니다.

2. 분포 흐름 모듈 (DFM): "합의 확인"

두 번째 부분은 DFM입니다. 때때로 이미지 자체가 혼란스러울 수 있습니다. 예를 들어, X-레이에 종양일 수도 있고 단순한 그림자일 수도 있는 이상한 모양이 나타날 수 있습니다. DFM은 마치 탐정 그룹이 서로 의견이 일치하는지 확인하는 것과 같이 작동합니다.

DFM은 이미지의 여러 부분이 일관된 이야기를 전달하는지 확인하기 위해 이미지의 모든 부분을 살펴봅니다. 만약 이미지의 서로 다른 부분들이 서로 충돌한다면(높은 분산), DFM은 "잠깐, 이미지가 혼란스럽다. 이 혼란이 텍스트 설명을 방해하게 두지 말자"라고 판단합니다. DFM은 이미지가 텍스트에 얼마나 영향을 미칠지 결정하기 위해 "신뢰성 게이트(reliability gate)"를 사용합니다. 이미지가 지저로울 경우 게이트는 닫히고, 텍스트 설명은 강력하게 유지됩니다. 만약 이미지가 선명하고 모두의 의견이 일치한다면, 게이트가 열리고 텍스트는 시각적 증거로부터 유용한 도움을 받게 됩니다.

연구 결과: 모든 면에서 우수함

연구진은 유방 초음파, 대장 내시경, 갑상선 스캔 등을 포함한 8가지 서로 다른 의료 데이터셋을 통해 이 새로운 시스템을 테스트했습니다. 그들은 텍스트를 사용하여 이미지 분석을 유도하는 기존의 최신 방법들과 DistMedVL을 비교했습니다.

결과는 인상적이었습니다. 연구진이 AI에게 학습할 데이터를 매우 적게 주었을 때도(통상적인 훈련 세트의 **10%**만 제공), DistMedVL은 여전히 다른 방식들보다 뛰어난 성능을 보였습니다. 실제로 데이터가 부족할 때, DistMedVL과 다른 방법들 사이의 격차는 오히려 더 벌어졌습니다. 이는 "퍼지는 구름" 접근 방식이 AI가 불확실한 상황을 처리하는 데 특히 효과적임을 시사합니다.

또한 연구진은 "도메인 시프트(domain shifts)", 즉 AI가 새로운 유형의 병원이나 다른 종류의 기계를 보게 될 때 어떤 일이 발생하는지 테스트했습니다. 한 종류의 초음파로 훈련된 AI를 완전히 다른 초음파로 테스트했을 때, DistMedVL은 경쟁 모델들보다 훨씬 더 잘 버텨냈습니다. 무너지지 않고 적응한 것입니다.

마지막으로, 연구진은 입력을 의도적으로 망가뜨려 시스템의 견고함을 테스트했습니다. 이미지를 흐리게 만들고 텍스트 지침을 뒤섞었습니다. 다른 시스템들의 성능은 크게 떨어졌지만, DistMedVL은 아주 약간의 타격만을 입었습니다. 이는 불확실성을 인정함으로써 시스템이 약해지는 것이 아니라 오히려 더 견고해졌음을 증명했습니다.

결론

이 논문은 자신이 무엇을 모르는지 인정함으로써 AI가 실제로 더 많은 것을 알 수 있다는 것을 보여줍니다. DistMedVL은 사진과 단어 사이의 완벽한 일치를 강요하려 하지 않습니다. 대신, 모든 정보의 신뢰도를 따지기 위해 영리한 2단계 프로세스를 사용합니다. 노이즈가 많은 부분의 가중치는 낮추고, 명확한 부분의 가중치는 높입니다.

이 연구는 이러한 접근 방식이 단 630만 개의 학습 가능한 파라미터(이토록 복잡한 작업치고는 매우 적은 숫자)만으로도 최첨단(state-of-the-art) 결과를 달낼 수 있음을 보여주었습니다. 저자들은 이 방법이 데이터가 지저롭거나, 불완전하거나, 혹은 컴퓨터가 실험실에서 배웠던 것과 다른 경우가 많은 실제 환경에서 의료 AI를 위한 더 탄탄한 토대를 제공한다고 제안합니다. 이는 단순히 추측하는 것이 아니라, 자신의 지식의 한계를 이해하는 AI를 향한 한 걸음입니다.