컴퓨터가 사진을 보고 무엇이 보이는지 정확하게 말할 수는 있지만, 정작 특정 지점을 손가락으로 가리키는 데는 서툰 세상을 상상해 보십시오. 이제 또 다른 종류의 컴퓨터를 상상해 보십시오. 이 컴퓨터는 사진 속 물체의 윤곽선을 완벽하게 그리는 데는 뛰어나지만, 왜 그 선을 그렸는지 설명할 수 있는 인간의 언어를 단 한 마디도 구사하지 못합니다. 오랫동안 이 두 종류의 "선견자"들은 서로 거의 대화하지 않은 채 각자의 집에서 따로 살았습니다. 이것이 현재 의료 AI의 상태입니다. 어떤 모델은 X-ray를 읽고 보고서를 쓰는 데 뛰어나고, 다른 모델은 종양의 위치를 강조하는 데 뛰어나지만, 이 둘을 결합하는 것은 마치 날아다니는 앵무새에게 초상화를 그리도록 가르치는 것과 같았습니다.

이 격차는 매우 중요합니다. 의사들에게는 단순히 사실의 목록이나 정적인 그림이 필요한 것이 아니라, 스캔 영상을 보고 무엇이 잘못되었는지 추론한 다음, 그 의미를 설명하면서 문제 지점을 직접 가리킬 수 있는 파트너가 필요하기 때문입니다. 여러분이 곧 읽게 될 논문은 바로 이 과제를 다룹니다. 이 논문은 말하고, 생각하고, 동시에 그릴 수 있도록 학습하는 일종의 가교 역할을 하는 새로운 형태의 AI를 소개합니다. 해결책에 뛰어들기 전에, 이 모델이 사용하는 도구들을 이해하는 것이 도움이 됩니다. "시각-언어 모델(Vision-Language Models)"을 사진을 읽고 "이 장기는 무엇인가요?"와 같은 질문에 답할 수 있는 스마트한 비서라고 생각해 보십시오. 하지만 이들은 보통 "여기가 종양입니다"라고 말하며 그 주변에 원을 그릴 수는 없습니다. 반면에 "세그멘테이션 모델(Segmentation Models)"은 모든 장기의 정밀한 지도를 그릴 수 있는 숙련된 지도 제작자와 같지만, 대개 "왼쪽 신장을 그려라"와 같은 매우 구체적인 지시가 필요하며, "산소가 충분히 공급되지 않는 것처럼 보이는 영역을 찾아라"와 같은 복잡한 의료적 단서를 통해 추론하는 데는 어려움을 겪습니다. 이 연구의 목표는 이러한 기술들을 하나의 뇌로 통합하여 이 두 가지를 모두 수행할 수 있게 만드는 것입니다. 이를 위해 인간이 모든 그림을 일일이 채점할 필요 없이 스스로 정밀하게 그리는 법을 배우는 특별한 기술을 사용합니다.

문제점: 거대한 분리

의료 AI의 세계에는 좌절스러운 분열이 존재해 왔습니다. 한쪽에는 언어와 이미지를 함께 이해하는 데 뛰어난 모델들이 있습니다. 이들은 "이것이 폐렴인가요?"라는 질문에 답하거나 스캔에 대한 보고서를 작성할 수 있습니다. 하지만 만약 그들에게 이미지의 정확히 어디에 폐렴이 있는지 가리키라고 요청한다면, 그들은 길을 잃거나 막연하게 추측하곤 합니다. 다른 한쪽에는 장기나 질병의 정밀한 윤곽선을 그리는 데 탁월한 세그멘테이션 모델들이 있습니다. 그러나 이 모델들은 대개 "오른쪽 신장을 그려라"와 같은 매우 구체적인 지시가 필요하며, "산소가 부족해 보이는 영역을 찾아라"와 같이 복잡한 의료적 단서를 통해 추론해야 하는 경우 어려움을 겪습니다.

연구자들은 이 모델들을 훈련시키는 데 사용되는 데이터 또한 분리되어 있다는 점에 주목했습니다. 윤곽선을 그리는 데 사용되는 데이터셋(세그멘테이션)은 수천 개의 완벽한 그림을 가지고 있지만, 그에 따르는 언어 정보는 거의 없었습니다. 반면 의료 질문을 위한 데이터셋은 많은 텍텍스트를 포함하고 있지만, AI에게 가리키는 법을 가르치는 데 필요한 정밀한 그림은 드물었습니다. 이는 병목 현상을 일으켰습니다. 진정으로 똑똑한 의료 AI를 구축하려면 언어와 정밀한 그림이 결합된 방대한 양의 데이터가 필요했지만, 그러한 데이터를 확보하는 것은 비용이 많이 들고 매우 어려웠습니다.

해결책: MedPixel과 "MedPLG-440K"의 마법

여기 MedPixel이 등장합니다. 이 모델은 궁극의 의료 탐정이 되도록 설계된 새로운 통합 모델입니다. 두 모델이 서로 대화하도록 강요하는 대신, MedPixel은 처음부터 단어와 픽셀을 동시에 이해하도록 구축되었습니다. 이 모델은 특수한 토큰(마치 마법의 단어와 같은 <SEG>)을 사용하여, 모델에게 "자, 이제 말하는 것을 멈추고 그리기 시작해"라고 알려주는 영리한 인터페이스를 사용합니다.

하지만 수백만 장의 이미지에 라벨을 붙이기 위해 수천 명의 의사를 고용하지 않고 어떻게 모델에게 말하기와 그리기 를 동시에 가르칠 수 있을까요? 저자들은 MedPLG-440K라는 데이터셋을 만들었습니다. 이것은 새로운 이미지의 모음이 아니라, 기존의 의료용 그림을 영리하게 재해석한 것입니다. 연구자들은 이미 윤곽선(마스크)이 그려져 있는 수천 개의 기존 의료 이미지를 가져와서, 그 윤곽선을 언어 학습으로 변환하는 스마트한 과정을 거쳤습니다.

종양 그림이 있다고 가정해 봅시다. 시스템은 단순히 그림을 유지하는 대신, 종양의 모양, 크기, 질감을 분석하여 "중앙에 매끄러운 가장자리를 가진 작은 타원형 종양이 있습니다"와 같은 설명을 자동으로 작성합니다. 그런 다음 의사가 "종양을 보여줄 수 있나요?"라고 묻고, AI가 설명과 그림을 함께 제시하는 대화 형식을 만듭니다. 연구진은 이를 약 440,000개의 서로 다른 시나리오에 대해 수행했으며, 다음 네 가지 주요 상호작용을 포함했습니다:

1. 참조 세그멘테이션 (Referring Segmentation): "오른쪽 신장을 그려줘."
2. 추론 세그멘테이션 (Reasoning Segmentation): "산소가 충분히 공급되지 않는 것처럼 보이는 영역을 찾아줘." (AI는 그림을 그리기 전에 먼저 그것이 무엇인지 파악해야 합니다.)
3. 대화형 세그멘테이션 (Interactive Segmentation): "내가 가리키는 것을 그려줘."
4. 설명형 세그멘테이션 (Explanatory Segmentation): "이 종양을 설명하고 그려줘."

결정적으로, 연구진은 텍나를 작성하기 위해 외부 거대 언어 모델(LLM)을 사용하지 않았으며, 데이터가 순수하게 의료 이미지와 기존의 윤곽선으로부터 생성되도록 하여 데이터의 순수성을 보장했습니다.

핵심 비결: PLPO

모델이 이 모든 것을 수행하도록 훈련시키는 것은 절반의 성공일 뿐입니다. 연구자들은 모델이 완벽한 문장을 쓸 수는 있지만 엉망인 윤곽선을 그릴 수도 있고, 혹은 그 반대의 경우도 발생할 수 있다는 점을 깨달았습니다. 이를 해결하기 위해 그들은 **픽셀 수준 선호도 최적화(Pixel-Level Preference Optimization, PLPO)**라는 훈련 기법을 도입했습니다.

PLPO를 글쓰기뿐만 아니라 그와 함께 따라오는 그림까지 채점하는 엄격한 미술 선생님이라고 생각하십시오. 훈련 과정에서 모델은 동일한 질문에 대해 여러 가지 서로 다른 답변을 생성합니다. 어떤 답변은 문장은 훌륭하지만 그림은 엉망일 수 있습니다. 또 어떤 답변은 문장이 약간 덜 화려할지라도 완벽한 윤곽선을 만들어낼 수 있습니다. PLPO는 "정답(ground truth)", 즉 실제의 올-바른 그림을 보고 모델의 시도들을 평가하며, 그 그림들이 실제와 얼마나 가까운지에 따라 순위를 매깁니다. 그런 다음 모델이 가장 좋은 그림을 만들어내는 답변을 선호하도록 가르칩니다. 이를 통해 모델의 "두뇌(언어)"와 "손(그림)"을 일치시켜, 모델이 말을 할 때 정확한 지점을 가리키도록 보장합니다.

연구 결과

결과는 인상적이었습니다. MedPixel은 단순히 괜찮은 수준을 넘어 전 분야에서 최고 수준의 성능을 보여주었습니다.

• 정밀도: AI가 특정 장기나 질병을 가리켜야 하는 작업에서, MedPixel은 단순한 "지시" 작업에서는 85.0의 Dice 점수를, 복잡한 "추론" 작업에서는 66.7을 달성했습니다. 이는 두 기능을 모두 수행하려 했던 이전 모델들보다 훨씬 뛰어난 성과입니다.
• 추론 능력: 모델은 까다로운 질문도 처리할 수 있음을 보여주었습니다. 예를 들어, "저산소증(hypoxemia)" 및 "양측 침윤(bilateral infiltrates)"과 관련된 영역을 찾으라는 요청을 받았을 때, 모델은 목표를 성공적으로 추론하고 올바른 마스크를 그려냈습니다. 이는 기존 모델들이 자주 실패하던 작업이었습니다.
• 강건성(Robustness): 가장 흥кси로운 발견 중 하나는 모델이 부정확한 지시를 어떻게 처리하는가였습니다. 사용자가 그림을 안내하기 위해 약간 부정확한 박스나 점을 제공하더라도, MedPixel은 자신의 언어 능력을 사용하여 의도를 명확히 파악하고 여전히 정확한 윤곽선을 그려낼 수 있었습니다. 이는 기존의 "포인트-앤-드로우(point-and-draw)" 모델들보다 인간의 실수에 훨씬 더 관대했습니다.
• 일반화 능력: 본 적 없는 의료 데이터로 테스트했을 때(제로샷 전이), MedPixel은 다른 모델들보다 우수한 성능을 보였으며, 이는 모델이 단순히 특정 이미지를 암기한 것이 아니라 의료적 추론의 개념을 학습했음을 증명합니다.

왜 중요한가

이 연구는 우리가 대화할 수 있는 모델과 그릴 수 있는 모델 중 하나를 선택할 필요가 없다는 것을 시사합니다. 이 둘을 통합하고 좋은 그림을 보상하는 스마트한 훈련 방법을 사용함으로써, 우리는 인간 의사가 생각하는 방식—관찰하고, 추론하고, 설명하고, 문제를 정확히 짚어내는 방식—에 훨씬 더 가까운 AI 조수를 만들 수 있습니다. 비록 이 모델도 기존 데이터에 의존해야 한다는 점이나 주로 3D 볼륨이 아닌 2D 단면에 국한된다는 등의 한계가 있지만, 이는 시각적, 언어적 복잡성을 진정으로 이해하는 AI를 향한 중요한 진전입니다. 저자들은 이 접근 방식이 AI가 단순히 추측하는 것이 아니라, 정밀하게 가리키고 명확하게 설명하는, 더욱 상호작용적이고 신뢰할 수 있는 의료 도구로 가는 문을 열 것이라고 확신합니다.