TemMed-Bench: Evaluating Temporal Medical Image Reasoning in Vision-Language Models

단 하나의 단서가 아니라 전체적인 증거의 타임라인을 가지고 미스터리를 풀려고 한다고 상상해 보세요. 인공지능의 세계에는 '시각-언어 모델(Vision-Language Model)'이라는 특별한 종류의 로봇 두뇌가 있습니다. 이들은 사진을 보면서 동시에 이야기를 읽을 수 있는 초스마트 탐정이라고 생각하면 됩니다. 오랫동안 이 탐정들은 '단일 스냅샷' 미스터리만을 테스트받아 왔습니다. 즉, 환자의 사진 한 장을 보고 무엇이 잘못되었는지 추측하는 식이었죠. 하지만 현실 세계에서 의사들은 단 한 장의 사진만 보는 것이 아닙니다. 그들은 마치 사건 파일을 검토하는 탐정과 같습니다. 의사들은 환자의 현재 X-ray를 지난달, 작년, 혹은 어제의 사진과 비교하여 환자가 좋아지고 있는지, 나빠지고 있는지, 아니면 그대로인지를 확인합니다. 이 논문은 이 AI 탐정들이 단순히 한 순간에 기반해 추측하는 것이 아니라, 실제로 시간에 따른 변화를 추적할 수 있는지 확인하기 위해 더 강력하고 새로운 테스트를 소개합니다.

COLM 2026 컨퍼런스에 발표된 이 연구의 연구진은 TEMMED-BENCH라는 새로운 도전 과제를 만들었습니다. 그들은 대부분의 AI 테스트가 한 번에 사진 한 장만 보여주기 때문에 너무 쉽다는 점을 깨달았습니다. 현실에서 의사는 폐의 그림자가 약간 커졌거나 골절이 치유되기 시작한 것과 같은 미세한 변화를 포착해야 합니다. AI가 이 일을 할 수 있는지 테스트하기 위해, 팀은 AI 모델들을 위한 거대한 '훈련 체육관'을 구축했습니다. 이 체육관은 17,000개 이상의 환자 기록 사례를 포함하며, 각 사례는 두 장의 사진(과거 방문 시 사진 하나와 현재 방문 시 사진 하나)과 두 시점 사이에서 환자의 상태가 정확히 어떻게 변했는지를 설명하는 보고서를 가지고 있습니다.

연구팀은 GPT-4나 Claude와 같은 유명한 '폐쇄형(closed-source)' 모델과 오픈 소스 모델을 모두 포함하여 12개의 서로 다른 AI 모델을 이 체육관에 투입했습니다. 결과는 일종의 경종을 울리는 것이었습니다. AI 모델들이 외부 도움 없이 작업하도록 강제되었을 때(‘클로즈드 북(closed-book)’ 설정), 대부분의 모델은 매우 고전했습니다. 시각적 질의응답 작업에서 많은 모델이 무작위 추측보다 나은 성과를 내지 못했으며, 사실상 환자가 호전되고 있는지 결정하기 위해 동전을 던지는 수준이었습니다. GPT-4o-mini와 같은 최고의 모델조차 정답률이 약 79%에 불과했던 반면, 다른 많은 모델은 60% 미만의 점수를 기록했습니다. 이 논문은 현재의 AI 훈련이 시간을 두고 이미지를 비교하는 기술에 충분히 집중하지 못했음을 시사합니다.

하지만 이야기는 연구진이 AI에게 '참조 시트'를 주었을 때 더 흥-미로워집니다. 그들은 AI가 답변하기 전에 데이터베이스에서 유사한 과거 사례를 찾아볼 수 있게 하는 검색 증강(retrieval augmentation) 기법을 시도했습니다. 여기서 반전은, 연구진이 단순히 텍스트 보고서만 읽게 한 것이 아니라, AI가 다른 이미지 쌍과 그 보고서들도 찾아볼 수 있게 했다는 점입니다. 이 '멀티모달(multi-modal)' 접근 방식(사진과 글을 모두 사용하는 방식)은 놀라운 효과를 발휘했습니다. 일부 모델의 경우, 이러한 시각적 및 텍ological 단서들을 추가했을 때 성능이 10% 이상 향려되었습니다. AI에게 환자의 상태가 개선된 유사한 사례를 보여주는 것이 현재 사례의 호전 여부를 파악하는 데 도움이 된다는 것이 밝혀졌습니다.

이 논문은 AI가 단일 사진을 보는 데는 능숙해지고 있지만, 의사들이 매일 사용하는 '시간 여행' 추론에는 여전히 서투르다고 결론짓습니다. 이 연구는 현재의 모델들이 도움 없이 자연스럽게 이러한 시간적 변화를 처리할 수 있다는 가설을 부정합니다. 대신, 미래의 의료 AI는 이 모델들에게 유사한 과거 사례의 라이브러리(사진과 이야기 모두 포함)에 접근할 수 있는 권한을 주는 것에 달려 있다고 제안합니다. 저자들은 이것이 시작 단계임을 주의 깊게 언급했습니다. 이 벤치마크는 현재 흉부 X-ray만을 대상으로 구축되었으며, 더 복잡한 이미지를 통해 더 긴 기간 동안의 변화를 추적하는 과제는 향후 탐구의 영역으로 남아 있습니다. 하지만 현재로서는, TEMMED-BENCH가 AI 탐정들이 어디에서 실패하고 있는지, 그리고 우리가 어떻게 그들이 '시간의 미스터리'를 푸는 데 도움을 줄 수 있는지를 성공적으로 보여주었습니다.