PathAgentBench: Benchmarking Evidence-Seeking Vision-Language Models on Whole-Slide Pathology Image

당신이 단 한 알의 모래알보다 수십억 배 더 큰 도시 안에 숨겨진 거대한 미스터리를 풀려는 탐정이라고 상상해 보세요. 이 도시는 조직 샘플의 디지털 이미지인 "전체 슬라이드 이미지(Whole-Slide Image, WSI)"로, 사람이 스크롤하는 데만 몇 시간이 걸릴 정도로 거대한 사진입니다. 실제 세상에서 병리학자(질병을 진단하기 위해 세포를 관찰하는 의사)는 단순히 한 점만을 뚫어지게 쳐다보지 않습니다. 그들은 먼저 헬리콥터를 타고 도시 전체를 내려다보며 수상한 동네를 찾고, 그다음 거리의 상황을 확인하기 위해 줌인(zoom in)하고, 마지막으로 개별 가옥과 사람들을 조사하여 범인을 찾아내기 위해 아주 깊숙이 줌인합니다. 이것을 "증거 탐색(evidence-seeking)"이라고 부릅니다.

최근 과학자들은 "시각-언어 모델(Vision-Language Models, VLMs)"이라는 초스마트 컴퓨터 두뇌를 구축했습니다. 이들은 사진을 보면서 동시에 글을 읽을 수 있는 AI 탐정과 같습니다. 이들은 누군가 특정 사진을 건네주며 "여기에 무엇이 문제인가요?"라고 물었을 때, 그 수수께끼를 푸는 데 매우 능숙해졌습니다. 하지만 큰 의문이 하나 있습니다. 이 AI 탐정들이 스스로 거대한 도시 속에서 올바른 사진을 찾아낼 수 있을까요, 아니면 인간이 먼저 지점을 가리켜 주어야만 할까요? 만약 AI가 수수께끼는 풀 수 있지만 그 수수께끼가 숨겨진 방을 찾지 못한다면, 그것은 아직 훌륭한 탐정이라고 할 수 없습니다. 이것이 바로 이번 새로운 연구가 측정하고자 하는 격차입니다.

---

위대한 AI 탐정 테스트: PathAgentBench

연구진은 AI가 정말로 인간 병리학자처럼 행동할 수 있는지 확인하기 위해 PathAgentBench라는 새롭고 매우 도전적인 테스트를 구축했습니다. AI에게 미리 선택된 사진을 주고 "이것이 무엇입니까?"라고 묻는 대신(대부분의 기존 테스트 방식), 그들은 AI에게 전체 거대한 도시를 통째로 건네주고 스스로 단서를 찾아 나서라고 명령했습니다.

이것은 마치 "월리를 찾아라" 게임과 같지만, 책의 크기가 축구장만 하고, 아주 작은 세부 사항을 찾아내어 범인이 누구인지 증명하기 위해 줌인과 줌아웃을 반복해야 하는 게임과 같습니다. 연구진은 "진단 트리(diagnostic tree)"를 만들었는데, 이는 보물 찾기 지도와 같습니다. AI는 맨 위(전체 슬라이드)에서 시작하여, 수상한 영역을 선택하고, 줌인하고, 더 작은 영역을 선택하고, 다시 줌인하여, 경로를 따라 수집한 모든 단서를 바탕으로 최종 진단을 내립니다.

테스트의 공정성과 난이도를 보장하기 위해, 연구진은 거대한 데이터베이스에서 추출한 1,822개의 실제 의료용 슬라이드를 사용했으며, 10명의 전문의들이 각 사례를 해결하기 위해 취할 정확한 경로를 직접 그려 넣었습니다. 그런 다음 20가지의 서로 다른 AI 모델(대형 기술 기업의 모델, 오픈 소스 모델, 그리고 의료 특화 모델 포함)을 대상으로 성능을 테스트했습니다.

그 결과는 다음과 같으며, 약간의 반전이 있습니다:

1. AI는 독해에는 천재적이지만, 길 찾기에는 젬병이다
연구진이 AI에게 구체적인 단서(예: "여기 수상한 세포를 확대한 사진이 있습니다. 이제 이것이 무엇인지 말해보세요")를 건네주었을 때, AI는 놀라운 모습을 보였습니다. 최고의 모델들은 정답률이 **93%**가 넘었습니다. 그들은 증거를 완벽하게 읽어냈습니다.

하지만 연구진이 "자, 이제 이 거대한 도시에서 그 수상한 세포를 직접 찾아보세요"라고 말하자, AI는 완전히 무너졌습니다. 가장 똑똑한 AI 모델조차 공간 중첩 점수(평균 IoU라고 불리는 mean intersection-over-union)가 0.09 미만이었습니다. 이는 AI가 수상한 영역 주변에 그린 상자가 실제 지점과 거의 맞닿지 않았음을 의미합니다. 사실, 단순히 이전 상자의 중앙을 찍는 아주 단순하고 멍청한 요령이 화려한 AI 모델들보다 더 효과적이었습니다!

2. "줌 아웃(Zoom-Out)"의 문제
연구진은 AI가 스스로 슬라이드를 탐색하는 과정을 관찰했습니다. 가장 넓은 시야(저배율)에서는 AI가 수상한 영역을 약 **52%**의 확률로 찾아낼 수 있었습니다. 하지만 더 가까이 보기 위해 줌인을 시도하면서, AI는 추적 경로를 놓치기 시작했습니다. 가장 높은 배율(미세한 세부 사항을 봐야 하는 단계)에 도fato 도달했을 때, AI가 올바른 지점을 찾는 확률은 단 **2%**에 불렵했습니다. 이는 마치 동네는 잘 찾았지만, 엉뚱한 골목길에서 길을 잃어 결국 집을 찾지 못하는 탐정과 같습니다.

3. 특화된 AI가 항상 더 나은 것은 아니다
여러분은 의료 서적을 통해 훈련된 AI 모델들이 가장 뛰어난 탐정이 될 것이라고 생각할지도 모릅니다. 놀랍게도, 일반적인 목적의 AI 모델들(고양이나 자동차 등 온갖 것을 학습한 모델들)이 의료 전용 모델들보다 단서를 찾는 데 더 나은 성과를 보였습니다. 의료 특화 모델들은 가끔 막히거나, 심지어 특정 지점을 가리키기 위한 좌표조차 출력하지 못하는 경우가 있었습니다.

4. 사냥의 비용
연구는 또한 얼마나 많은 "두뇌 에너지"와 비용이 드는지도 살펴보았습니다. AI가 단서를 찾아 헤매는 부분("자율 탐색")은 믿기 힘들 정도로 비싸고 느렸습니다. AI는 슬라이드 하나를 보는 데 몇 분이 걸린 반 반면, 미리 선택된 사진에 대해 간단한 질문에 답하는 데는 1초도 걸리지 않았습니다.

결론

이 논문의 핵심 요지는 AI가 증거가 손에 쥐어졌을 때 그것을 해석하는 능력은 매우 뛰어나졌지만, 그 증거를 스스로 찾아내는 능력은 여전히 매우 부족하다는 것입니다. 연구진은 AI가 단순히 수수께끼를 푸는 능력을 갖추는 것에 만족할 것이 아니라, 수수께끼가 있는 곳을 직접 찾아낼 수 있는 탐사가 되도록 가르쳐야 한다고 주장합니다.

AI가 거대한 디지털 슬라이드 속에서 길을 잃지 않고 안정적으로 항해할 수 있게 될 때까지, 현실 세계에서 인간 병리학자를 완전히 대체할 수는 없습니다. 이 논문은 향의 AI가 더 나은 "공간 추론 능력"(자신이 어디에 있는지 아는 능력), 도구를 사용하여 올로 바르게 줌인/줌아웃하는 법, 그리고 잘못된 길로 들었을 때 회복하는 법을 배워야 한다고 제안합니다. 현재로서는 AI는 아주 똑똑한 독자이지만, 아직은 길을 걷는 법을 배우고 있는 단계입니다.