PathoArgus: Advancing Evidence-Grounded Long-Context Visual Reasoning across Gigapixel Whole-Slide and Multi-Slide Case Contexts

병리 검사실의 조용하고 무균적인 세계에서, 진단은 종종 단 하나의 거대한 이미지로부터 시작됩니다. 이것은 전체 슬라이드 이미지(whole-slide image)로, 조직 샘브플을 촬영한 디지털 사진인데, 그 크기와 세밀함이 너무나 방대하여 인간의 눈이 한 번에 스캔할 수 있는 범위를 훨씬 초과하는 수십억 개의 미세한 픽셀을 포함하고 있습니다. 이를 파악하기 위해 병리 의사는 마치 탐정처럼 행동하며, 질병을 확진할 수 있는 특정한 작은 단서들을 찾기 위해 세포들의 광활한 풍경 속을 뒤져야 합니다. 수년간 과학자들은 컴퓨터에게 이와 동일한 작업을 수행하도록 가르쳐 왔으며, 이 기가픽셀 이미지들을 읽고 환자의 건강 상태에 대한 질문에 답할 수 있는 인공지능을 구축하기를 희망해 왔습니다. 목표는 단순히 정답을 추측하는 시스템이 아니라, 질병을 증명하기 위해 조직 내에서 실제 증거를 찾아내는 시스템을 만드는 것이었습니다. 그러나 한 가지 결정적인 질문이 여전히 해결되지 않은 채 남아 있었습니다. 컴퓨터가 정답을 맞혔을 때, 그것은 정말로 슬라이드에서 질병을 보았기 때문일까요, 아니면 단순히 질문이 던져진 방식에 기반하여 추측한 것일까요?

홍콩 과학기술대학교 연구진의 새로운 연구는 엄격하고 새로운 테스트 방식을 도입함으로써 이 문제를 정면으로 다룹니다. 그들은 실제 환자 사례에서 유도된 22,000개 이상의 질문을 포함하는 PathoArgus-Bench라는 거대한 테스트 환경을 구축했습니다. 이 벤치마크는 최종 답변이 맞는지만을 확인했던 이전의 테스트들과 달리, 컴퓨터가 올바른 곳을 보았음을 증명하도록 강제합니다. 연구진은 컴퓨터가 거대한 이미지의 아주 작은 부분만을 볼 수 있도록 제한했는데, 이는 시스템이 한 번에 처리할 수 있는 데이터의 실질적인 한계를 시뮬레이션한 것입니다. 그런 다음 연구진은 이 제한된 시야를 바탕으로 질문에 답하도록 컴퓨터에게 요청했습니다. 컴퓨터가 진정으로 추론하고 있는지 확인하기 위해, 연구진은 조직 샘플을 서로 바꾸어 놓는 특별한 테스트 세트도 만들었습니다. 만약 컴퓨터가 진정으로 증거를 보고 있다면, 조직이 바뀌었을 때 그 답변도 바뀌어야 합니다. 만약 컴퓨터가 단순히 추측하고 있는 것이라면, 그림 안에 실제로 무엇이 들어 있든 상관없이 동일한 답변을 내놓을 가능성이 높기 때문입니다.

이 실험의 결과는 컴퓨터가 알고 있는 것처럼 보이는 것과 실제로 이해하고 있는 것 사이의 놀라운 격차를 드러냈습니다. 연구진이 가장 진보된 모델들을 포함한 20개의 인공지능 시스템을 테스트했을 때, 일부 모델은 정답을 절반 이상 맞히기도 했지만, 증거를 따르는 데 있어서는 거의 완전히 실패하고 있다는 사실을 발견했습니다. GPT-5.6으로 알려진 강력한 모델인 한 상위 성능 시스템은 질문에 대해 57%의 성공률을 기록했습니다. 그러나 연구진이 조직 증거가 변경되었을 때 이 시스템이 생각을 바꾸는지 확인했을 때, 시스템이 생각을 바꾼 비율은 약 4%에 불과했습니다. 즉, 이 시스템은 종종 틀린 이유로 정답을 맞히고 있었으며, 조직의 시각적 실체가 아니라 질문의 텍스트 패턴에 의존하고 있었습니다. 심지어 연구진이 컴퓨터가 이미지의 가장 관련성 높은 부분을 찾을 수 있도록 돕기 위해 특별히 설계된 새로운 도구를 만들었음에도 불구하고, 시스템은 여전히 자신이 발견한 특정 증거와 자신의 답변을 일관되게 연결하는 데 어려움을 겪었습니다.

이러한 발견은 현재 세대의 의료 인공지능이 전체 슬라이드 이미지로부터 질병을 진단하는 복잡한 과업을 맡기에 아직 준비되지 않았음을 시사합니다. 이 연구는 단순히 컴퓨터에게 큰 이미지를 제공하는 것만으로는 충분하지 않으며, 시스템은 그 이미지를 탐색하고, 특정 단서를 찾아내며, 그 단서들이 결론을 결정하도록 해야 한다는 것을 보여줍니다. 연구진은 유용한 전체 슬라이드 맥락을 획득하는 것이 필수적이지만 그것만으로는 충분하지 않으며, 현재의 시스템들이 증거에 기반한 추론에서 극명한 격차를 보인다는 것을 발견했습니다. 이는 증거를 찾는 능력과 그 증거를 바탕으로 추론하는 능력이 두 가지 별개의 기술이며, 현재의 시스템은 아직 후자를 숙달하지 못했음을 나타냅니다. 이 연구는 성공을 최종 답변만으로 측정하는 것이 오해의 소지가 있다는 명확한 경고 역할을 합니다. 분야를 진정으로 발전시키기 위해서는, 단순히 높은 점수를 얻는 것에서 벗어나 컴퓨터의 추론이 실제 환자의 조직이라는 시각적 사실에 근거하도록 하는 방향으로 초점을 옮겨야 합니다.

연구는 우리가 컴퓨터에게 보는 법을 가르치는 데는 진전을 이루었지만, 본 것을 가지고 생각하는 법은 아직 가르치지 못했다고 결론짓습니다. 이 연구에서 개발된 새로운 벤치마크와 도구들은 다음 세대의 의료 AI를 위한 로드맵을 제공하며, 이는 단순한 정답이 아닌 증거의 입증을 요구합니다. 현재 시스템의 한계를 드러냄으로써, 연구진은 미래의 개발이 질병의 복잡한 시각적 언어를 진정으로 이해할 수 있는 모델, 즉 컴퓨터가 진단을 내릴 때 그것이 어떤 기술을 익혔기 때문이 아니라 진실을 보았기 때문임을 보장하는 모델로 나아가도록 안내하기를 희망하고 있습니다.