A Unified 2D Framework for DeepLesion Detection, Segmentation and Short Report Generation

컴퓨터가 사진을 보고 그 안에 무엇이 일어나고 있는지 즉시 이야기를 들려줄 수 있는 세상을 상상해 보세요. 이것은 의료 인공지능의 흥미로운 최전선으로, 기계가 의사처럼 "보는" 법을 배우는 분야입니다. 이 새로운 연구를 이해하려면 먼저 과학자들이 사용하는 세 가지 특별한 도구를 알아야 합니다. 첫째, **거대 언 언어 모델(LLM)**이 있습니다. 이들은 세상의 거의 모든 책과 기사를 읽은 초스마트 로봇과 같아서, 인간의 언어를 이해하고 쓰는 데 매우 뛰어납니다. 둘째, **시각-언어 모델(Vision-Language Models)**이 있습니다. 이들은 언어를 읽는 로봇이 실제로 이미지를 '볼' 수 있게 해주는 안경과 같아서, 보이는 것과 알고 있는 것을 연결해 줍니다. 마지막으로, **통합 프레임워크(Unified Framework)**라는 개념이 있습니다. 이것은 매 작업마다 별도의 칼, 드라이버, 망치를 따로 들고 다니는 대신, 하나의 올인원 스위스 아미 나이프를 만드는 것과 같습니다. 이것이 왜 중요할까요? 병원에서는 의사들이 미세하고 숨겨진 문제를 찾고, 측정하고, 보고서를 작성하기 위해 복잡한 스캔 영상을 보는 데 수많은 시간을 보내기 때문입니다. 만약 컴퓨터가 이 세 단계—문제 찾기, 측정하기, 보고서 쓰기—를 자동으로, 그리고 정확하게 수행할 수 있다면, 의사의 시간을 절약하고 환자가 더 빠르게 치료를 받을 수 있도록 도울 수 있습니다.

이제 특정 의료 퍼즐인 DeepLesion을 해결하기 위해 궁극의 스위스 아미 나이프를 만들기로 결심한 한 연구팀의 이야기를 시작해 보겠습니다.

거대한 문제: 건초더미 속의 바늘

DeepLesion 데이터셋은 인간의 몸을 3D 단면으로 보여주는 CT 스캔 이미지의 거대한 집합체입니다. 문제는 "바늘"(의사가 찾아내야 하는 아주 작은 병변이나 종양)이 거대한 "건초더미"(512x512 픽셀의 이미지) 곳곳에 아주 작게 흩어져 있다는 점입니다.

이것은 거대한 해변에서 모래알 한 알을 찾는 것과 같습니다. 전체 해변을 보기 위해 줌아웃하는 일반 카메라를 사용하면 그 모래알은 사라져 버립니다. 반대로 너무 과하게 줌인하면 해변이 어디에 있는지에 대한 맥락을 놓치게 됩니다. 이전의 컴퓨터 프로그램들은 이 모래알을 찾으려고 시도했지만, 컴퓨터가 이미지를 너무 많이 "축소(downsizing)"하여 실수로 미세한 디테일까지 지워버리는 바람에 종종 놓치곤 했습니다. 게 Furthermore, 대부분의 프로그램은 위치를 찾고, 그것을 잘라내어 측정하고, 보고서를 쓰는 과정을 마치 서로 대화하지 않는 세 명의 서로 다른 사람처럼 완전히 별개의 작업으로 취급했습니다.

해결책: 전문 탐정 팀

연구진은 탐지(병변 찾기), 분할(정밀한 윤곽 그리기), 보고서 생성(짧은 요약 작성)이라는 세 가지 작업을 모두 처리하는 단일 시스템인 **통합 2D 프레임워크(Unified 2D Framework)**를 구축했습니다. 그들은 단순히 모든 것을 한데 섞은 것이 아니라, 각 단계가 다음 단계를 돕는 영리한 워크플로우를 만들었습니다.

1. 탐정: YOLO-TLP-MOE
먼저, 시스템은 병변을 찾아내야 합니다. 연구팀은 YOLO-TLP-MOE라는 새로운 탐지기를 만들었습니다. 이 탐정은 눈을 가늘게 뜨고 억지로 보지 않는 탐정이라고 상상해 보세요. 이미지를 축소하여 디테일을 잃는 대신, 이 탐정은 "무손실 공간 다운샘플링(lossless spatial downsampling, SPDConv)"이라는 특별한 기술을 사용하여 큰 그림을 보면서도 병변의 아주 작은 픽셀 하나하나를 안전하게 지킵니다. 또한 "전문가 혼합(Mixture of Experts, MoE)" 시스템을 추가했습니다. 이것은 전문가 팀과 같습니다. 한 전문가는 둥근 점을 찾는 데 뛰어나고, 다른 전문가는 긴 선을 찾는 데 능하며, 또 다른 전문가는 이상한 모양을 찾는 데 특화되어 있습니다. 똑똑한 매니저(게이팅 네트워크)가 어떤 전문가가 이미지의 어느 부분을 살펴봐야 할지 결정합니다. 덕분에 이 시스템은 mAP50 기준으로 **70.1%**의 정확도를 달성했으며, 이는 기존 방식보다 크게 향여된 수치입니다.

2. 외과의: 탐색 및 분할(Search-and-Segment)
탐정이 위치를 찾으면, 이제 시스템은 그것을 정밀하게 측정해야 합니다. 연구진은 거대한 해변 전체에서 작은 모래알을 측정하는 것이 어렵다는 것을 깨달았습니다. 그래서 그들은 "탐색 및 분할(Search-and-Segment)" 전략을 발명했습니다. 시스템은 탐정이 찾은 부분을 가져와 그 영역만을 잘라낸(crop) 후, Swin-UMamba라는 강력한 도구를 사용하여 윤곽을 그립니다. 이는 탐정이 찾은 지점에만 돋보기를 대고 확대해서 보는 것과 같습니다. 이 접근 방식은 "작은 병변"이 길을 잃는 문제를 해결했습니다. 결과는 어땠을까요? 이 시스템은 **62.6%**의 Dice 점수를 기록했습니다. 체감할 수 있도록 설명하자면, 이미지 전체를 한꺼번에 측정하려 했던 표준 도구인 nnUNet은 겨우 **34.1%**의 점수를 얻었습니다. 이 새로운 방식은 정확도를 무려 **28.5%**나 향상시켰습니다.

3. 기자: 이야기꾼
마지막으로, 시스템은 보고서를 작성해야 합니다. 기존의 AI 기자들은 종종 전체 이미지만 보고 무엇이 잘못되었는지 추측하다가 구체적인 세부 사항을 놓치곤 했습니다. 이 새로운 시스템인 R2Gen-Mamba-Semantic-Aware는 훨씬 더 똑똑합니다. 이 시스템은 단순히 이미지만 보는 것이 아니라, "탐정"의 위치(경계 상자)와 "외과의"의 윤곽선을 사용하여 정확히 어디를 봐야 할지 압니다. 또한 "이것은 어떤 신체 부위인가?"(예: 폐 또는 간)와 "이것은 어떤 종류의 성장물인가?"(예: 결절 또는 낭종)를 스스로에게 질문합니다. 이 시스템은 위치, 형태, 그리고 그것이 무엇인지에 대한 모든 정보를 결 조합하여 짧고 정확한 보고서를 작성합니다.

결과: 새로운 최고 기록

연구팀이 이 새로운 프레임워크를 테스트했을 때, 결과는 인상적이었습니다.

• 탐지(Detection): mAP50 70.1%, mAP50-95 **46.4%**를 기록하며 병변을 찾아냈습니다.
• 분할(Segmentation): Dice 점수 **62.6%**로 윤곽을 그렸으며, 이는 이전의 최고 기록들을 큰 차이로 앞질렀습니다.
• 보고(Reporting): 생성된 짧은 보고서들은 매우 정확했습니다. BLEU_1 지표에서 64.3%, BLEU_4에서 **49.6%**를 기록했습니다. 또한 METEOR에서 34.7%, ROUGE_L에서 **60.1%**를 기록했습니다.

연구진은 "해부학적 구조 및 병변 유형"에 대한 단서를 추가하는 것이 보고 시스템에 큰 도움이 되었다는 것을 발견했습니다. 예를 들어, 이러한 단서들을 MedGemma 1.5나 Qwen3-VL 같은 유명한 모델들에 추가했을 때 그 모델들도 성능이 좋아졌지만, 연구진의 자체 모델이 여전히 가장 우수했습니다.

한계점: 아직 완벽하지는 않다

결과는 강력하지만, 저자들은 이것이 모든 것을 해결하는 마법 지팡이가 아니라는 점을 분명히 하고 있습니다. 시스템의 "외과의" 부분은 "탐정"이 병변을 먼저 찾아내는 것에 의존합니다. 만약 탐정이 지점을 놓친다면(몇몇 테스트 케이스에서 발생함), 외과의는 측정할 수 없고 기자도 보고서를 쓸 수 없습니다. 또한, "외과의"는 인간 의사가 아닌 컴퓨터 프로그램(GrabCut)이 생성한 윤곽선을 사용하여 훈련되었는데, 이는 인간이 직접 그린 것만큼 완벽하지 않을 수 있습니다.

연구팀은 다음 단계로, 평면적인 2D 단면에서 벗어나 완전한 3D 볼륨으로 나아가서 컴퓨터가 평면이 아닌 모든 각도에서 병변을 볼 수 있도록 해야 한다고 제안합니다. 또한 훈련을 더욱 개선하기 위해 전문가가 직접 그린 윤곽선을 사용할 계획입니다.

요약하자면, 이 논문은 찾기, 측정하기, 보고하기 사이의 점들을 연결하고, 미세한 디테일이 사라지지 않도록 영리한 기술을 사용함으로써, 우리가 어떻게 인간 의사의 사고 방식에 훨씬 더 가까이 다가갈 수 있는지를 보여줍니다. 이것은 복잡한 작업들을 이전보다 더 효과적으로 자동화할 수 있음을 시사하는 통합 프레임워크이며, 더 빠르고 일관된 의료 분석을 위한 길을 열어주고 있습니다.