Decouple and Reason: Anatomically Guided Two-Stage Voxel-Level Grounding of Free-Text Findings in 3D Chest CT

당신이 거대한 3D 퍼즐인 인간의 흉부 속에서 미스터리를 풀려는 탐정이라고 상상해 보십시오. 이 퍼즐은 "복셀(voxel)"이라 불리는 수백만 개의 아주 작은 블록들로 이루어져 있습니다. 그리고 당신에게는 "왼쪽 폐 상부에 있는 작고 구름 같은 점"과 같이 자유롭고 무질서한 문장으로 쓰인 단서 목록이 주어집니다. 당신의 임무는 그 단어들과 일치하는 정확한 작은 블록들을 가리키는 것입니다.

오랫동안 과학자들은 이 모든 일을 한 번에 수행할 수 있는 하나의 초지능형 로봇 두뇌를 만들기 위해 노력해 왔습니다. 그들은 이 하나의 두뇌가 단서를 읽고, 전체 3D 퍼즐을 스캔하여, 즉시 올바른 지점을 가리킬 수 있기를 바랐습니다. 하지만 이 논문은 이러한 "올인원(all-in-one)" 방식이 마치 한 사람에게 마스터 셰프이자 레이스 카 드라이버, 그리고 통역사까지 동시에 되어달라고 요구하는 것과 같다고 주장합니다. 그것은 너무 과도한 작업이며, 이로 인해 로봇은 혼란에 빠져 엉뚱한 곳을 가리키거나 단서를 완전히 놓치기도 합니다.

새로운 전략: 2인 팀
저자들은 이 문제를 해결하기 위한 영리한 방법인 **디커플링(Decoupling, 분리)**을 제안합니다. 하나의 두뇌가 모든 것을 하는 대신, 업무를 순차적으로 수행하는 두 개의 특화된 팀으로 나눕니다.

• 팀 1 (포착자 - The Spotter): 이 팀은 단어에는 전혀 관심이 없습니다. 그들의 유일한 임무는 전체 3D 흉부를 스캔하며 "헤이! 여기 뭔가 이상한 게 있어!"라고 외치는 것입니다. 그들은 그것이 무엇인지, 텍스트가 무엇인지와 상관없이 모든 잠재적인 문제 지점들을 찾아냅니다. 그들은 이 지점들을 중심으로 퍼즐의 작은 조각들을 잘라내어 다음 팀에게 전달합니다. 이것은 마치 잃어버린 지갑인지 떨어진 샌드위치인지 상관하지 않고, 수상한 것이 있으면 일단 깃발을 꽂아두는 보안 요원과 같습니다.
• 팀 2 (탐정 - The Detective): 이제 탐정은 팀 1로부터 받은 작은 조각들과 무질서한 텍스트 단서를 받습니다. 탐정의 임무는 단서와 조각을 매칭하는 것입니다. "이 조각이 '왼쪽 상엽에 있는 구름 같은 점'인가?"를 확인하는 것이죠.

비밀 무기: 해부학적 GPS
여기서 이 논문은 매우 영리해집니다. 때때로 퍼즐의 작은 조각은 어디에 있든 비슷해 보일 수 있습니다. 폐 상부에 있는 "구름 같은 점"은 하부에 있는 "구름 같은 점"과 매우 닮았습니다. 만약 탐정이 조각 자체만 본다면 혼란에 빠질 수 있습니다.

이를 해결하기 위해 저자들은 탐정에게 해부학적 GPS를 제공합니다. 탐정이 조각을 보기 전에, 두 가지 특별한 가이드를 통해 해당 조각이 신체의 정확히 어디에 위치하는지 알려줍니다:

1. 상대 좌표 (Relative Coordinates): 조각이 3D 공간의 어디에 자리 잡고 있는지 알려주는 숫자 세트입니다 (예: "좌측-상단-후면").
2. 엽 우선순위 (Lobe Priors): 조각이 폐의 어느 "동네"에 속하는지 알려주는 지도입니다 (예: "이곳은 왼쪽 상엽이다").

이 GPS는 탐정이 "아, 이 조각은 왼쪽 하엽에 있으니, '왼쪽 상엽'이라는 단서와는 맞지 않겠구나!"라고 깨닫도록 도와줍니다. 이는 일반적인 로봇들을 헷갈리게 만드는 혼란을 해결해 줍니다.

"오보 금지" 규칙
논문은 또한 다른 로봇들이 학습하는 방식의 큰 문제를 지적합니다. 보통 로봇은 비교를 통해 학습합니다: "이 사진은 저 문장과는 비슷하지만, 저 다른 문장과는 비슷하지 않다"라고 말이죠. 하지만 의료 분야에서는 서로 다른 환자라도 "왼쪽 상엽의 작은 결절"처럼 정확히 같은 설명을 가질 수 있습니다. 만약 로봇이 "이 둘은 서로 다른 환자이기 때문에 다르다"라고 말하려고 한다면, 그것은 잘못된 학습이 됩니다.

저자들은 표준적인 학습 규칙이 여기서 작동하지 않는다고 주장합니다. 대신, 그들은 **독립적 쌍별 정렬 (Independent Pairwise Alignment)**이라는 방법을 사용합니다. 이것은 마치 탐정이 각 단서를 각 조각에 대해 하나씩, 완전히 독립적으로 대조하는 것과 같습니다. 그들은 "이 특정 조각이 이 특정 문장과 일치하는가?"라고 묻습니다. 만약 그렇다면 아주 좋습니다. 만약 조각이 어떤 문서와도 일치하지 않는다면 (팀 1이 발생시킨 오보라면), 탐정은 그냥 그 조각을 무시합니다. 그들은 억지로 매칭을 시도하거나, 단서가 없는 곳을 찾아냈다고 해서 로봇을 벌하지 않습니다. 이는 로봇이 실제로는 '부정적(negative)' 사례가 아닌 것들 때문에 혼란을 겪지 않도록 유지해 줍니다.

결과는 어떠했나?
연구팀은 3,142개의 흉부 CT 스캔과 16,301개의 주석이 달린 소견이 포함된 ReXGroundingCT 데이터셋으로 이 새로운 2단계 로봇을 테스트했습니다. 그들은 자신들의 로봇(DAGG)을 네 개의 최고 수준의 다른 로봇들과 비교했습니다.

결과는 명확했습니다. 공개 테스트 세트에서, 그들의 로봇(DAGG)은 Global Dice 점수 0.250을 기록하며, 그다음으로 높은 성능을 보인 로봇(Voxell의 0.214)을 앞질렀습니다. 공식 리더보드인 프라이빗 테스트 세트에서도 DAGG는 0.253의 Dice 점수를 기록하며, 가장 뛰어난 미세 조정(fine-tuned) 로봇(SAT-FT의 0.209)을 제쳤습니다.

논문은 업무를 나누고 탐정에게 GPS를 제공함으로써, 로봇이 과도하게 추측하지 않고 정확한 지점을 훨씬 더 잘 찾아낼 수 있었다고 시사합니다. 다른 로봇들이 과잉 예측(존재하지 않는 것을 찾아내는 것)하는 경향이 있었던 반면, DAGG는 높은 정밀도로 올바른 것을 찾아내며 엄격한 균형을 유지했습니다.

이 논문이 배제하는 것
저자들은 단일 엔드 투 엔드(end-to-end) 네트워크가 이 작업을 잘 수행할 수 있다는 아이디어에 대해 명시적으로 반박합니다. 그들은 정밀한 3D 위치와 복잡한 텍스트 의미를 동시에 학습하려고 하는 것이 "상당한 표현적 부담(substantial representational burden)"을 초래하여 좋지 않은 결과를 낳는다고 밝힙니다. 또한, 표준적인 대조 학습 방법(예: InfoNCE)이 서로 다른 환자의 유사한 의료적 소견을 "부정적" 쌍으로 잘못 취급하여 모델을 혼란스럽게 하기 때문에 이를 배제합니다.

얼마나 확신하는가?
논문은 이러한 결과들을 ReXGroundingCT 벤치마크에서의 실험을 통해 측정된 사실로서 제시합니다. 그들은 자신들의 방식이 공식 리더보드에서 "최첨단 성능(state-of-the-art performance)"을 달enc히는 것을 수치(예: 0.253 Dice 점수)를 통해 증명합니다. 그들은 단순히 이것이 작동할 수도 있다고 제안하는 것이 아니라, 자신들의 실험에서 다른 모델들을 압도했다는 것을 숫자로 보여줍니다. 다만, 이 연구를 전 세계의 모든 의료 영상 작업에 적용되는 마법의 해결책이 아니라, 3D 흉부 CT 그라운딩이라는 특정 문제에 대한 해결책으로 규정하고 있습니다.