Toward Mask Annotation-Free Surgical Instrument Segmentation from Endoscopic Images Using Text-Prompted Segment Anything Model 3 (SAM3)

당신이 로봇에게 수술을 수행하는 법을 가르치려 한다고 상상해 보십시오. 이를 안전하게 수행하기 위해, 로봇은 비디오 피드에서 수술 도구가 정확히 어디에 있는지 구별할 수 있어야 합니다. 즉, 가위와 조직 또는 그림자를 구별해야 하는 것입니다. 이를 "수술 도구 세그멘테이션(surgical instrument segmentation)"이라고 부릅니다. 오랫동안 로봇에게 이 기술을 가르치는 유일한 방법은 인간 전문가를 고용하여 수천 시간 분량의 비디오 속 모든 도구의 주위에 픽셀 단위로 외곽선을 그리는 것이었습니다. 이것은 마치 아이에게 강아지를 인식하는 법을 가르치기 위해, 누군가가 수백만 장의 사진 속 강아지 털 하나하나를 정성스럽게 색칠해 놓은 사진을 보여주는 것과 같습니다. 효과는 있지만, 느리고 비용이 많이 들며 확장하기 어렵습니다.

최근 "세그먼트 애니싱 모델(Segment Anything Model, SAM)"이라는 새로운 종류의 AI가 등장했습니다. SAM을 아주 강력한 형광펜이라고 생각하면 됩니다. 이 형광펜은 당신이 무언가를 가리키거나 "도구(tool)"와 같은 간단한 텍스트 명령을 내리면 사진 속 어떤 물체든 즉시 색칠할 수 있습니다. SAM은 수백만 장의 일상 사진으로 학습되었기에 현실 세계의 사물들을 아주 잘 찾아냅니다. 하지만 연구자들이 이 형광펜을 인체 내부의 기괴하고 번쩍거리며 혼란스러운 수술 영상에 사용하려 했을 때, 모델은 혼란에 빠졌습니다. 로봇은 수술 영상에서의 "그라스퍼(grasper)"나 "가위(scissors)"가 주방 사진 속의 사물들과 같은 의미라는 것을 이해하지 못했습니다. 로봇의 학습 내용과 수술 현장의 실제 상황 사이의 간극이 너무 컸으며, 단순히 도구의 이름을 외치는 것만으로는 통하지 않았습니다.

나쿨 파우델(Nakul Poudel)과 동료들의 이 논문은 바로 그 문제를 다룹니다. 그들은 로인이 인간이 직접 그린 외곽선(마스크)이나 수동적인 지시 없이도 수술 도구를 찾아내고 식별할 수 있는지 확인하고자 했습니다. 그들은 단순히 로봇에게 특정 도구의 이름을 이해시키려고 강요하는 대신, 두 단계로 이루어진 "탐정 팀"을 구축했습니다. 먼저, 그들은 매우 단순하고 일반적인 명령인 "도구(tool)"를 사용하여 (SAM3라고 불리는 새로운 버전의) 형광펜을 활용했습니다. 이는 도구의 이름을 아직 알지 못하더라도 도구의 '형태'를 성공적으로 찾아냈습니다. 그다음, 그들은 이 형태들을 "Qwen"이라는 이름의 두 번째 AI인 "두뇌"로 전달했습니다. 이 두 번째 AI는 하이라이트 된 형태를 보고 그것이 어떤 종류의 도구인지 추측하도록 학습되었습니다.

결과는 "아직 완벽하지는 않지만" 동시에 "매우 유망함"이 섞인 상태였습니다. 연구팀은 이 새로운 2단계 방식이 수천 개의 인간이 그린 외곽선으로 학습된 최고의 로봇들을 능가하지는 못했지만, 도구 이름만을 가지고 형광펜을 직접 사용했을 때보다는 엄청난 개선을 이루었다는 것을 발견했습니다. 실제로 직접적인 방식은 도구를 아예 놓치거나 이름을 잘못 맞히는 등 자주 완전히 실패했습니다. 반면, 새로운 방식은 많은 경우에서 도구를 성공적으로 식별해 냈으며, 이는 인간이 일일이 그림을 그리는 무거운 부담 없이도 로봇이 수술 도구를 "볼" 수 있다는 것을 증명했습니다. 그러나 저자들은 이 시스템이 여로 도구가 가려져 있거나 형광펜이 지저분한 모양을 그려낼 때 여전히 실수를 저지른다는 점을 주의 깊게 언급했습니다. 그들은 이 시스템이 오늘날 모든 것을 해결하는 마법 같은 해결책은 아닐지라도, 수술 로봇이 매번 수많은 사람을 동원해 모든 사진을 그릴 필요 없이 훨씬 더 빠르고 저렴하게 학습할 수 있는 미래의 문을 열어준다고 제안합니다.