Sterilizable Scene Graph Generation for Operating Rooms

수술실 안의 공기는 생명을 구하는 절차의 고요한 긴장감으로 가득 차 있습니다. 외과의사의 손길 하나하나, 수술 도구의 움직임 하나하나, 그리고 치료 중인 조직의 미세한 변화 하나하나가 하나의 이야기를 들려줍니다. 수십 년 동안 컴퓨터는 그 이야기를 읽어내는 데 어려움을 겪어 왔습니다. 컴퓨터는 화면 위의 픽셀은 볼 수 있지만, 자신이 보고 있는 물체들 사이의 관계를 쉽게 이해하지 못합니다. 예를 들어, 금속 집게가 조직 조각을 잡고 있다거나, 갈고리가 그것을 절개하고 있다는 사실 말입니다. 장면을 그려내고, 단순히 무엇이 있는지를 넘어 사물들이 어떻게 상호작용하는지를 이해하는 이 능력을 '장면 그래프 생성(scene graph generation)'이라고 부릅니다. 이것은 기계에게 수술에 대한 총체적인 이해를 부여하기 위한 핵심이며, 언젠가 의사들에게 실시간 가이드를 제공하거나 수술의 자동 기록을 생성함으로써 도움을 줄 수 있습니다. 그러나 현재 이를 수행할 만큼 강력한 컴퓨터들은 운영실의 섬세한 환경에 두기에는 너무 크고, 열이 많이 발생하며, 멸균 상태를 유지하기에도 너무 어렵습니다.

한 연구팀이 이제 이 복잡한 사고 과정을 단순한 팬리스(fanless) 장치에 들어갈 정도의 크기로 축소하는 방법을 찾아냈습니다. 그들은 SG-NCA라고 불리는 새로운 방식을 개발했는데, 이는 컴퓨터가 수술 영상을 관찰하고 도구와 신체 부위를 식별하며 이들이 서로 어떻게 연관되어 있는지를 설명하는 구조화된 장면 지도를 즉각적으로 구축할 수 있게 해줍니다. 이 돌파구의 핵심은 시스템을 구축하는 방식에 있습니다. 이들은 대개 이런 종류의 인공지능을 구동하는 거대하고 무거운 소프트웨어 모델을 사용하는 대신, 단순한 세포가 주변 세포를 바탕으로 자신의 상태를 업데이트하는 방식에서 영감을 얻은 훨씬 가벼운 접근 방식을 채택했습니다. 가장 흔한 물체부터 시작하여 점진적으로 더 많은 것을 추가하는 단계별 커리큘럼 방식으로 시스템을 학습시킴으로써, 컴퓨터가 안과 및 담낭 수술의 특정 도구와 해부학적 구조를 인식하도록 가르쳤습니다. 그 결과, 이 시스템은 연구실에서 사용되는 거대 모델만큼 우수한 성능을 보이면서도 실행에 필요한 내부 설정값은 55배나 적게 필요합니다.

연구진은 정밀함이 무엇보다 중요한 두 가지 흔한 절차인 백내장 수술과 담낭 제거 수술 영상으로 새로운 시스템을 테스트했습니다. 그들은 이 경량 모델이 기존의 최고 방법들과 대등한 정확도로 수술 도구와 신체 부위를 식별할 수 있음을 발견했습니다. 비교 대상이 된 표준 모델들이 수백만 개의 파라미터(컴퓨터가 학습을 위해 조정하는 내부 노브와 다이얼)를 포함하고 있었음에도 불구하고, 이들의 새로운 시스템은 그 아주 일부분만을 필요로 했습니다. 실제로 전체 시스템이 매우 작아서 전용 그래픽 카드나 강력한 서버 없이도 표준 스마트폰이나 소형 저전력 컴퓨터 보드에서 실행될 수 있었습니다. 이는 수술실에서 매우 중요한 의미를 갖습니다. 현재 이 작업에 사용되는 대형 컴퓨터들은 공기를 내뿜는 팬이 달려 있어 먼지와 박테리아를 퍼뜨릴 수 있는데, 이는 멸균 수술 환경에서 큰 위험 요소입니다. 또한 이미 장비로 가득 찬 공간에서 귀중한 자리를 차지하기도 합니다. 반면, 새로운 시스템은 밀봉된 팬리스 장치에서 실행될 수 있어 닦아내고 멸균하기가 용이하며, 공기를 깨끗하게 유지하고 데이터를 수술실 내부에서 안전하게 보호할 수 있습니다.

단순히 물체를 식별하는 것을 넘어, 이 시스템은 수술의 흐름을 이해하는 능력을 입증했습니다. 시스템은 집게가 담낭을 견인하는 동안 갈고리가 그것을 해부하고 있다는 것과 같이, 현재 일어나고 있는 일을 설명하는 간단한 문장을 생성할 수 있었습니다. 이러한 능력은 시스템이 단순한 탐지를 넘어 수술의 서사에 대한 더 깊은 이해로 나아갈 수 있음을 시사합니다. 연구팀은 또한 이 기술이 네트워크의 에지(edge)에 배치될 수 있음을 보여주었는데, 이는 처리가 먼 클라우드 서버로 전송되는 대신 환자의 침상 바로 옆에서 이루어짐을 의미합니다. 이는 환자의 데이터를 비공개로 유지하고 정보를 인터넷을 통해 전송할 때 발생하는 지연 시간을 제거합니다. 이토록 작은 시스템이 실제 수술의 복잡성을 처리할 수 있음을 증명함으로써, 연구진은 첨단 수술 지능이 거대하고 멸균 방지벽 뒤에 갇혀 있는 것이 아니라, 수술실의 흐름 속에 자연스럽게 녹아드는 저렴하고 위생적인 하드웨어를 통해 접근 가능해지는 미래의 문을 열었습니다.