From Articulated Kinematics to Routed Visual Control for Action-Conditioned Surgical Video Generation

수술실에서 로봇 외과의는 단순히 움직이는 것이 아니라, 마치 두 번째 손과 같은 정밀함으로 조작합니다. 이 기계들은 금속 도구가 정확히 어디로 가야 하는지, 어떻게 회전해야 하는지, 그리고 얼마나 빨리 움직여야 하는지를 알려주는 저수준 명령(low-level commands)에 의해 제어됩니다. 그러나 인간 관찰자에게 로봇이 작업하는 것을 보는 것은 대개 그 과정이 아닌 결과를 보는 일입니다. 로봇에게 움직임을 지시하는 단순한 숫자와 복잡하고 유동적인 수술 영상 사이의 간극은 매우 큽니다. 이 간극을 메우는 것은 미래 의학의 필수적인 과제이며, 의사와 교육 시스템이 환자에게 직접 손을 대기 전에 '만약에(what-if)' 시나리오를 시뮬레이션할 수 있어야 하기 때문입니다. 만약 외과의가 어려운 매듭짓기 동작이나 바늘 찌르기를 연습하고자 한다면, 조직이 어떻게 반응하고 빛이 금속 도구에 어떻게 반사되는지를 정확히 보여주며 해당 특정 동작에 대한 현실적인 영상을 생성할 수 있는 시스템이 필요합니다. 문제는 로봇에게 주어지는 단순한 명령들이 영상의 프레임 단위로 진행되는 풍부하고 세밀한 진화를 제어하기에는 너무 희소하다는 점이었습니다.

연구팀은 이 문제를 해결하기 위해 로봇의 희소하고 기계적인 명령을 컴퓨터가 현실적인 수술 영상을 생성하는 데 사용할 수 있는 풍부한 시각적 언어로 변환하는 새로운 방법을 개발했습니다. 그들은 이 접근 방식을 '운동학적-시각적 리프팅(kinematic-to-visual lifting)' 패러다임이라고 부릅니다. 로봇의 명령을 좌표와 각도의 집합이라고 상상해 보십시오. 연구진은 이 기본적인 숫자들을 영상의 픽셀과 완벽하게 일치하는 다섯 가지의 뚜렷한 시각적 정보 층(layer)으로 확장합니다. 이 층들은 도구가 어디에 있는지만을 설명하는 것이 아니라, 그것이 어떤 종류의 부품인지, 장면 내에서 얼마나 깊이 있는지, 어떻게 회전되어 있는지, 얼마나 빠르게 움직이는지, 그리고 그 속도가 얼마나 빠르게 변하는지를 설명합니다. 로봇의 가공되지 않은 움직임을 이 다섯 부분의 시각적 지도로 번역함으로써, 시스템은 기제의 논리와 시각적 세계 사이의 명확하고 공유된 언어를 만들어냅니다.

이 시각적 지도가 생성되면, 시스템은 모든 순간에 모든 정보를 사용하려고 하지 않습니다. 대신, 교통 정리 요원처럼 작동하는 스마트 라우팅 메커니즘을 채택합니다. 복잡한 수술 장면에서는 바늘을 쥐는 정밀한 움직임과 같이 미세한 디테일에 집중해야 하는 순간이 있는 반면, 도구를 넓게 휘두르는 것과 같은 큰 움직임이 포함되는 순간도 있고, 움직임이 전혀 없는 순간도 있습니다. 시스템은 시각적 지도를 분석하여 이미지의 각 부분에 대해 어떤 유형의 정보가 가장 중요한지를 결정합니다. 예를 들어, 도구가 멈춰 있는 영역에서는 속도 정보를 무시하는 대신, 도구가 움직이는 영역에서는 도구의 속도에 집중하는 방식을 선택할 수 있습니다. 이러한 선택적 주의 집중을 통해 컴퓨터는 필요한 곳에만 계산 능력을 집중할 수 있으며, 이를 통해 정확도를 잃지 않으면서도 과정을 훨씬 빠르고 효율적으로 만듭니다.

이 아이디어를 테스트하기 위해 연구진은 KASA(Kinematic Articulated Surgical Action)라고 불리는 새로운 벤치마크를 구축했습니다. 이는 영상 프레임과 로봇 도구의 정확한 움직임을 연결하도록 정교하게 주석이 달린 실제 로봇 수술 영상 모음입니다. 연구진은 인간 전문가와 고급 소프트웨어를 결방하여 도구의 위치를 추적하고, 샤프트(shaft), 손목(wrist), 그리퍼(gripper)와 같은 부품을 식별하며, 시간이 경과함에 따라 그 위치를 기록했습니다. 이 데이터셋은 매듭짓기, 바늘 잡기, 조직 찌르기와 같은 어려운 작업들을 다루며, 시스템이 수술 동작의 미묘한 차이를 진정으로 이해하고 재현할 수 있는지 확인하기 위한 현실적인 테스트베드를 제공합니다. 연구진은 자신들의 방법이 이 데이터를 통해 테스트되었을 때, 이전의 시도들보다 실제 로봇의 움직임에 훨씬 더 충실한 영상을 생성한다는 것을 발견했습니다.

결과는 생성된 영상이 실제 동작과 얼마나 잘 일치하는지에 대한 명확한 개선을 보여주었습니다. 텍스트 설명이나 밀집된 시각적 지도에 의존하는 다른 시스템들과 비교했을 때, 이 새로운 접근 방식은 도구의 경로를 일치시키는 오차를 상당한 수준으로 줄였습니다. 또한 더 선명하고 시각적 오류가 적은, 더 현실적인 이미지를 생성했습니다. 아마도 가장 중요한 점은, 시스템이 이 작업을 훨씬 더 빠르게 수행할 수 있었다는 것입니다. 복잡한 업데이트가 필요하지 않은 영상 부분에 대한 불필요한 계산을 건너뜀으로써, 연구진은 표준 버전보다 거의 절반이나 빠른 속도를 유지하면서도 높은 정확도를 유지하는 간소화된 모델을 만들었습니다. 이러한 효율성은 이 시스템이 결국 실시간으로 실행되어 외과의나 교육 시스템에 즉각적인 피드백을 제공할 수 있음을 시사합니다.

또한 이 연구는 해당 방법이 한 번도 본 적 없는 상황을 처리할 수 있음을 입증했습니다. 서로 다른 조명과 조직의 외형을 가진 다른 수술 설정의 영상에서도 테스트했을 때, 시스템은 재학습 없이도 여전히 정확하고 현실적인 영상을 생성해 냈습니다. 이러한 일반화 능력은 시스템이 단순히 특정 장면을 암기하는 것이 아니라, 수술 도구가 움직이는 근본적인 물리 법칙을 학습했음을 시사합니다. 연구진은 이 영상들이 강력한 시뮬레이션 및 데이터 학습 도구이기는 하지만, 아직 직접적인 임상 사용을 목적으로 하는 것은 아니라고 강조합니다. 대신, 이 연구는 로봇의 정밀한 저수준 명령을 수술 절차의 고수준 시각적 현실로 번역하는 방법을 이해하는 데 있어 중요한 진전이며, 향후 더 발전된 훈련 및 계획 도구의 문을 여는 역할을 합니다.