Surgical Vision ROS2: a ROS2 Humble pipeline for intraoperative wound assessment and variable-autonomy arm control

기술 요약: Surgical Vision ROS2

문제 정의
원격 제어 수술 로봇은 현재 조직을 검사하고, 상처 상태를 판단하며, 팔의 움직임을 결정하는 과정을 전적으로 인간 운영자에게 의존하고 있습니다. 로봇 팔은 수술 부위에 대한 독립적인 지각 관점을 결여하고 있으며, 시각적 신호에 기반하여 자신의 행동을 수정할 수 없습니다. 이러한 구성은 숙련된 외과의에게는 효과적이지만, 훈련 환경(훈련생이 신호를 놓칠 수 있는 경우)이나 장시간 수술 중(주의력이 저하될 수 있는 경우)에는 위험을 초래할 수 있습니다. 본 논문은 상처를 독립적으로 모니터링하고 팔의 자율성을 제한함으로써, 운영자가 놓칠 수 있는 오류를 잡아내는 보조적인, 더 저렴한 판단 역할을 수행하는 "지각 조건부 보조(perception-conditioned assistance)" 계층의 필요성을 식별합니다.

방법론
저자들은 상처 지각을 가변 자율성 팔 제어와 결합하는 ROS2 Humble 및 OpenCV 기반의 소프트웨어 파이프라인인 Surgical Vision ROS2를 제시합니다.

• 아키텍처: 시스템은 선형적인 생산자-소비자 체인으로 연결된 네 개의 분리된 ROS2 노드로 구성됩니다:

  1. lesion_detector_node: 이미지를 읽고, 임상 스타일의 점수를 계산하며, 상태를 발행(publish)합니다.
  2. behavior_manager_node: 점수를 자율성 단계(tier)로 매핑하고 모드를 발행합니다.
  3. surgeon_console_node: 자율성 단계를 강제합니다 (운영자의 명령을 게이팅함).
  4. moveit_bridge_node: 승인된 명령을 MoveIt2로 전달하여 실행합니다.
  • 통신은 문자열 기반 토픽(/scene_state, /autonomy_mode, /arm_command)을 통해 이루어지며, 이를 통해 모듈성을 보장합니다.

• 점수 산정 프레임워크 (ABCDE): 비전 로직은 피부과적 ABCDE 프레임(비대칭성, 경계, 색상, 직경, 진화)을 수술 상처에 맞게 적용합니다. 이는 이미지 메트릭(예: 윤곽 견고도, 라플라시안 분산, HSV 색상 분류)을 기반으로 다섯 가지 하위 점수(0–2)를 계산하여 총점(0–10)을 생성합니다.

  • 판결 매핑: 점수 0–1은 PASS(전체 자율성)에, 2는 CAUTION(속도 감소, 동작당 확인 필수)에, 3 이상은 FAIL(상태 유지, 재개를 위해 수동 "CONFIRM" 필요)에 매핑됩니다.

• 자율성 단계:

  • Full (전체): 표준 원격 제어.
  • Reduced (감소): 명령을 50% 속도로 실행하며, 각 동작마다 운영자의 확인이 필수적입니다.
  • Hold (유지): 운영자가 명시적으로 "CONFIRM"을 입력할 때까지 팔을 고정합니다.

• 세그멘테이션 진화:

  • 기존 방식: 그레이스케일 적응형 임계값 처리(grayscale adaptive thresholding)를 사용했습니다. 이는 균일한 조직 내의 국소적 대비 문제로 인해 상처 본체가 아닌 봉합사(suture stitches)에 고착되어 심각하게 실패했습니다.
  • 교체 방식: 글로벌 **HSV 색상 거리 세그멘테이션(HSV colour-distance segmentation)**을 구현했습니다. 이미지 모서리에서 배경색을 샘플링하고, 각 픽셀과 중앙값 배경 사이의 유클리드 거리를 계산한 후, Otsu 이진화를 적용하고 형태학적 연산(morphological operations)을 사용하여 봉합사 아티팩트를 제거합니다.

주요 기여

1. 실행 가능한 파이프라인: 지각을 팔-자율성 게이팅과 결합하는 네 개의 노드로 구성된 ROS2 그래프를 제공하며, 토픽 수준의 명확한 분리를 구현했습니다. 이 아키텍처를 통해 지각 노드와 제어 노드를 독립적으로 교체할 수 있습니다.
2. 실패와 해결의 경험적 검증: 본 논문은 초기 세그멘테이션 방식이 상처 대신 봉합사를 감지하여 합성 벤치마크에서 **6.7%**의 정확도만을 기록하며 실패했던 구체적인 실패 모드를 기록합니다. 또한, 정확도를 **64.4%**로 향상시킨 교체 세그멘테이션 방법의 구현과 검증 과정을 상세히 설명합니다.
3. 교육용 템플릿: 운영자 개입(operator-in-the-loop) 게이팅을 포함한 지각-작동 루프의 컴팩트한(<700행의 Python) 예시를 제공하여, ROS2 교육 및 로보틱스 연구에 적합하도록 설계되었습니다.

결과
시스템은 결정론적 스크립트로 생성된 45개의 이미지 합성 벤치마크("Healthy", "Concerning", "Critical" 클래스 각각 15개 이미지)를 통해 평가되었습니다.

• 기존 파이프라인: 세 클래스 판결 정확도에서 6.7%(3/45)를 달려 달성했습니다. 혼동 행렬(confusion matrix)은 일관된 대각 구조를 보이지 않았으며, 해당 방식은 봉합사 고리를 감지함으로써 건강한 상처를 식별하는 데 실패하여 종종 "concerning" 또는 "critical"로 오분류했습니다.
• 교체 파이프라인: 64.4%(29/45)의 정확도를 달려 달성했습니다.
  • Healthy 클래스: 15/15개 올바르게 식별.
  • Critical 클래스: 15/15개 올바르게 식별.
  • Concerning 클래스: 0/15개 올바르게 식별 (모두 "Healthy"로 오분류됨).
• 잔여 실패 분석: 저자들은 "Concerning" 상처를 분류하는 데 실패한 원인을 ABCDE 임계값 때문이라고 분석합니다. 이 임계값들은 고장 난 세그멘테이션에 의해 생성된 분포에 맞춰 수동으로 조정되었기 때문에, 정상 작동하는 세그멘테이션이 생성하는 분포(예: "Concerning" 상처가 높은 견고도 값을 가져 "PASS" 판결을 유발함)를 식별하지 못합니다. 논문은 재교정이 필요함을 언급하였으나, 작은 벤치마크에 대한 과적합을 피하기 위해 재교정을 미루었습니다.

의의 및 주장
본 논문은 Surgical Vision ROS2가 임상 도구가 아님을 명시적으로 밝힙니다. 이는 환자 데이터로 테스트되지 않았으며, 물리적인 로봇 팔에서 검증되지 않았습니다. 본 연구의 의의는 다음과 같습니다:

• 연구 유용성: 지각 신호를 MoveIt2 기반의 팔과 결 결합하여 가변 자율성 원격 제어를 수행하고자 하는 연구자들에게 오픈 소스 템플릿을 제공합니다.
• 교육적 가치: 분리된 토픽 기반 아키텍처를 통한 지각 조건부 제어를 보여줍니다.
• 방법론적 투명성: 특정 세그멘테이션 실패(봉합사 고착)가 어떻게 전체 시스템 실패로 이어지는지, 그리고 방법론적 전환(글로벌 색상 거리)이 이를 어떻게 해결하는지, 동시에 세그멘테이션을 수정하는 것만으로는 다운스트림 결정 임계값을 재교정하지 않으면 불충분하다는 점을 강조하는 명확한 사례 연구를 제공합니다.

저자들은 본 파이프라인이 시뮬레이션 및 연구 프레임워크로서 작동하지만, 임상적 관련성을 고려하기 전에는 더 큰 규모의 벤치마크, 임계값 재교정, 그리고 비합성 이미지에 대한 테스트 등 추가적인 작업이 필요하다고 결론짓습니다.