기술 요약: SurgOnAir

문제 제기

현재의 수술 인공지능 (AI) 시스템은 수술 워크플로우에 대한 실시간적이고 시간적으로 근거된 이해를 제공하는 데 어려움을 겪고 있습니다. 멀티모달 대규모 언어 모델 (MLLMs) 은 일반적인 비디오 이해 능력을 향상시켰지만, 무거운 백본과 전체 비디오 시퀀스에 대한 접근이 필요한 오프라인 처리 패러다임에 의존하기 때문에 진화하는 수술 역학에 즉각적으로 반응하는 데 제약을 받습니다. 수술실에서는 중요한 의사결정이 기구 움직임과 조직 상태의 미묘하고 순간적인 변화에 달려 있으며, 사소한 지각 지연조차도 안전을 훼손하거나 보조 기능을 제한할 수 있습니다. 또한, 기존 방법들은 종종 수술 워크플로우를 평탄한 시퀀스로 취급하여 문맥적 근거 확보와 환각 현상 감소를 위해 필수적인 계층적 구조 (단계 $\rightarrow$ 절차 $\rightarrow$ 행동) 를 간과합니다. 스트리밍 비디오 처리와 동시에 다수준의 계층 인식 내러티브를 생성할 수 있는 모델은 부재합니다.

방법론

1. 데이터 큐레이션: SurgOnAir-11K

저자들은 원시 수술 비디오와 구조화된 내러티브 간의 격차를 해소하도록 설계된 계층적 데이터셋 SurgOnAir-11K를 소개합니다. 데이터 큐레이션 파이프라인은 다음과 같습니다:

• 시간적으로 근거된 ASR: WhisperX-large 를 사용하여 정확한 타임스탬프가 포함된 단어 수준의 전사를 추출하고, $\langle 단어, t_{시작}, t_{종료} \rangle$의 삼중항을 생성합니다.
• 도메인 인식 교정: 낮은 신뢰도 문장 (로그 확률 < -0.15) 은 GPT-4o 를 사용하여 엄격한 제약 조건 하에 교정하여 콘텐츠를 변경하지 않으면서 용어를 표준화합니다.
• 행동 인식 필터링: 문장을 행동, 설명, 상호작용으로 분류합니다. 시각 콘텐츠에 엄격하게 근거된 행동 문장만 감독을 위해 유지됩니다.
• 계층적 구성: 데이터셋은 단계 $\rightarrow$ 절차 $\rightarrow$ 단어의 3 단계 계층 구조로 구성됩니다. 고수준 절차적 단계는 겹치지 않고 시간적으로 단조로운 분할을 보장하도록 LLM 을 통해 생성된 후, 메타데이터로 정의된 단계와 정렬됩니다.

2. 모델 아키텍처: SurgOnAir

SurgOnAir 는 미래 정보 접근 없이 실시간 프레임 - 토큰 생성을 위해 설계된 LiveCC-7B-Base 백본을 기반으로 구축된 스트리밍 비전 - 언어 모델입니다.

• 밀집 시간적 인터리빙: 이 모델은 시각 프레임 ($\langle F \rangle$) 과 텍스트 토큰 ($\langle W \rangle$) 이 밀집되어 인터리빙되는 스트리밍 입력 전략을 채택합니다: $[Con] \langle F_{t:t+k} \rangle \langle W_{t:t+k} \rangle \dots$. 스트라이드 $k$는 미세한 정렬을 보장하기 위해 2 FPS 의 프레임 속도로 1 로 설정됩니다.
• 계층적 상태 토큰: 계층 인식 내러티브를 강제하기 위해 모델은 특수 전이 토큰(예: <State>Phase=P1, Step=S1</State>) 을 활용합니다. 이러한 토큰은 상태 전이가 발생할 때만 텍스트 스트림에 조건부로 삽입되어 워크플로우를 위한 이산적 앵커 역할을 합니다. 이를 통해 모델은 연속적인 내레이터이자 엄격한 상태 추적기로 동시에 기능할 수 있습니다.
• 학습 전략: 모델은 단계적 조건부 전략을 사용합니다. 처음 두 에포크에서는 학습을 안정화하기 위해 이전 ASR 텍스트에 조건부 설정을 적용합니다. 마지막 에포크에서는 ASR 컨텍스트를 제거 (비디오 제목만 유지) 하여 모델이 시각적 증거에 직접 의존하도록 합니다.

주요 기여

1. 계층적 시간적 근거 파이프라인: 원시 수술 비디오와 ASR 전사를 명시적인 단계, 절차, 단어 감독을 갖춘 다수준 시간 정렬 비디오 - 언어 코퍼스 (SurgOnAir-11K) 로 변환하는 새로운 방법.
2. SurgOnAir 프레임워크: 실시간 처리를 위해 멀티모달 토큰을 인터리빙하는 계층적 스트리밍 프레임워크. 이는 상태 변화를 명시적으로 예측하기 위해 특수 전이 토큰을 독창적으로 활용하여 절차적 계층을 인식하는 내러티브 생성을 가능하게 합니다.
3. 실시간 성능: 수술 워크플로우의 여러 계층에 걸쳐 스트리밍을 통합할 수 있는 단일 비전 - 언어 모델의 실증으로, 실시간 내러티브 품질 측면에서 오프라인 모델 및 기존 스트리밍 베이스라인을 모두 능가합니다.

실험 결과

모델은 GPT-4o 가 구문적 완벽성보다 의미적 정확성과 근거를 우선시하는 쌍별 선택 태스크를 통해 SurgOnAir-11K 데이터셋의 80/20 분할로 평가되었습니다.

• 베이스라인과의 비교:
  • 오프라인 모델: 오프라인 비디오 -LLM(LLaVA-Video-7B, Qwen2.5-VL-7B) 은 각각 11.3% 와 6.2% 의 승률로 낮은 성능을 보였으며, 이는 실시간 수술 시나리오에 부적합함을 강조합니다.
  • 스트리밍 베이스라인: 범용 스트리밍 모델인 LiveCC-7B 는 16.7% 의 승률을 기록하여 오프라인 모델보다 우수했으나 복잡한 수술 뉘앙스를 포착하지는 못했습니다.
  • SurgOnAir 변형: 도메인 내 데이터로 훈련된 평탄 내러티브 버전 (SurgOnAir-base) 은 60.4% 의 승률을 달성했습니다. 계층적 모델링을 통합한 전체 SurgOnAir 모델은 **66.1%**의 가장 높은 승률을 기록했습니다.
• 어블레이션 연구:
  • 계층: 계층적 구조를 제거한 경우 (SurgOnAir-base) 전체 모델 대비 승률이 39.4% 로 하락하여 구조적 가이드의 필요성을 확인했습니다.
  • 상태 구성: 모든 단어 토큰에서 상태 예측을 강제하는 변형 (SurgOnAir-v1) 은 42.5% 를 기록한 반면, 제안된 전이 인식 구성은 57.5% 를 기록하여 중복된 상태 생성이 내러티브 유창성을 해친다는 것을 나타냈습니다.
  • 단계 정확성: 모델이 수술 단계를 정확히 예측했을 때, 베이스 모델 대비 승률은 65.8% 로 급증하여 정확한 단계 근거가 문맥적으로 정렬된 내러티브를 직접 지원함을 입증했습니다.
• 정성적 결과: 모델은 "메쉬 도입"에서 "메쉬 고정"과 같은 절차적 경계를 넘어 일관되게 전환하며 상호작용 순간에 기구와 해부학적 구조를 정확하게 묘사하는 미세 수준의 시간 정렬을 유지합니다.

중요성과 주장

본 논문은 SurgOnAir 가 계층적 모델링을 기반으로 구축된 최초의 실시간 수술 내러티브 프레임워크라고 주장합니다. 그 주요 중요성은 시간적으로 정렬되고 계층을 인식하는 설명을 생성함으로써 기존 비디오 캡셔닝을 넘어 실시간 수술 이해를 발전시키는 데 있습니다. 저자들은 이 작업이 향후 수술 자동화와 지능형 수술 교육 시스템의 기반을 마련한다고 명시합니다.

논지는 현재의 데이터셋 규모가 제한적이며 모델이 아직 미래 행동 예측을 수행하지 못한다는 점을 인정하며, 이를 추가 탐구의 유망한 방향으로 제시함으로써 제한 사항에 대해 겸손한 태도를 유지합니다.