Reasoning Text-to-Video Retrieval for Operating Room Clips via Action-Driven Digital Twins

기술 요약: 액션 중심 디지털 트윈을 통한 수술실 클립의 추론 기반 텍스트-비디오 검색

문제 정의

수술실(OR)은 수천 시간의 비디오 영상을 생성하지만, 임상 이해관계자(예: 외과 수련의, 품질 관리팀)는 일반적으로 몇 초에서 몇 분 동안 지속되는 짧고 구체적인 클립을 필요로 합니다. 클립 단위의 텍스트-비디오 검색은 이러한 세그먼트에 접근하기 위한 자연스러운 정식화이지만, 기존 방식들은 수술실 맥락에서 두 가지 결정적인 한계에 직면합니다:

1. 암시적 쿼리 처리 능력 부족: 시각적 콘텐츠를 명시적으로 설명하는 일반적인 검색과 달리, 수술실 쿼리는 종종 암시적이며 추론을 필요로 합니다 (예: "클리핑 바로 전 단계" 또는 "출혈을 유발한 동작"). 글로벌 임베딩에 의존하는 기존 방식은 이러한 쿼리에 대해 추론할 수 없습니다.
2. 미세한 차별화 능력 결여: 동일한 수술 절차에서 추출된 클립들은 시각적으로 거의 동일하게 보일 수 있으며, 오직 특정 동작과 엔티티 간의 상호작용에 의해서만 차이가 발생합니다. 기존의 객체 중심 디지털 트윈(DT) 방식은 프레임별 엔티티와 시각적 속성에 집중하여, 동일한 객체를 공유하지만 동작과 상태 전이가 다른 연속적인 클립들을 구별하는 데 실패합니다.

방법론: OR3

저자들은 시간적 동작 추론을 통해 암시적 쿼리를 처리하도록 설계된 프레임워크인 OR3(Operating Room Reasoning Retrieval)를 제안합니다. 이 방법론은 세 가지 핵심 구성 요소로 이루어져 있습니다.

1. 액션 중심 디지털 트윈 (ActDTs)

객체 중심 표현 대신, OR3는 각 비디오 클립을 **액션 중심 디지털 트윈(ActDT)**으로 변환합니다.

• 구조: ActDT는 구조화된 JSON으로 직렬화된 액션 프리미티브(action primitives)의 시퀀스입니다. 이는 중복되지 않는 시간적 간격(temporal intervals) 하에 병렬적인 주체-동작-객체(subject-action-object) 삼중항(triplets)을 그룹화합니다.
• 구성 요소:
  • 간격(Intervals): 시작 및 종료 타임스탬프에 의해 정의되며, 겹침 없이 전체 클립 지속 시간을 커버합니다.
  • 삼중항(Triplets): 각 상호작용은 주체($s$), 동작($v$), 객체($o$)를 포함합니다.
  • 속성(Attributes): 주체와 객체는 카테고리(OR 전용 어휘집 기반), 속성(자세나 기구 상태와 같은 특성에 대한 자연어 요약), 위치(바운딩 박스 및 깊이)를 포함합니다.
• 생성: 시각 기초 모델(Vision Foundation Models: Qwen3-VL, SAM-3, DepthAnythingV3)이 RGB 프레임과 세그멘테이션 마스크로부터 이러한 삼중항을 추출합니다.

2. 상상 기반 검색 (Imagination-Based Retrieval)

OR3는 추상적인 쿼리와 구체적인 비디오 표현 사이의 의미론적 간극을 메우기 위해 검색 태스크를 교차 모달 매칭(cross-modal matching)에서 **내부 모달 매칭(intra-modal matching)**으로 재정의합니다.

• 가설 생성: 암시적 쿼리 $q$와 절차적 메타데이터 $K$가 주어지면, 대규모 언어 모델(LLM)은 가설적 ActDT($\widehat{\text{ActDT}}_q$)를 생성합니다. LLM은 쿼리를 단순히 재진술하는 것이 아니라, 대상 클립이 포함할 액션 프리미티브를 예측합니다.
• 내부 모달 인코딩: 가설적 ActDT와 실제 클립의 ActDT는 모두 JSON 텍스트로 직렬화되어 단일 공유 텍스트 인코더($f_\theta$)에 의해 인코딩됩니다. 관련성은 코사인 유사도를 통해 계산됩니다.
• 학습 전략: 인코더는 ActDT에 특화된 두 가지 유형의 하드 네거티브(hard negatives)를 사용하여 대조 학습 목적 함수로 학습됩니다:
  • 시간적 인접 네거티브(Temporally Adjacent Negatives): 엔티티는 공유하지만 동작이 다른 클립들.
  • 시간적 순열 네거티브(Temporal-Permutation Negatives): 시간적 논리를 깨뜨리면서 액션 프리미티브는 유지하되 간격 순서가 뒤섞인 클립들.
  • 필드 드롭아웃 증강(Field-Dropout Augmentation): 실제 ActDT의 필드를 무작위로 마스킹하여, 가설적 ActDT에 존재하는 누락된 시각적 속성에 대해 인코더가 강건하게 작동하도록 합니다.

3. 증거 기반 정교화 (Evidence-Grounded Refinement)

LLM이 특정 절차적 관례를 포착하지 못할 수 있다는 한계를 해결하기 위해, OR3는 반복적인 정교화 루프를 채택합니다.

• 프로세스: 초기 랭킹 이후, 상위 $K$개의 후보(실제 ActDT 포함)가 원래의 쿼리 및 초기 가설적 ActDT와 함께 LLM에 다시 입력됩니다.
• 수정: LLM은 상상된 액션 프리미티브와 관찰된 액션 프리무티브 사이의 불일치를 식별하고 수정된 가설적 ActDT를 생성합니다.
• 반복: 이 과정은 최대 $T_{ref}$ 라운드까지 또는 상위 랭크된 클립이 변하지 않을 때까지 반복되며, 이를 통해 시스템이 절차 특유의 패턴에 맞춰 쿼리 해석을 적응할 수 있도록 합니다.

벤치마크 구축

저자들은 MM-OR 데이터셋을 사용하여 수술실 텍스트-비디오 추론 검색을 위한 새로운 벤치마크를 구축했습니다.

• 데이터: 수술 단계 및 단계별로 세분화된 17개의 로봇 무릎 수술 녹화 영상에서 추출된 386개의 클립.
• 쿼리: 네 가지 추론 카테고리에 걸친 276개의 암시적 쿼리:
  • 시간적(Temporal): (예: "뼈를 톱질하기 바로 전 단계")
  • 인과적(Causal): (예: "멸균 위반을 유발한 동작")
  • 절차적(Procedural): (예: "로봇 보정 후 드릴을 처음 사용한 시점")
  • 역할 기반(Role-based): (예: "외과의가 톱질을 하는 동안 간호사가 준비한 것")
• 분할: 훈련(162개 쿼리), 검증(48개 쿼리), 테스트(66개 쿼리).

실험 결과

벤치마크에서 평가했을 때, OR3는 임베딩 기반 방식(CLIP4Clip, X-CLIP), 비디오-LLM(InternVideo2, Qwen3-VL), 그리고 이전의 최첨단 추론 방식(ReasonT2V)을 포함한 기존 베이스라인들을 크게 능가했습니다.

• 전체 성능: OR3는 57.6% R@1 및 77.3% R@5를 달성하여, 가장 강력한 베이스라인인 ReasonT2V보다 R@1에서 33.4 퍼센트 포인트 앞섰습니다.
• 카테고리별 분석:
  • 역할 기반: 에이전트-액션 쌍이 ActDT 삼중항과 자연스럽게 일치하기 때문에 가장 높은 성능(67.6% R@1)을 보였습니다.
  • 시간적 및 절차적: ReasonT2V 대비 가장 큰 절대적 향상(각각 36.9 및 35.3 포인트)을 보였으며, 이는 간격 구조화된 액션 프리미티브의 효능을 입증합니다.
  • 인과적: 가장 어려운 카테고리였으나, OR3는 ReasonT2V의 15.8%에 비해 42.1% R@1을 달성했습니다.
• 절제 연구(Ablation Studies):
  • ActDT를 객체 중심 DT로 교체했을 때 가장 큰 하락(전체 15.2%)이 발생하여, 액션 중심 표현의 필요성을 확인했습니다.
  • 상상 기반 검색을 제거하면 R@1이 12.1% 감소하여, 내부 모달 매칭 접근 방식의 유효성을 입증했습니다.
  • 증거 기반 정교화는 전체적으로 7.6%의 이득을 기여했으며, 특히 인과적 쿼리에서 가장 큰 영향을 미쳤습니다.

의의 및 주장

본 논문은 OR3가 초점을 정적인 객체 속성에서 시간적 액션 추론으로 전환함으로써 시각적으로 유사한 수술실 비디오 클립 간의 미세한 차별화를 가능하게 한다고 주장합니다.

주요 기여는 다음과 같습니다:

1. 태스크 정식화: 암시적 쿼리를 통해 시각적으로 거의 동일한 영상들을 구별해야 하는 과업인 수술실 클립용 텍스트-비디오 추론 검색을 도입했습니다.
2. 방법론적 혁신: 시간적 객체 상호작용 역학을 인코딩하는 ActDT와 교차 모달 의미론적 간극을 제거하는 상상 기반 검색을 제안했습니다.
3. 적응형 정교화: 쿼리 해석을 특정 절차적 관례에 적응시키기 위한 증거 기반 정교화를 도입했습니다.
4. 벤치마크: 이 분야의 향후 연구를 촉진하기 위해 386개 클립에 대한 276개의 큐레이션된 암시적 쿼리 데이터셋을 제공했습니다.

저자들은 그들의 접근 방식이 사용자가 수술실 클립을 검색하는 방식과 기존의 검색 방식이 작동하는 방식 사이의 간극을 성공적으로 해결했다고 결론지었으나, 향후 연구에서 다른 절차 유형, 멀티 턴 쿼리, 그리고 라이브 절차 중 실시간 검색 등을 탐구할 수 있음을 언급했습니다.