기술 요약: 디지털 트윈 표현 기반의 강화 학습을 이용한 추론 집약적 수술 비디오 질의응답을 위한 LLM 학습

문제 정의

수술 비디오 질의응답(VideoQA)은 워크플로 분석 및 교육을 지원하기 위해 수술 비디오에 대한 자연어 쿼리를 해석하는 것을 목표로 합니다. 그러나 현재의 접근 방식은 다단계의 의미적, 공간적, 시간적 추론을 요구하는 **추론 집약적 작업(reasoning-intensive tasks)**을 처리하는 데 있어 상당한 한계에 직면해 있습니다.

기존 방법들은 일반적으로 VideoQA를 직접적인 시각적 매칭 작업으로 취급하거나 연속적인 비디오를 이산적인 토큰 표현으로 압축합니다. 이러한 구조적 접근 방식은 연속적인 시공간적 관계를 파편화하여, 모델이 다음과 같은 복잡한 추론을 수행하는 능력을 제한합니다:

• 의미적 추론(Semantic Reasoning): 기구의 기능 및 절차적 논리 이해.
• 공간적 추론(Spatial Reasoning): 기하학적 및 깊이 관계 분석.
• 시간적 추론(Temporal Reasoning): 운동 궤적 및 워크플로 단계 추적.

또한, 일반적인 시각-언어 모델(VLM)은 비용이 많이 드는 도메인 특화 적응 과정을 필요로 하는 반면, 수술 특화 모델은 시각적 인지와 추론을 단일 모델 내에 결합합니다. 이러한 결합은 모델이 미세한 특징 추출과 고수준 추론을 동시에 학습하도록 강제하며, 이는 대규모의 주석 데이터셋을 필요로 하는 상충하는 최적화 목표를 도입합니다.

방법론

저자들은 시각적 인지와 추론을 분리하는 강화 학습(RL) 프레 프레임워크를 제안합니다. 비디오를 직접 처리하는 대신, 대규모 언어 모델(LLM)은 디지털 트윈(DT) 표현이라고 불리는 구조화된 중간 표현 위에서 계획을 세우고 작동합니다.

1. 구조화된 롤아웃 시퀀스 (Structured Rollout Sequence)

LLM은 비디오 $V$가 주어졌을 때 쿼리 $Q$를 해결하기 위해 다음과 같은 구조화된 출력 시퀀스를 생성합니다:

1. 초기 추론 ($R_0$): LLM은 쿼리를 분해하고 필요한 정보를 식별하기 위해 사고의 사슬(chain-of-thought)을 생성합니다.
2. DT 구축 계획 ($G$): LLM은 호출할 수술 기초 모델(surgical foundation models)과 그 실행 의존성을 명시하는 유향 비순환 그래프(DAG)를 출력합니다.
3. DT 표현 ($D$): 계획 실행 시, 추출된 엔티티, 관계 및 불확실성 추정치를 포함하는 구조화된 DT 표현이 시스템에 추가됩니다.
4. DT 기반 추론 ($R_1$): LLM은 구축된 DT를 바탕으로 추론하여 최종 답변을 도출합니다.
5. 최종 답변 ($A$): LLM은 응답을 생성합니다.

2. 계층적 및 확률적 디지털 트윈 표현

DT 표현은 LLM의 계획에 따라 특정 기초 모델(예: SurgSAM-2, DepthAnything2, RASO, OWLv2)을 호출하여 구축됩니다. 주요 특징은 다음과 같습니다:

• 계층적 구조: 다중 스케일의 시간적 역동성을 수용하기 위해 DT는 세 가지 수준으로 구성됩니다:
  • 프레임 수준 (Frame Level): 즉각적인 관찰값 (마스크, 깊이, 태그, 바운딩 박스).
  • 시간적 윈도우 수준 (Temporal Window Level): 단기 역동성(궤적, 변형)을 보존하기 위해 최근 프레임들을 슬라이딩 윈도우 방식으로 집계하며, 트래킹 식별자를 사용합니다.
  • 절차 수준 (Procedure Level): 외부 LLM을 통해 장기적 문맥(단계 전환, 누적 사용량)을 요약하는 집계된 통계치.
• 확률적 불확실성: 지각적 모호성을 처리하기 위해 엔티티와 관계는 확률적 속성과 함께 공식화됩니다. 불확실성 추정치(예: 세그멘테이션 신뢰도, 의미론적 인식 신뢰도, 깊이 편차)는 기초 모델의 고유한 출력을 통해 도출됩니다.

3. 보상 설계 (Reward Design)

본 프레임워크는 형식 검증과 정확도 평가를 결합한 규칙 기반 보상 함수 $R(Y)$를 채택합니다:

• 형식 보상 ($R_{format}$): 롤아웃 시퀀스가 요구되는 모든 토큰 쌍을 올바른 순서로 포함하는지 확인합니다.
• 정확도 보상 ($R_{acc}$):
  • LLM-as-a-judge를 사용하여 생성된 답변과 정답 간의 의미적 동등성을 평가합니다.
  • 임상적 타당성 검사 (Clinical Plausibility Check): 임상적으로 타당하지 않은 주장(예: 모순되는 기구 기능 또는 안전하지 않은 순서)을 포함하는 답변에 대해 페널티를 부여합니다.
  • 불확실성 인지 캘리브레이션 (Uncertainty-Aware Calibration): 보상의 크기는 답변에서 참조된 특정 인스턴스의 신뢰도를 나타내는 신뢰 계수 $\gamma$에 의해 조절됩니다. 이는 시각적 관측의 신뢰도에 따라 보상을 스케일링합니다.
• 학습: LLM은 **그룹 상대적 정책 최적화(GRPO)**를 사용하여 학습됩니다.

4. 데이터셋: REAL-Colon-Reason

이 연구를 지원하기 위해 저자들은 2,000개의 질의응답 쌍을 포함하는 대장 내시경 벤치마크인 REAL-Colon-Reason을 도입했습니다. 이 데이터셋은 REAL-Colon 데이터셋에서 파생되었으며 세 가지 복잡도 수준을 특징으로 합니다:

• 레벨 1: 기본적인 단일 단계 추론.
• 레벨 2: 두 단계의 중간 추론 작업 필요.
• 레벨 3: 3단계 이상의 논리적 연쇄 추론 요구.

주요 기여

1. 분리된 추론을 위한 RL 프레임워크: 수술 기초 모델에 의해 구축된 디지털 트윈 표현 위에서 계획하고 추론하도록 LLM을 학습시켜, 인지와 추론을 효과적으로 분리하는 새로운 프레임워크를 제안합니다.
2. 계층적 확률적 DT: 수술 비디오의 본질적인 모호성과 시간적 계층 구조를 해결하기 위해 다중 스케일 시간 구조와 확률적 불확실성 추정치를 인코딩하는 DT 표현을 설계했습니다.
3. 임상적 타당성 보상: 수동으로 주석을 달린 추론 체인 없이도 임상적 타당성을 강제하고 시각적 불확실성에 따라 답변 신뢰도를 캘리브레이션하는 보상 메커니즘을 제공합니다.
4. REAL-Colon-Reason 벤치마크: 다양한 복잡도 수준을 다루는 추론 집약적 수술 VideoQA를 위해 특별히 설계된 새로운 데이터셋을 제시합니다.

실험 결과

본 방법론은 REAL-Colon-Reason, REAL-Colon-VQA, EndoVis18-VQA에서 평가되었습니다.

• REAL-Colon-Reason: 제안된 방법은 전체 Exact Match (EM) 점수 0.584와 SMILE 점수 0.646로 최첨단 성능을 달ей했습니다. 이는 두 번째로 우수한 방법(Qwen3-VL-8B)보다 EM에서 17.2%, SMIle에서 17.3% 더 높은 성능을 보였습니다. 성능 격차는 높은 복잡도 수준(Level 3)에서 더욱 크게 벌어졌으며, 이는 다단계 추론에 대한 본 방법의 우수한 능력을 입증합니다.
• 기존 벤치마크: REAL-Colon-VQA 및 EndoVis18-VQA에서 본 방법은 (in-template 기준) 각각 75.42%와 87.20%의 최고 BLEU-4 점수를 기록했으며, 키워드 정확도에서 기존 방법들을 크게 앞질러 개선된 사실적 근거 제시 능력을 보여주었습니다.
• 절제 연구 (Ablation Study): DT 표현을 제거했을 때 성능은 0.242 EM의 베이스라인으로 감소했습니다. 전체 RL 학습 모델(0.584 EM)은 지도 미세 조정(SFT) 베이스라인(0.325 EM)을 크게 상회하여, 보상 설계와 RL 학습의 효용성을 확인했습니다.

의의 및 주장

본 논문은 시각적 인지와 추론을 분리하고 구조화된 디지털 트윈 표현을 활용함으로써, 토큰 기반 압축 방식이 파편화하는 미세한 시공간 정보를 보존한다고 주장합니다. 이러한 접근 방식은 대규모의 수동 주석 추론 데이터 없이도, 부작적 사건을 예측하거나 모호한 수술 중 상황에서 가이드를 제공하는 것과 같은 고급 수술 애플리케이션에 필요한 복잡한 다단계 추론을 LLM이 수행할 수 있게 합니다. 결과는 일반 목적의 VLM과 단일 프레임 접근 방식이 실패하는 추론 집약적 수술 시나리오를 처리하는 데 있어 명시적인 추론 구조와 확률적 계층 표현이 필수적임을 시사합니다.