SiMing-Bench: Evaluating Procedural Correctness from Continuous Interactions in Clinical Skill Videos

1. 문제 정의 (Problem Definition)

현재 멀티모달 대규모 언어 모델 (MLLM) 을 위한 비디오 벤치마크는 주로 이벤트 인식 (event recognition), 시간적 순서 (temporal ordering), **장기 컨텍스트 회상 (long-context recall)**에 초점을 맞추고 있습니다. 그러나 의료 전문가의 절차적 판단 (procedural judgment) 에 필수적인 더 어려운 능력, 즉 **"연속적인 상호작용이 어떻게 절차적 상태 (procedural state) 를 업데이트하고 이후 행동의 정확성을 결정하는가"**를 추적하는 능력은 간과되어 왔습니다.

• 핵심 한계: 기존 벤치마크는 "무슨 일이 일어났는지", "어떤 순서로", "얼마나 오래"를 평가하지만, 이전 상호작용이 후속 단계의 유효성 (correctness, feasibility, validity) 을 어떻게 변화시키는지에 대한 인과적 추론을 평가하지 못합니다.
• 의료적 필요성: 수술이나 응급 처치와 같은 임상 기술 평가에서는 도구, 환자, 환경 간의 상호작용이 시간에 따라 어떻게 전개되는지 해석해야만 절차의 정확성을 판단할 수 있습니다. 예를 들어, 바느질 동작 자체는 정교해 보일지라도 잘못된 도구를 사용하거나 순서가 틀렸다면 전체 절차는 무효가 됩니다.

2. 방법론 (Methodology)

저자들은 이 격차를 해결하기 위해 SiMing-Bench를 도입했습니다. 이는 임상 기술 비디오를 기반으로 MLLM 이 연속적인 상호작용을 통해 절차적 정확성을 판단할 수 있는지 평가하는 최초의 벤치마크입니다.

2.1 데이터셋: SiMing-Score

• 구성: 3 개 병원 (우한대학교 부속 중남병원 등) 에서 수집된 의료 학생들의 실제 임상 기술 시험 영상 200 개로 구성되었습니다.
• 범위: 심폐소생술 (CPR), 자동제세동기 (AED) 작동, 백 - 마스크 환기 (BMV) 의 3 가지 핵심 응급 기술.
• 특징:
  • 각 영상은 2~4 분 길이의 **완전한 워크플로우 (full-workflow)**를 단일 장면에서 기록합니다.
  • 각 영상은 표준화된 **의사 정의 평가 기준 (Rubric)**과 쌍으로 제공됩니다.
  • 이중 전문가 라벨링: 두 명의 의사가 독립적으로 각 영상을 평가하여 단계별 (step-wise) 텍스트 기준, 서열 등급 (ordinal ratings), 그리고 전체 점수를 부여했습니다. 불일치 시 adjudication (조정) 과정을 거쳐 최종 합의를 도출했습니다.
• 통계: 총 563 분의 영상, 평균 168.9 초/샘플, 총 33 개의 표준화된 평가 단계 (CPR 19 개, AED 9 개, BMV 5 개).

2.2 태스크 정의

• 입력: 전체 임상 기술 비디오 ($V$) 와 단계별 평가 기준 ($R$).
• 출력: 정의된 각 단계에 대한 이산 점수 ($\hat{s}_i$) 와 전체 절차 점수 ($\hat{y}$).
• 평가 지표:
  • 전체 점수 일관성: 피어슨 상관관계 (PLCC), 스피어만 상관관계 (SRCC).
  • 단계별 일관성: 2 차 가중 코헨의 카파 (Quadratically Weighted Cohen's $\kappa$). 이는 서열 데이터의 불일치 정도를 가중치하여惩罚하는 지표입니다.

2.3 실험 설정

• 다양한 오픈소스 (LLaVA-Video, Qwen3-VL 등), 상용 (GPT-4o, GPT-5.2, Gemini 등), 의료 특화 (UniMed-VL, MedGemma 등) MLLM 12 개 모델을 평가했습니다.
• 비교 실험:
  1. 이진 판단 (Binary Judgment): 점수 매기기를 '정확/부정확' 이진 분류로 단순화.
  2. 단계 정렬 클립 (Step-aligned Clips): 전체 비디오 대신 해당 단계에 해당하는 짧은 클립만 입력하여 시간적 탐색 부담 제거.

3. 주요 기여 (Key Contributions)

1. SiMing-Bench 도입: 임상 기술 비디오 기반의 첫 번째 벤치마크로, MLLM 의 '연속적 상호작용에 기반한 절차적 정확성 판단' 능력을 평가합니다.
2. SiMing-Score 데이터셋 구축: 200 개의 전체 워크플로우 영상과 2 명의 의사가 독립적으로 평가한 상세한 단계별 기준 및 점수를 포함하는 고품질 데이터셋을 공개했습니다.
3. MLLM 의 한계 규명: 현재 MLLM 들이 임상 비디오의 연속적 상호작용을 신뢰할 수 있는 절차적 판단으로 전환하는 데 실패하고 있음을 실증적으로 보여주었습니다. 특히, 전체 점수 상관관계가 양호하더라도 세부 단계별 판단은 거의 무작위 수준임을 발견했습니다.

4. 실험 결과 (Results)

• 전문가와의 일치도 부재:
  • 가장 성능이 좋았던 모델 (GPT-4o) 은 전체 점수 상관관계 (PLCC) 에서 0.158에 그쳤으며, 단계별 일치도 (Cohen's $\kappa$) 는 0.000 (무작위 수준) 이었습니다.
  • 반면, 의사 간 일치도는 전체 점수에서 0.871, 단계별에서 0.732 로 매우 높았습니다.
• 전체 점수 vs 단계별 점수의 괴리:
  • 일부 모델은 전체 절차의 품질에 대한 거시적 상관관계는 어느 정도 보였으나, Rubric 으로 정의된 중간 단계의 정확성 판단에서는 거의 일치하지 않았습니다. 이는 거시적 평가가 모델의 실제 절차적 이해 능력을 과대평가할 수 있음을 시사합니다.
• 모델 규모 및 도메인 특화의 한계:
  • 모델 크기 증가 (7B vs 72B) 나 의료 특화 모델 (MedGemma 등) 도 성능 향상을 보이지 못했습니다. 이는 단순한 인식 (object recognition) 이나 용어 지식이 부족해서가 아니라, 상호작용에 따른 상태 변화 (state update) 를 모델링하는 능력이 결여되어 있기 때문입니다.
• 진단 분석 (Diagnostic Analysis):
  • 이진 판단: 점수 매기기를 단순화하더라도 (MCC 0.132), 모델은 올바른 상호작용과 잘못된 상호작용을 구분하는 데 실패했습니다.
  • 단계별 클립: 시간적 탐색을 제거하고 해당 단계만 제공해도 단계별 일치도 ($\kappa$) 는 0.075 에 머물렀습니다.
  • 결론: 병목 현상은 세밀한 점수 매기기의 어려움이나 시간적 위치 찾기의 문제가 아니라, 관찰된 상호작용을 전문가 수준의 절차적 판단으로 변환하는 근본적인 능력의 부재입니다.

5. 의의 및 결론 (Significance & Conclusion)

• 새로운 평가 패러다임: SiMing-Bench 는 비디오 이해가 단순한 '무엇이 일어났는가 (What happened)'를 넘어, '상호작용이 어떻게 상태를 변화시키고 다음 행동을 유효하게 만드는가 (How interactions update state)'를 평가해야 함을 강조합니다.
• 현실적 함의: 현재 MLLM 은 장기적인 상호작용 흐름 속에서 절차적 상태를 추적하고 추론하는 '세계 모델 (World Model)'로서의 역량이 부족합니다. 이는 의료 교육 자동화나 임상 의사결정 지원 시스템 개발에 있어 중요한 기술적 장벽을 지적합니다.
• 향후 방향: 단순한 이벤트 인식이나 장기 컨텍스트 회상을 넘어, 연속적으로 진화하는 현실 세계의 과정을 전문가 수준으로 판단할 수 있는 멀티모달 시스템 개발이 필요함을 시사합니다.

이 논문은 의료 AI 의 신뢰성 있는 평가를 위해 단순한 객체 인식을 넘어, 동적 상호작용과 절차적 논리를 이해하는 능력의 중요성을 부각시켰다는 점에서 의의가 큽니다.