SurgCheck: Do Vision-Language Models Really Look at Images in Surgical VQA?

기술 요약: SurgCheck

문제 제기
비전 - 언어 모델 (VLM) 이 수술 비주얼 질문 답변 (VQA) 에서 유망한 성능을 보임에도 불구하고, 이러한 모델이 진정한 시각적 추론 능력을 보유하고 있는지, 아니면 단순히'언어적 단서 (linguistic shortcuts)'를 이용하는지에 대한 중대한 불확실성이 존재합니다. 기존 수술 VQA 데이터셋에는 질문의 표현이 암시적으로 답변 범위를 제한하는 질문들이 종종 포함됩니다 (예: 질문에서'bipolar'와 같은 기구를 명시적으로 언급). 이러한 경우, 모델들은 시각적 증거를 분석하는 대신 질문 텍스트와 답변 간의 통계적 상관관계에 기반하여 답변을 추론할 수 있습니다. 안전이 중요한 수술 환경에서 보고된 벤치마크 정확도가 진정한 시각적 이해를 반영하는지, 아니면 이러한 텍스트 편향에 의존하는 것인지는 명확하지 않습니다.

방법론
이러한 평가 격차를 해소하기 위해 저자들은 편향 통제된 쌍 질문 (paired-question) 설계를 통해 언어적 단서 의존도를 정량화하도록 고안된 진단 벤치마크인 SurgCheck를 소개합니다.

• 데이터셋 구축: SurgCheck 는 Endoscapes-SG201데이터셋을 기반으로 구축되었으며, 프레임 수준의 장면 그래프 주석 (기구, 해부학적 구조, 관계) 을 활용합니다. 이는 1,933 개의 프레임과 8 가지 작업 카테고리 (기구 개수, 해부학, 기구, 동작, 대상, 트리플릿, 해부학 - 홉, 안전의 중요 시야 [CVS]) 에 걸쳐 29,635 개의 QA 쌍으로 구성됩니다.
• 쌍 질문 설계: 각 수술 프레임에 대해 두 가지 의미적으로 동등한 질문이 생성됩니다:
  1. 원본 질문: 명시적 개체 이름을 포함한 관례적인 수술 표현을 따릅니다 (예: "bipolar가 수행하는 동작은 무엇입니까?").
  2. 편향 감소 질문: 동일한 시각적 내용과 정답을 유지하면서 명시적 개체 이름을 제거합니다.
• 그라운딩 단서: 개체 이름 없이도 편향 감소 질문이 명확하게 정의되도록 하기 위해 대상 개체를 참조하는 네 가지 그라운딩 단서가 포함됩니다:
  1. 바운딩 박스: 빨간색 박스를 통한 시각적 위치 지정.
  2. 화살표: 빨간색 화살표를 통한 시각적 위치 지정.
  3. 공간적 위치: 위치의 텍스트 설명 (예: "이미지의 오른쪽 하단").
  4. 주변 표현: 문맥적 설명 (예: "작업자의 오른손이 사용하는 도구").
• 평가 프로토콜: 본 연구는 제로샷 (zero-shot) 과 파인튜닝 (fine-tuned) 설정 하에서 다섯 가지 VLM(일반 목적 3 개: Qwen2.5-VL, LLaVA-OneVision, PaliGemma2; 수술 전용 2 개: PitVQA-Net, EndoChat) 을 평가합니다.
  • 개방형 제로샷 응답의 경우, LLM-as-a-Judge프로토콜 (GPT-5-mini 사용) 을 사용하여 rubric 에 따라 답변을 의미적으로 평가하고 1 점부터 5 점까지 점수를 부여합니다.
  • 범주형 출력을 생성하는 파인튜닝 모델의 경우, 표준 완전 일치 정확도 (exact-match accuracy) 와 F1 점수가 사용됩니다.
• 어블레이션 연구: 추론 중 시각적 입력을 제거하여 언어적 단서와 시각적 증거의 기여도를 분리하기 위해 텍스트 전용 어블레이션이 수행됩니다.

주요 기여

1. 편향 통제 쌍 질문 벤치마크: SurgCheck 는 원본 질문과 편향 감소 질문이 동일한 시각적 입력과 답변을 공유하고 언어적 단서의 유무만 다른 새로운 프레임워크를 도입합니다. 이를 통해 단서 의존성에 대한 직접적인 진단 신호를 얻을 수 있습니다.
2. 성능 격차의 정량적 분석: 저자들은 다섯 가지 VLM 에 대한 체계적인 평가를 제공하여 원본 질문과 편향 감소 질문 간의 성능 저하를 측정함으로써 단서 의존도의 정도를 정량화합니다.
3. 텍스트 전용 어블레이션을 통한 언어적 단서 진단: 시각적 입력을 제거함으로써, 본 연구는 특정 작업에서 원본 질문에 대한 높은 성능이 시각적 추론이 아닌 주로 텍스트에 의해 주도됨을 입증합니다.

결과

• 제로샷 성능: 모든 모델은 원본 질문에 비해 편향 감소 질문에서 성능 저하를 보였으며, 이는 도메인 특화 파인튜닝 전에도 언어적 단서에 의존하고 있음을 나타냅니다. 예를 들어, Qwen2.5-VL-7B 는 정확도가 28.06% 에서 24.62% 로 하락했습니다.
• 파인튜닝 성능: 파인튜닝이 전체 정확도를 향상시켰음에도 불구하고 성능 격차는 지속되었습니다. 모델들은 동일한 시각적 입력에도 불구하고 편향 감소 질문에서 일관되게 더 낮은 성능을 보였습니다. LLaVA-OV-1.5-8B 는 정확도가 71.19% 에서 63.19% 로 크게 하락했습니다.
• 작업별 민감도:
  • 동작 및 대상 작업: 이러한 범주는 언어적 단서가 제거되었을 때 F1 점수 하락이 가장 컸습니다. 텍스트 전용 어블레이션은 이미지 없이도 이러한 작업의 성능이 높게 유지됨을 보여주어, 예측이 언어적 단서에 의해 주도되었음을 확인시켰습니다.
  • 해부학 - 홉 및 트리플릿 작업: 공간적 추론이 필요한 이러한 작업은 편향 감소 질문에서 최소한의 저하를 보였으며, 텍스트 단독보다 이미지와 함께 수행했을 때 훨씬 더 좋은 성능을 나타냈습니다. 이는 진정한 시각적 증거에 의존하고 있음을 시사합니다.
• 그라운딩 단서 분석: 명시적 시각적 단서 (바운딩 박스, 화살표) 는 성능 저하를 완전히 완화하지 못했습니다. 모델들은 개체 이름 없이 국소화된 시각적 증거를 동작/대상과 연결하는 데 여전히 어려움을 겪었습니다. 주변 표현 단서는 가장 작은 저하를 보였으며, 이는 문맥적 설명이 단순한 공간 좌표보다 더 나은 시각적 통합을 장려함을 시사합니다.

의의
본 논문은 수술 VQA 에서 강력한 벤치마크 성능이 반드시 충실한 시각적 이해를 의미하는 것은 아니라고 결론지었습니다. SurgCheck 는 기존 벤치마크의 언어적 편향으로 가려진 실패 모드를 드러내는 통제된 진단 프레임워크를 제공합니다. 이러한 발견은 모델이 질문 사전 지식을 이용하는 것이 아니라 시각적 증거에 의존하도록 보장하기 위해 수술 VQA 에서 편향 인식 평가의 필요성을 강조하며, 이는 수술 중 의사결정 지원 시스템의 안전성과 신뢰성에 중요합니다.