A Controlled Audit of Pretraining Contamination in Public Medical Vision-Language Benchmarks

기술 요약: 공개 의료 시각-언어 벤치마크의 사전 학습 오염에 대한 통제된 감사

문제 제기
의료 시각-언어 모델(VLM)은 3~7년 동안 자유롭게 다운로드할 수 있었던 소수의 공개 벤치마크(예: SLAKE, PathVQA, VQA-RAD)를 통해 평가된다. 보고된 정확도 지표는 이러한 예시들이 모델의 사전 학습 과정에서 제외되었음을 암묵적으로 가정한다. 그러나 이 데이터셋들은 PMC-OA-beta와 같이 널리 스크래핑된 오픈 믹스(open mixes)에 포함되어 있어, 모델이 테스트 예시를 암기하여 성능 지표를 부풀리는 "벤치마크 누출(benchmark leakage)"의 위험을 초래한다. 텍스트-LLM 오염 및 일반-VLM 오염에 대한 감사는 이루어졌으나, 의료-VLM 오염은 여로써 제대로 감사되지 않은 상태이다. 더욱이, 기존의 누출 탐지기들은 의료 도메인에 대한 외부 베이스라인을 대상으로 엄격하게 스트레스 테스트를 거치지 않았으며, 이는 실제 데이터 노출이 아닌 코호트 캘리브레이션(cohort calibration)의 이질성으로 인한 위양성(false positives) 문제를 야기할 수 있다는 우려를 낳는다.

방법론
저자들은 네 가지 오픈 VLM(InternVL3-8B, Qwen2.5-VL-7B-Instruct, CheXagent-8b, LLaVA-OneVision-Qwen2-7B)을 세 가지 홀드아웃(held-out) 의료 VQA 벤치마크(SLAKE-En, PathVQA, VQA-RAD)에 대해 통제된 감사를 수행한다. 텍스트 측면의 확장을 위해 다섯 번째 모델인 MedGemma-4B-IT를 OmniMedVQA의 공개 미러(public mirror)에 대해 실험한다.

본 연구는 네 가지 서로 다른 오염 탐지기를 사용하고 스트레스 테스트한다:

1. 이미지 측면 근접 이웃 중첩(Image-side Near-Neighbour Overlap): SigLIP 백본(ViT-B-16 및 ViT-SO400M)을 사용하여 벤치마크 이미지와 PMC-OA-beta 피겨(1.85M 이미지)를 임베딩한다. PMC 피겨와 코사인 거리 근접성이 극도로 높은 이미지를 식별한다.
2. 정형 순서 교환 가능성(Canonical-Order Exchangeability): 데이터셋의 결합 로그 가능도(joint log-likelihood)가 순서 변경에 대해 불변하는지 테스트한다. 유의미한 편차는 모델이 데이터의 정형 출시 순서대로 학습되었음을 시사한다.
3. 코호트 상대적 Min-K%++ 꼬리 농축(Cohort-Relative Min-K%++ Tail Enrichment): 타겟 모델의 "놀람(surprise)"(Min-K%++ 점수)이 코호트의 중앙값에 비해 비정상적으로 낮은 예시를 식별한다.
4. 교차 모델 Top-K 중첩(Cross-Model Top-K Overlap): 서로 다른 모델 간의 상위-K 쉬운 예시들의 자카드 유사도(Jaccard similarity)를 측정하며, 이는 공유된 훈련 데이터가 공유된 용이성을 유발한다는 가정을 바탕으로 한다.

통제 메커니즘
결정적으로, 모든 탐지기는 실제 누출과 아티팩트를 구분하기 위해 외부 사전 도메인 베이스라인을 기준으로 캘리브레이션된다:

• 이미지 측면: 플래그가 지정된 이미지와 부정 대조군(negative controls)을 도메인 외 이미지(회화, 자연 사진) 및 도메인 내 클린 이미지(VQA-RAD)를 사용하여 수동 판정(manual adjudication)한다.
• 텍스트 측면: 외부 베이스라인으로 BLIP-2(비의료, 2023년 이전 모델)와 InstructBLIP을 도입한다. 만약 탐지기가 의료 모델을 플래그하되 의료 VQA 노출이 불가능한 BLIP-2도 함께 플래그한다면, 해당 신호는 메모리제가 아닌 코호트 캘리브레이션 또는 벤치마크 구조에 의한 것으로 간주한다.
• 순서 절제(Ordering Ablation): 콘텐츠 기반 순서(예: 해시 기반)에 대해 교환 가능성 테스트를 재실행하여, 훈련 노출과 출시 순서 아티팩트(예: 소스 슬라이드별 그룹화)를 구분한다.

주요 결과

• 이미지 측면 소스 중첩 (SLAKE-En): SigLIP-B-16 기준 SLAKE-En 이미지의 19.8%가 PMC-OA-beta에서 극단적인 근접 이웃을 가졌으나, SO400M 기준으로는 4.2%였다. 플래그된 20개 이미지를 수동 판정한 결과, 이들은 픽셀 수준의 중복이 아니라 동일한 양식, 동일한 투영 방식을 가진 서로 다른 환자의 이미지임이 밝혀졌다. 이는 픽셀 단위의 메모리제가 아닌 소스/분포적 중첩을 나타낸다. 골든 답변(gold-answer) 가능도에 미치는 영향은 미미하다(교차 모델 노이즈 수준 미만).
• 텍스트 측면 교환 가능성:
  • Qwen2.5-VL × SLAKE-En: 순서 절제 및 외부 베이스라인 체크(BLIP-2 및 InstructBLIP은 클린함)를 통과하는 유의미한 신호($p = 5.0 \times 10^{-4}$)를 생성했다. 이것이 홀드아웃 감사에서 발견된 유일한 견고한 텍스트 측면 누출 증거이다.
  • LLaVA-OneVision × PathVQA: 유의미한 신호를 생성했으나, 이는 출시 순서 아티팩트로 판단되어 철회되었다. BLIP-2가 동일한 신호를 재현했으며, 해시 기반 재정렬 시 신호가 사라졌는데, 이는 모델 특유의 노출이 아니라 소스 슬라이드별로 그룹화된 벤치마크의 특성 때문임을 시사한다.
  • OmniMedVQA: 모든 의료/일반 모델에서 교환 가능성 신호가 발생했으나 BLIP-2에서는 클린하게 나타났다. 이는 공개 미러가 텍스트 측면 평가를 위해 오염되었음을 시사한다.
• 코호트 상대적 탐지기의 실패 (Min-K%++ 및 Top-K):
  • SLAKE-En에서 탐지기 3과 4는 CheXagent와 LLaVA-OneVision에 대해 꼬리 농축 및 top-K 중첩을 플래그했다.
  • 허위 입증(Falsification): BLIP-2를 코호트에 추가했을 때 이와 동일한 신호가 재현되었다(BLIP-2 역시 동일한 꼬리 농축과 top-K 중첩을 보임). BLIP-2는 의료 VQA 노출을 공유할 수 없으므로, 이 탐지기들은 작은 의료 코호트에서 독립적인 멤버십 추론 신호로서 신뢰할 수 없음이 입증되었다. 이러한 신호는 공유된 훈련 데이터가 아니라 모델 간 캘리브레이션 이질성(일부 모델이 저엔트로피 폐쇄형 답변에 체계적으로 더 "쉬운" 현상)에 의해 유도된다.
• 클린 벤치마크: VQA-RAD는 모든 신호와 모델에서 클린한 상태를 유지하여 신뢰할 수 있는 샌니티 체크(sanity check) 역할을 수행했다.

주장 및 의의
본 논문은 의료-VLM 오염에 대한 첫 번째 통제된 감사를 제공하며, 원시 탐지기 점수보다 외부 사전 도메인 베이스라인과 수동 판정을 우선시하는 방법론적 프레임워크를 제시한다.

• 방법론적 기여: 본 연구는 코호트 상대적 탐지기(Min-K%++, Top-K 중첩)가 캘리브레이션 이질성으로 인해 위양성에 취약하며, 반드시 외부 베이스라인과 병행되어야 함을 보여준다. 또한 이미지 측면의 근접 이웃 탐지가 소스 중첩(반드시 메모리제를 의미하지는 않음)의 척도로 유효함을 검증하고, 순서 절제 및 베이스라인이 뒷받침될 때의 텍스트 측면 교환 가능성을 견고한 신호로 검증한다.
• 실무적 권고:
  1. 가장 안전한 홀드아웃 벤치마크로 VQA-RAD를 선호하라.
  2. 결과를 보고하기 전, 소스 중첩이 플래그된 SLAKE-En 이미지를 검토하거나 가중치를 낮추어라.
  3. 공개된 OmniMedVQA를 텍스트 측면 평가를 위해 오염된 것으로 간주하라.
  4. 외부 사전 도메인 베이스라인 없이 코호트 상대적 Min-K%++나 top-k 중첩을 단독 누출 신호로 사용하지 마라.
• 한계점: 본 감사는 네 가지 주요 VLM과 특정 벤치마크로 제한된다. 본 연구의 결과는 통계적 오염 신호를 식별하는 것이지, 증명 가능한 훈련 데이터 포함 여부를 확정하는 것이 아니다. 저자들은 이러한 신호가 주의 깊은 해석을 요구하는 정황 증거임을 강조하며, 벤치마크나 모델을 부당하게 폄하하는 것을 경계한다.

결론
본 감사는 일부 의료 벤치마크(SLAKE-En)가 사전 학습 코퍼스와 상당한 소스 중첩을 겪고 있지만, 이것이 반드시 성능을 부풀리는 픽셀 단위의 이미지 메모리제를 의미하지는 않는다는 점을 밝혀냈다. 더욱 결정적으로, 본 연구는 외부 베이스라인 없이 코호트 상대적 탐지기에 의존하는 방법론적 결함을 폭로하며, 그러한 신호가 데이터 누출이 아닌 모델 캘리브레이션 차이에 의해 완전히 유도될 수 있음을 보여준다. 본 논문은 의료 AI 분야의 오염 감사를 위한 더욱 엄격하고 통제된 접근 방식을 옹호한다.