기술 요약: 조직병리학을 위한 견고한 시각적 문맥 학습을 위한 기하학적 인식 불확실성 코어셋

문제 제기

시각-언어 모델 (VLM) 은 시각적 지각과 개방형 임상 추론을 결합함으로써 계산 조직병리학을 위한 유망한 길을 제시합니다. 그러나 임상 현장에서의 배포는 두 가지 중요한 장벽에 직면해 있습니다:

1. 데이터 부족 및 프라이버시: 희소하고 전문가가 주석한 민감한 병리학 데이터로 수십억 개의 파라미터를 가진 VLM 을 파인튜닝하는 것은 계산적으로 prohibitive 하며 종종 실행 불가능합니다.
2. 문맥 학습 (ICL) 의 불안정성: ICL 은 파라미터 업데이트 없이 예시 이미지 - 텍스트 쌍을 통해 VLM 이 작업을 수행할 수 있게 하지만, 예시 선택과 쿼리 문구에 대한 높은 민감도로 고통받습니다. 기존 선택 전략인 $k$-최근접 이웃 ($k$NN) 검색은 국소 쿼리 유사성에 의존하지만 데이터셋의 전역 분포 구조를 무시합니다. 또한, 현재 방법들은 종종 VLM 의 결합된 시각 - 텍스트 임베딩 기하학을 고려하지 않아 신뢰할 수 없는 진단, 프롬프트로 인한 불안정성, 그리고 과신된 환각을 초래합니다. 이러한 문제들은 소수 형태학이 불균형으로 인해 가려지는 조직병리학에서 특히 치명적입니다.

방법론: GAUC

저자들은 GAUC(기하학적 인식 불확실성 코어셋) 를 제안합니다. 이는 고정된 VLM($W_\theta$) 의 사전 훈련된 멀티모달 임베딩 공간에서 직접 작동하는 훈련 없는 코어셋 선택 방법입니다. 새로운 파라미터를 학습하는 대신, GAUC 는 세 가지 상호 보완적인 항으로 구성된 복합 목적 함수를 최소화함으로써 전체 데이터셋 ($F$) 에서 실제 임상 추적 가능한 예시 이미지 ($D$) 의 컴팩트한 부분집합을 선택합니다:

1. 기하학적 인식 분포 충실도 (MMD):
   코어셋이 지배적인 형태학 군집으로 붕괴되는 것을 방지하기 위해, GAUC 는 선택된 코어셋의 임베딩 분포가 전체 데이터셋의 분포를 반영하도록 강제합니다. 이는 재생 커널 힐베르트 공간에서 두 분포 간의 **최대 평균 불일치 (MMD)**를 최소화함으로써 달성됩니다. 이는 모든 조직 형태학에 걸쳐 전역적 대표성을 보장합니다.

2. 프롬프트 강건성 정규화 (EMID):
   텍스트 쿼리 변형에 대한 민감성을 해결하기 위해, GAUC 는 **유효 상호 정보 차이 (EMID)**를 활용합니다. 이 항은 프롬프트가 재구성될 때 모델 응답과 멀티모달 입력 간의 결합이 저하되는 정도를 정량화합니다. 시각, 텍스트, 응답 임베딩에 대한 제이슨 - 샨논 발산을 통해 유도된 EMID 의 상한을 최소화함으로써, 이 방법은 프롬프트 문구와 무관하게 일관된 출력을 산출하는 예시를 선택하며, VLM 의 결합된 시각 - 텍스트 정렬을 명시적으로 활용합니다.

3. 예측 분산 정규화:
   과신되지만 불안정한 예측 (환각) 을 억제하기 위해, 이 방법은 클래스 레이블에 걸친 모델의 출력 확률 분포의 분산을 패널티로 부과합니다. 이 항을 최소화하면 엔트로피가 낮고 집중된 예측 분포를 생성하는 예시 선택으로 유도되어, 잘못된 클래스에 대한 모호성이나 과신을 억제합니다.

최종 코어셋 $D^*$는 다음을 공동으로 최소화하여 얻어집니다:
$$D^* = \arg \min_D \left( \text{MMD}^2(F, D) + \alpha \cdot \text{EMID}_{\text{upper}} + \beta \cdot \text{Var}(D) \right)$$
여기서 $\alpha$와 $\beta$는 트레이드오프를 조절합니다. 전체 최적화는 훈련이 필요 없으며, 순방향 패스 임베딩과 출력 로그 확률만 요구됩니다.

주요 기여

1. 기하학적 인식 목적 함수: 전역 군집으로 붕괴되는 것을 방지하고 전체 데이터셋의 전역 구조를 보존하는 최대 평균 불일치 (MMD) 기반 선택 메커니즘.
2. 프롬프트 강건성 정규화기: 재구성된 쿼리 하에서의 응답 차이를 정량화하여 시각 및 텍스트 모달리티 전반에 걸친 불변성을 강제하는 EMID 유도 항.
3. 분산 정규화 항: 출력 엔트로피를 최소화하고 과신된 환각을 억제하는 예측 불확실성에 대한 패널티.
4. 훈련 없는 배포: 단일 그래디언트 업데이트 없이 정확도, 보정, 강건성을 향상시키는 오프 - 더 - 셰일 VLM 과 호환 가능한 프레임워크.

실험 결과

이 방법은 Qwen 및 LLaVA VLM 아키텍처를 사용하여 두 가지 조직병리학 벤치마크인 CRC-100K(8 클래스 조직 하위 분류) 와 MHIST(이진 용종 분류) 에서 평가되었습니다.

• 정확도 및 보정: Qwen(3-shot) 을 사용한 CRC-100K 에서 GAUC 는 최고 정확도 (0.610) 와 F1 점수 (0.588) 를 달성하여 가장 강력한 학습 기반선 (MIMIC) 보다 1.16 퍼센트 포인트 더 높은 성능을 보였습니다. 또한 상호 정보 정렬 검색 기반선에 비해 기대 보정 오차 (ECE) 를 현저히 감소시켰습니다.
• 강건성: GAUC 는 프롬프트 재구성 하 (Var-para) 와 독립적인 실행 간 (Var-runs) 에서 가장 낮은 예측 분산을 보여주어 EMID 정규화기의 효과를 입증했습니다.
• 환각 감소: GAUC 는 MIMIC 대비 문장 수준 환각률 (CHAIRs) 에서 1.61% 의 상대적 감소를 달성하여, 분산 패널티가 fabrication 에 취약한 고엔트로피 상태를 효과적으로 억제함을 나타냈습니다.
• 정성적 분석: 시각화 결과, $k$NN 은 종종 형태학적으로 중복된 예시를 선택하여 과신된 오분류를 초래한 반면, GAUC 는 여러 조직 클래스에 걸친 다양한 예시를 선택하여 더 높은 확신으로 올바른 진단을 내렸습니다.
• 절차 연구: 세 항 (MMD, EMID, 또는 분산) 중 하나를 제거하면 통계적으로 유의미한 성능 저하가 발생하여 모든 구성 요소가 상호 보완적인 이점을 기여함을 확인했습니다.

중요성 및 주장

이 논문은 GAUC 가 계산 병리학에서 신뢰할 수 있는 훈련 없는 진단 지원을 위한 새로운 표준을 확립한다고 주장합니다. 기하학적 인식 선택과 정보 이론적 프롬프트 불변성을 통합함으로써, 이 방법은 현재 ICL 접근법의 중요한 한계인 예시 선택에 대한 민감성, 프롬프트 불안정성, 그리고 과신을 해결합니다.

저자들은 이 접근법이 특히 중요하다고 주장합니다:

• 합성된 인공 샘플을 생성하는 데이터셋 증류 방법과 달리 실제 임상 추적 가능한 예시 이미지를 활용합니다.
• 파라미터 업데이트가 필요 없으므로 파인튜닝의 계산 비용 없이 기존 사전 훈련된 VLM 으로 즉시 배포 가능합니다.
• 신뢰할 수 있는 문맥 학습이 필수적이지만 데이터가 부족하거나 민감한 다른 안전-중요 분야로 자연스럽게 일반화됩니다.

이 연구는 임베딩 공간에서의 원칙적인 코어셋 선택이 프롬프트 엔지니어링의 "블랙박스" 성격을 극복하여, 환각 및 보정 오류와 관련된 위험 없이 VLM 이 고위험 의료 작업을 수행할 수 있는 견고한 메커니즘을 제공할 수 있음을 시사합니다.