Assessing Multimodal Chronic Wound Embeddings with Expert Triplet Agreement

1. 문제 정의 (Problem)

• 배경: 열성 이형성 표피박리증 (RDEB) 은 드문 유전성 피부 질환으로, 환자들은 만성적인 상처와 심각한 피부 약화를 겪습니다. 임상가들은 이미지와 임상 텍스트를 활용하여 유사한 사례를 찾는 것이 치료 결정에 매우 중요합니다.
• 현황 및 한계:
  • 기존의 대규모 피부과 데이터셋과 파운데이션 모델 (Foundation Models) 은 일반적인 질병 분류에는 탁월하지만, RDEB 와 같은 희귀 질환의 '롱테일 (long-tail)' 분포에서는 잘 작동하지 않습니다.
  • 기존 모델들은 RDEB 상처의 미세한 표현형 (phenotype) 구조 (예: 상처의 깊이, 과립 조직, 염증 정도 등) 를 세밀하게 구별하지 못합니다.
  • 또한, 소수의 데이터로 전문가의 임상적 유사성 판단을 체계적으로 측정하고 모델의 일치를 평가하는 것이 어렵습니다.

2. 제안 방법론 (Methodology)

저자들은 TriDerm이라는 멀티모달 프레임워크를 제안하며, 전문가의 '트리플릿 (triplet)' 판단을 기반으로 임베딩 공간을 평가하고 학습합니다.

가. 데이터 및 전문가 주석 (Dataset & Expert Annotations)

• 21 명의 RDEB 환자로부터 53 개의 상처 카메라 이미지와 120 개의 개별 상처 (텍스트 설명 포함) 를 수집했습니다.
• 트리플릿 판단 (Triplet Judgments): 피부과 전문의에게 두 개의 기준 상처 이미지와 한 개의 비교 이미지를 제시하고, "비교 이미지가 두 기준 중哪一个과 더 유사한가?"를 선택하게 하여 513 개의 트리플릿을 생성했습니다. 이는 이진 분류가 아닌 순서적 유사성 (ordinal similarity) 구조를 반영합니다.

나. 비전 (Vision) 표현 학습: TriDerm-Vision

• 아키텍처: DermLIP-ViT-B(비전 파운데이션 모델) 를 기반으로 하되, 상처 수준 주의 풀링 (Wound-level Attention Pooling) 모듈을 도입했습니다.
• 학습 전략:
  • 상처 영역 내의 모든 공간 위치에서 특징을 추출한 후, 2 층 MLP 와 tanh 활성화 함수를 사용하여 주의 마스크 (attention mask) 를 생성하고 특징을 집계합니다.
  • 비대조적 학습 (Non-contrastive Learning): VICReg 손실 함수를 사용하여 증강된 이미지 쌍 (augmented views) 간의 일관성을 유지합니다.
  • 장점: 소규모 데이터셋에서 음의 샘플 (negative samples) 이 필요하지 않아 데이터 부족 문제를 해결하고, 상처의 세부 특징을 더 잘 포착합니다.

다. 텍스트 (Text) 표현 학습: TriDerm-Text

• 가상 전문가 프로토콜: LLM(예: GPT-OSS) 을 'RDEB 전문의'로 프롬프팅하여 3 개의 상처 설명 (A, B, C) 을 주고 "B 는 A 와 더 유사한가 C 와 더 유사한가?"라는 질문을 던집니다.
• 소프트 오더널 임베딩 (Soft Ordinal Embedding, SOE): LLM 의 이진 응답을 기반으로 연속적인 임베딩 공간을 학습합니다.
  • 손실 함수: $L_{SOE} = \sum \max(0, \delta + d(i, j) - d(i, k))$
  • 이를 통해 LLM 의 내부 활성화 기하학이 아닌, **의사결정 과정 (의료적 추론)**을 반영한 임베딩을 복원합니다.

라. 멀티모달 퓨전 (Multimodal Fusion)

• 비전과 텍스트 임베딩은 상처의 서로 다른 측면을 포착하므로, 이를 결합합니다.
• 불확실성 인식 퓨전 (Uncertainty-aware Fusion): 각 샘플의 거리 분산 ($\sigma^2$) 을 기반으로 모달리티의 신뢰도를 가중치로 부여하여 거리를 융합합니다. (비전 모델이 일반적으로 더 강력하므로 가중치 $\alpha=0.7$ 적용)
• 유사도 기반 퓨전: 거리 행렬을 유사도로 변환한 후 곱셈을 통해 융합합니다.

3. 주요 기여 (Key Contributions)

1. 트리플릿 평가 패러다임: 희귀 질환 환경에서 비전, 텍스트, 멀티모달 표현의 의료적 추론 능력을 평가하기 위해 전문가의 트리플릿 판단을 도입했습니다.
2. TriDerm 프레임워크:
   • 비전: 주석된 상처 영역을 기반으로 한 주의 풀링과 VICReg 를 활용한 비대조적 학습으로 파운데이션 모델을 RDEB 에 적응시켰습니다.
   • 텍스트: 50 개의 레이블 없는 텍스트 설명만으로 LLM 과 트리플릿 질문을 통해 임상적으로 의미 있는 임베딩 (SOE) 을 추출했습니다.
3. 공개성: 전문가 주석 도구, 모델 코드, 대표 데이터셋 샘플을 공개하여 재현성을 보장합니다.

4. 실험 결과 (Results)

• 평가 지표: 전문가 트리플릿 일치율 (Balanced Agreement), 마이크로 일치율, Macro-F1, Cohen's $\kappa$.
• 성능 비교:
  • 텍스트: 제안된 SOE 기반 TriDerm(67.4%) 은 기존 최강 베이스라인 (RoBERTa, 63.7%) 보다 3.7%p 향상되었습니다.
  • 비전: 제안된 방법 (71.6%) 은 기존 최강 베이스라인 (DermLIP, 67.9%) 보다 3.7%p 향상되었습니다.
  • 멀티모달 퓨전:
    • 불확실성 인식 퓨전 (Uncertainty-aware fusion) 은 **73.5%**의 일치율을 기록했습니다.
    • 이는 단일 모달리티 (비전 71.6%, 텍스트 67.4%) 보다 각각 1.9%p, 6.1%p 더 높으며, 기존 오프더셸 (off-the-shelf) 단일 모달리티 모델보다 5.6%p 이상 우월한 성능을 보였습니다.
  • 통계적 유의성: 퓨전 모델은 Cohen's $\kappa = 0.45$ (중간 정도의 일치) 를 달성하여, 단일 모달리티 ($\kappa \approx 0.32-0.40$) 보다 전문가와의 일치가 더 높음을 입증했습니다.
• 어블레이션 (Ablation Study):
  • 텍스트 임베딩 차원은 4 차원에서 최적 성능을 보였습니다.
  • 비전 모델에서 주의 풀링 (Attention Pooling) 은 평균 풀링보다 2.3%p 더 우수했습니다.
  • 소규모 데이터 환경에서 VICReg(비대조적) 가 대비 학습 (Contrastive) 보다 더 효과적이었습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 임상적 가치: RDEB 와 같은 희귀 질환에서 소량의 데이터만으로도 전문가의 임상적 판단과 일치하는 고품질 임베딩을 생성할 수 있음을 입증했습니다.
• 방법론적 혁신: 레이블이 부족한 환경에서도 전문가의 '상대적 유사성 판단 (트리플릿)'을 활용하여 모델의 정렬 (alignment) 을 개선하는 새로운 접근법을 제시했습니다.
• 결론: 비전과 텍스트는 상처 표현형의 서로 다른 측면을 보완하며, 이를 융합하면 임상 전문가의 판단과 가장 높은 일치를 보입니다. 이는 데이터가 부족한 희귀 질환 연구에서 멀티모달 학습의 중요성을 강조합니다.