기술 요약: HERO – 다중 작업 유방암 분석을 위한 가설 기반 오믹스 증거 검색 (Hypothesis-Driven Evidence Retrieval from Omics for Multi-Task Breast Cancer Analysis)

문제 정의

유방암 진단은 H&E 전장 슬라이드 이미지(WSI)와 분자 생체지표(ER/PR/HER2, 아형, 예후)로부터 증거를 합성하는 과정이 필요합니다. 일치하는 멀티오믹스 데이터를 활용하면 예측 성능을 높일 수 있지만, 기존 파이프라인은 세 가지 주요 한계점에 직면해 있습니다:

1. 약지도 학습 기반 MIL (Weakly Supervised MIL): 슬라이드 수준의 레이블에 의존하며, 어텐션 메커니즘이 사후적(post-hoc)으로 작동하여 증거의 충분성을 검증하지 못하고, 종양 내 이질성으로 인해 진단적 가치가 없는 영역을 강조하는 경우가 많습니다.
2. VLM 기반 판독기 (VLM-Based Readers): 판독 과정을 명시적으로 만들기는 하지만, 고정된 분자 조건부 검색 사전(prior)보다는 프롬프트 수준의 가이드에 의존하므로, 시각적으로는 두드러지지만 최종 결과물(endpoint)과는 무관한 영역에 편향될 수 있습니다.
3. 멀티모달 퓨전 (Multimodal Fusion): 오믹스를 병렬적인 특징 스트림이나 부가된 텍스트로 취급하며, 어떤 영역을 검색할지 제어하거나 그 검색의 완전성을 검증하는 데 오믹스를 명시적으로 사용하지 못합니다.

핵심 과제는 기가픽셀 단위의 WSI에서 관찰된 형태학적 특징이 분자적 결론을 명시적으로 뒷받침하도록 보장하는 **종단점 인식 증거 검색(endpoint-aware evidence retrieval)**을 수행하여, 감사 가능한 증거 추적을 생성하는 것입니다.

방법론: HERO 파이프라인

HERO(Hypothesis-Driven Evidence Retrieval from Omics)는 관찰된 오믹스를 테스트 가능한 형태학적 가설로 취급하는 4단계 폐쇄 루프(closed-loop) 파이프라인입니다. 이 시스템은 공유된 16차원 증거 공간($K=16$)에서 작동합니다.

1단계: 오믹스에서 의도(Intent) 및 키워드로의 변환

• 경로 점수화 (Pathway Scoring): DNA 메틸화($x_{dna}$) 및 miRNA($x_{mirna}$) 벡터를 z-정규화합니다. 경로 점수는 MSigDB Hallmark 유전자 세트에서 유도된 사전 정의된 이진 마스크와 검증된 miRNA-타겟 상호작적으로 계산됩니다. 이 점수화 과정은 하이퍼메틸화와 miRNA 매개 억제를 경로의 하향 조절(down-regulation)로 매핑합니다.
• 형태학적 사전 지식 ($W$): 고정된 부호가 있는 가중 희소 사전 행렬($W \in \mathbb{R}^{K \times P}$)이 50개의 경로 점수를 16개의 형태학적 축(예: 유사분열 활성, 핵의 다형성, 기질의 데스모플라시아)으로 매핑합니다. 이 사전 지식은 WHO 용어 및 생물학적 연관성(예: E2F/MYC $\to$ 증식)에 의해 유도되며, 매핑의 감사 가능성을 유지하고 변화에 불변하도록 하기 위해 엔드포인트 레이블을 통해 최적화되지 않습니다.
• 의도 생성 (Intent Generation): $m = \ell_2\text{-normalize}(\text{ReLU}(Ws))$를 통해 의도 벡터 $m$을 생성합니다. LLM 호출 위원회는 경로와 축을 기반으로 분자적 서사와 구조화된 키워드 집합 $Q$(15~40개 용어)를 생성합니다.

2단계: 10배 확대 검색 (300 $\to$ 상위 64개)

• 대표 패치 추출 (Representative Mining): WSI를 UNI 임베딩으로 인코딩합니다. MiniBatchKMeans ($k=300$) 클러스터링을 통해 전역적인 형태학적 다양성을 포괄하는 300개의 대표 패치를 선택합니다.
• 캡셔닝 및 순위 결정 (Captioning & Ranking): 10배 배율에서 이 300개의 패치를 재검토하고, VLM(Qwen2.5-VL-7B)을 사용하여 구조화된 프롬프트로 캡션을 생성합니다. 슬라이드별로 적합된(fitted) TF-IDF 벡터라이저가 이 캡션들을 키워드 집합 $Q$와 대조하여 순위를 매깁니다. 상위 64개의 패치가 초기 증거 세트를 형성합니다.

3단계: 20배 일관성 게이트 및 결핍 기반 복구

• 시각적 증거 벡터 ($v$): 상위 64개 패치를 20배 배율로 크롭하여 8×8 모자이크 형태로 배열하고, 세포학적 특징에 집중하여 다시 캡션을 생성합니다. 캡션 내의 체크리스트 용어 존재 여부를 확인하여 시각적 증거 벡터 $v \in \mathbb{R}^K$를 구축합니다.
• 일관성 게이트 (Consistency Gate): 코사인 유사도 점수 $c = \cos(m, v)$를 통해 분자적 의도와 시각적 증거 간의 정렬 상태를 측정합니다.
• 결핍 기반 복구 (Deficit-Driven Repair): 만약 $c < \tau_c$ (임계값 $\tau_c=0.5$)인 경우, 시스템은 지원이 부족한 축($m - v$)을 식별합니다. 선택되지 않은 나머지 대표 패치들을 이 결핍을 보완할 수 있는 능력을 기준으로 재순위화하고, 상위 32개의 복구 후보를 기존 64개와 병합한 후, 추가로 한 번의 20배 캡셔닝 과정을 수행합니다. 추가적인 복구 단계는 발생하지 않습니다.

4단계: 진단 모듈

최종 모자이크, 분자적 서사, 그리고 일관성 요약은 LoRA가 튜닝된 Qwen2.5-VL-7B에 입력됩니다. 이 모델은 ER, PR, HER2, 아형(subtype), 위험도(risk)에 대한 구조화된 JSON 예측을 출력합니다. 오직 이 단계만 튜닝되며, 1~3단계는 고정된 검색 및 검증 모듈로 유지됩니다.

주요 기여

1. 오믹스 가이드 검색: DNA 메틸화와 miRNA를 희소한 경로-형태학 축 의도 벡터로 변환하여, 임베딩 기반의 의미론적 매칭 대신 구조화된 캡션에 대한 TF-IDF를 통한 엔드포인트 인식 패치 선택을 가능하게 합니다.
2. 일관성 게이트와 결정론적 복구: 분자-시각적 불일치를 탐지하기 위한 코사인 게이트를 도입합니다. 불일치가 감지되면, 결핍 기반 재순위화 메커니즘을 통해 미흡한 형태학적 축을 보완할 패치를 검색하며, 이를 통해 계산량을 단일 복구 라운드로 제한합니다.
3. 강건성 및 감사 가능성: VLM 호출 횟수를 제한하고 블랙박스 형태의 의미론적 매칭에 대한 의존도를 낮추며, 모든 검색 단계가 렉시컬(lexical)하게 감사 가능하도록 보장합니다. 고정된 사전 지식 $W$는 지름길 학습(shortcut learning)을 방지하고 해석 가능성을 확보합니다.

실험 결과

TCGA-BRCA (930 WSI, 878 환자) 데이터셋을 대상으로 환자 수준의 5-겹 교차 검증을 통해 평가되었습니다:

• 최첨단 성능 (SOTA): HERO는 모든 엔드포인트(ER, PR, HER2, Subtype, Risk)에서 모든 베이스라인(SNN, TransMIL, MCAT, SurvPath 및 VLM 기반 에이전트 포함)을 능가했습니다.
  • 특히 형태학적 특징이 희소하고 이질적인 HER2(+0.050 AUC over SurvPath)와 위험도(+0.030 C-index over SurvPath)에서 주목할 만한 성능 향상이 관찰되었습니다.
• 절제 연구 (Ablation Studies):
  • 검색 메커니즘: HERO의 검색 방식을 TransMIL 어텐션이나 무작위 샘플링으로 대체했을 때 성능이 크게 저하되었습니다 (예: HERO는 HER2 성능에서 VLM + TransMIL Top-64 대비 +0.090 개선). 이는 성능 향상이 분자 가이드 검색에서 기인함을 확인시켜 줍니다.
  • 구성 요소: 일관성 게이트를 제거하면 HER2 AUC가 0.043 감소했습니다. 무작위 패치 복구는 성능의 극히 일부만을 회복하였으며, 이는 '결핍 기반' 재순위화가 매우 중요하다는 것을 입증합니다.
  • 민감도: 시스템은 사전 지식 $W$의 섭동(노이즈/드롭아웃에 의한 성능 저하는 $\le 0.009$)에 대해 강건했으나, 경로-축 할당을 섞었을 때는 성능이 급격히 떨어졌습니다. 이는 $W$가 정보가 풍부한 생물학적 구조를 인코딩하고 있음을 검증합니다.

의의 및 주장

본 논문은 HERO가 오믹스 데이터를 단순한 병렬 특징 스트림이 아니라, 명시적인 검색 제약 조건이자 검증 메커니즘으로 사용하는 새로운 패러다임을 구축한다고 주장합니다. 분자적 가설과 시각적 증거 사이의 루프를 닫음으로써, HERO는 높은 정확도와 함께 렉시컬하게 감사 가능한 증거 추적을 제공합니다.

저자들은 다음과 같은 한계점을 명시합니다:

• 평가가 내부 TCGA-BRCA 교차 검증에 국한되어 있어, 다른 기관, 스캐너 및 인구 집단에 대한 강건성은 확립되지 않았습니다.
• 16개 축 체크리스트는 유방암에 특화되어 있으며, 다른 종양 유형에 적용하기 위해서는 검증이 필요합니다.
• VLM 캡션은 오류가 있을 수 있습니다. 구조화된 프롬프트가 검사 가능성을 높여주기는 하지만, 병리학적 정확성을 보장하는 것은 아닙니다.
• 추론 비용이 높습니다 (2×A100 기준 WSI당 57초). 따라서 임상 배포를 위해서는 더 빠른 다단계 VLM 추론 방식이 필요합니다.

결론적으로, 오믹스를 의도로 매핑하고, 캡션을 통해 TF-IDF 방식으로 검색하며, 코사인 게이트를 통해 정렬을 검증하는 방식은 견고하고 해석 가능하며 고성능인 다중 작업 유방암 분석 시스템을 가능하게 합니다.