Automated Histopathology Report Generation via Pyramidal Feature Extraction and the UNI Foundation Model

이 논문은 UNI 기반의 피라미드형 특징 추출과 BioGPT 토큰화, 그리고 검색 기반 검증을 결합하여 거대 해상도 조직병리 슬라이드 이미지로부터 정확한 진단 보고서를 자동 생성하는 계층적 비전 - 언어 프레임워크를 제안합니다.

핵심

🏥 핵심 아이디어: "거대한 도서관을 한 번에 읽을 수는 없지만, 중요한 책만 골라 번역할 수는 있다"

1. 문제 상황: 너무 큰 사진, 너무 작은 컴퓨터

병리학자가 진단할 때 사용하는 **'전체 슬라이드 이미지 (WSI)'**는 마치 수백만 장의 책장을 가진 거대한 도서관과 같습니다. 이 사진은 픽셀 단위로 보면 100 억 개가 넘는 초고해상도 이미지입니다.

• 문제점: 일반적인 AI 는 이 '거대한 도서관' 전체를 한 번에 읽으려다 보면 컴퓨터가 과부하가 걸려 멈춰버립니다 (계산 불가능). 또한, AI 가 엉뚱한 내용을 지어내서 (환각 현상) 위험한 진단을 내릴 수도 있습니다.

2. 해결책 1: "스마트한 도서관 사서" (피라미드 방식의 이미지 선택)

이 연구팀은 도서관 전체를 다 읽지 않고, **가장 중요한 책만 골라내는 '스마트 사서'**를 만들었습니다.

• 비유: 도서관을 처음엔 멀리서 (저배율) 훑어보며 '어떤 책장이 있는지' 파악합니다. 그런 다음, 중요한 책장만 가까이 가서 (고배율) 자세히 봅니다.
• 기술적 설명: 이미지를 여러 단계로 나누어 (피라미드), 배경이나 흐릿한 부분은 버리고, 조직이 있는 선명한 부분만 256x256 크기의 작은 조각 (패치) 으로 잘라냅니다. 이 과정에서 흐릿하거나 먼지가 낀 부분은 '쓰레기'로 치워버립니다.

3. 해결책 2: "이미지 전문가"와 "글쓰기 전문가"의 팀워크

이 시스템은 두 명의 전문가로 구성된 팀입니다.

• 전문가 A (UNI 모델, frozen): 이미 1 억 장 이상의 병리 사진을 보고 '이미지 해석'을 완벽하게 배운 거장입니다. 이 분은 고정되어 있어 (Frozen) 다시 공부할 필요가 없으며, 이미지의 특징만 뽑아냅니다.
  • 비유: 이미 모든 병의 모양을 외우고 있는 '경험 많은 교수님'입니다.
• 전문가 B (Transformer Decoder, 학습 중): 교수님이 알려준 특징을 보고 **환자에게 설명할 문장 (보고서) 을 작성하는 '신입 작가'**입니다.
  • 비유: 교수님의 지시를 받아 보고서 초안을 쓰는 '비서'입니다.
• 특이점: 보통은 두 분을 같이 훈련시키지만, 이 연구는 교수님 (이미지 전문가) 은 그대로 두고 비서 (글쓰기 전문가) 만 훈련시켜서 시간을 많이 절약했습니다.

4. 해결책 3: "의학용어 사전" (BioGPT)

일반적인 AI 는 의학 용어를 잘 모릅니다. 예를 들어 '악성'과 '양성'을 구분하거나 복잡한 등급을 매기는 데 서툴 수 있습니다.

• 해결책: 이 시스템은 **의학 전문 용어에 최적화된 사전 (BioGPT 토크나이저)**을 사용합니다.
  • 비유: 일반 사전을 쓰는 대신, 의사들만 쓰는 전문 의학 사전을 사용해서 "유방암 2 기" 같은 말을 정확히 표현하도록 했습니다.

5. 해결책 4: "검수관" (검색 기반 검증)

AI 가 글을 쓰면, 실수가 있을 수 있습니다. 특히 "양성"을 "악성"으로 잘못 쓰는 치명적인 실수가 날 수 있습니다.

• 비유: 작성된 보고서를 과거에 작성된 수천 개의 '정답 보고서' 모음집과 비교합니다.
• 작동 원리:
  1. AI 가 쓴 보고서와 정답 모음집의 내용을 비교합니다.
  2. 만약 AI 가 쓴 내용이 정답 모음집의 내용과 90% 이상 비슷하다면, AI 가 쓴 걸 버리고 정답 모음집의 원본을 그대로 가져다 씁니다. (이게 가장 안전하니까요.)
  3. 비슷하지 않다면, AI 가 쓴 그대로 내보내되 (아마도 드문 병일 수도 있으니까요).
• 효과: AI 가 지어낸 거짓말 (환각) 을 막아주는 안전장치가 됩니다.

---

🏆 결과: 어떻게 했나요?

이 팀은 REG 2025 Grand Challenge라는 세계적인 병리 AI 대회에 참가했습니다.

• 성적: 24 개 팀 중 8 위를 차지했습니다.
• 의의: 거대한 AI 모델을 다 훈련시키는 대신, **효율적인 방법 (이미지 전문가 고정 + 검색 검증)**을 써서 경쟁력 있는 결과를 냈습니다.
• 한계: 아주 복잡하고 드문 병의 경우, 등급을 매기는 세부 사항 (예: Gleason 점수) 에서 약간의 실수가 있기도 했습니다. 하지만 일반적인 진단 (어떤 장기인지, 어떤 병인지) 은 매우 정확하게 했습니다.

💡 한 줄 요약

**"거대한 병리 사진을 한 번에 다 보지 말고, 중요한 부분만 잘라내어 이미 훈련된 전문가에게 보여주고, 그 내용을 의학 전문 사전을 통해 정리한 뒤, 과거의 정답과 비교해서 검증하는 똑똑한 시스템"**입니다.

이 기술은 병리학자의 업무를 돕고, 더 빠르고 정확한 진단을 가능하게 하여 환자들에게 더 나은 의료 서비스를 제공하는 데 기여할 것입니다.

기술 요약

1. 문제 정의 (Problem Statement)

병리 조직학 (Histopathology) 에서 전체 슬라이드 이미지 (WSI, Whole-Slide Image) 로부터 진단 보고서를 자동 생성하는 작업 (AHRG) 은 다음과 같은 주요 난제에 직면해 있습니다:

• 방대한 데이터 규모: 하나의 WSI 는 기가픽셀 (Gigapixel) 단위로 매우 크기 때문에, 기존 224x224 해상도의 자연 이미지용 비전 - 언어 아키텍처로는 처리가 불가능합니다.
• 정확한 도메인 지식 요구: 생성된 텍스트는 의학적 용어에 정밀해야 하며, 잘못된 진단 (예: '양성'과 '악성' 혼동) 은 치명적인 결과를 초래할 수 있습니다.
• 할루시네이션 (Hallucination) 위험: 생성형 모델이 이미지에 존재하지 않는 특징을 지어내거나 사실과 다른 진단을 내릴 가능성이 높습니다.
• 계산 비용: 종단간 (End-to-End) 멀티모달 대규모 언어 모델 (MLLM) 을 학습시키는 것은 막대한 계산 자원과 토큰 프루닝 (Token Pruning) 과정에서 중요한 진단 특징을 잃을 위험이 따릅니다.

2. 제안된 방법론 (Methodology)

저자들은 계산 효율성과 진단 신뢰성을 극대화하기 위해 계층적 비전 - 언어 프레임워크를 제안했습니다. 이 시스템은 크게 세 가지 모듈로 구성됩니다.

가. 계층적 피라미드 패치 선택 및 전처리 (Hierarchical Pyramidal Patch Selection)

• 다중 해상도 스캐닝: WSI 의 피라미드 레벨 (ℓ=6 부터 3 까지, 40 배 확대 기준) 을 거친 것에서 정밀한 순서로 스캔합니다.
• 조직 분할 및 필터링:
  • HSV 기반 마스크: H&E 염색된 조직과 배경 (유리) 을 분리하기 위해 HSV 색상 공간의 채도 (S) 와 명도 (V) 임계값을 적용합니다.
  • 품질 필터링:
    • 초점 품질: 라플라시안 분산 (Laplacian Variance) 을 계산하여 흐린 패치를 제거합니다.
    • 노출 및 아티팩트 제거: HSV 값/채도 범위 및 어두운 픽셀 비율을 분석하여 노출 불량, 먼지, 펜 자국 등을 제거합니다.
• 샘플링: 최종적으로 WSI 당 최대 2,500 개의 유효한 패치를 계층적 무작위 샘플링을 통해 선택합니다.

나. 특징 추출 및 디코더 (Feature Extraction & Decoder)

• UNI Foundation Model (Frozen Encoder): 1 억 개 이상의 조직 패치로 사전 학습된 UNI (Universal Pathology) 모델을 고정된 (Frozen) 특징 추출기로 사용합니다.
  • 장점: 3 억 7 천만 개의 파라미터를 재학습하지 않아 GPU 메모리 요구량을 16GB 에서 4GB 로 대폭 줄였으며, 강력한 형태학적 표현을 유지합니다.
• 경량 Transformer 디코더: UNI 가 추출한 1024 차원 시각 토큰을 기반으로 6 레이어의 커스텀 Transformer 디코더를 학습시킵니다.
  • Cross-Attention: 생성되는 텍스트 토큰이 시각적 메모리 (패치 특징) 에 주의를 기울이도록 설계되었습니다.
• BioGPT 토크나이저: 일반 토크나이저가 의학 용어를 잘게 쪼개는 문제를 해결하기 위해, 생의학 어휘에 최적화된 BioGPT 토크나이저를 사용하여 용어의 일관성을 유지합니다.

다. 검색 기반 검증 및 보정 (Retrieval-Based Verification)

• 할루시네이션 방지: 생성된 보고서를 Sentence-BERT 임베딩을 사용하여 학습 데이터셋의 참조 (Ground-truth) 보고서 코퍼스와 비교합니다.
• 대체 전략: 생성된 보고서와 가장 유사한 참조 보고서의 코사인 유사도가 임계값 (0.85) 을 초과하면, 생성된 내용을 해당 참조 보고서로 대체합니다. 이는 학습 데이터에 존재하는 신뢰할 수 있는 패턴을 활용하여 신뢰도를 높이는 전략입니다.

3. 주요 기여 (Key Contributions)

1. 해석 가능한 피라미드 스캐닝 전략: 거친 것에서 정밀한 것 (Coarse-to-fine) 으로 가는 워크플로우와 간단한 필터를 통해 조직 영역을 우선시하고 배경/아티팩트를 제거하는 효율적인 패치 선택 기법 제안.
2. 모듈형 아키텍처: 무거운 엔드 - 투 - 엔드 학습 대신, 고정된 UNI 인코더와 경량 디코더를 결합하여 계산 효율성을 극대화하면서도 강력한 시각 표현력을 활용.
3. 도메인 특화 토큰화: BioGPT 토크나이저를 도입하여 해부학적 위치, 질병 등급 등 전문 의학 용어의 토큰 분할 문제를 해결.
4. 검색 기반 검증 루프: RLHF(인간 피드백 강화 학습) 같은 복잡한 학습 없이도, Sentence-BERT 기반의 검색 매칭을 통해 보고서의 신뢰성을 높이는 실용적인 검증 단계 도입.

4. 실험 결과 (Results)

• 평가 데이터셋: REG 2025 Grand Challenge (한국, 터키, 인도, 일본, 독일 5 개 기관의 10,494 개 WSI-보고서 쌍).
• 성적: Test Phase 2 에서 0.8093의 종합 점수를 기록하여 24 개 팀 중 8 위를 차지했습니다. (최고 점수와의 격차는 4.7% 내외).
• 정성적 분석:
  • 장기 식별, 생검 유형 분류, 주요 질병 진단 (예: 유방암, 폐 편평세포암 등) 에서는 참조 보고서와 정확히 일치하는 경우가 많았습니다.
  • 한계: 복잡한 등급 체계 (예: Gleason 점수 6 vs 7, 침습성 vs 비침습성 구분) 에서 미세한 오류가 발생했습니다. 이는 학습 데이터에서 희귀한 조합이 부족하거나, 다중 속성 동시 예측의 어려움에서 기인한 것으로 분석됩니다.
  • 형식 일관성: LLM 기반 모델에서 흔히 발생하는 형식 위반이나 불필요한 텍스트 생성 없이, 표준화된 보고서 형식을 준수했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 효율성과 정확성의 균형: 수백 억 파라미터의 대규모 모델을 학습시키는 대신, 고정된 기초 모델과 경량 디코더를 결합하여 계산 비용을 획기적으로 줄이면서도 경쟁력 있는 성능을 달성함을 입증했습니다.
• 임상 적용 가능성: 할루시네이션을 줄이고 표준화된 형식을 유지하는 구조는 실제 임상 환경에서의 배포에 유리합니다.
• 향후 과제: 복잡한 등급 체계에 대한 구조적 예측 (Structured Prediction) 접근법과 다양한 기관 데이터셋에 대한 일반화 검증이 필요하며, 현재는 진단 요약 부분만 생성되므로 거시적 기술 (Gross description) 등 추가 요소 모델링이 필요함을 시사합니다.

이 논문은 병리 보고서 자동 생성 분야에서 고성능 기초 모델의 재사용성과 실용적인 검증 메커니즘의 중요성을 강조하며, 제한된 자원으로도 고품질의 의료 AI 를 구축할 수 있음을 보여줍니다.