Tell2Adapt: A Unified Framework for Source Free Unsupervised Domain Adaptation via Vision Foundation Model

이 논문은 비전 기반 모델 (VFM) 의 일반화된 지식을 활용하여 다양한 임상 환경에서의 소스 프리 비지도 도메인 적응 문제를 해결하기 위해 제안된 Tell2Adapt 프레임워크를 소개하며, 맥락 인식 프롬프트 정규화와 시각적 타당성 정제 기법을 통해 의료 영상 분할 분야에서 기존 방법론을 능가하는 성능을 입증했습니다.

핵심

🏥 배경: 왜 이 기술이 필요한가요?

상황:
한 명의 **숙련된 의사 (AI 모델)**가 서울의 대형 병원 (원천 데이터) 에서 일하며 뛰어난 실력을 쌓았습니다. 그런데 이 의사가 지방의 작은 병원 (새로운 대상 데이터) 으로 파견을 가려고 합니다.

문제점:

1. 환자 기록 불가: 새로운 병원에서는 이전 병원의 환자 기록 (원천 데이터) 을 가져올 수 없습니다. (개인정보 보호 때문)
2. 장비 차이: 서울 병원은 최신 MRI 기계를 썼는데, 지방 병원은 오래된 CT 기계를 씁니다. 화질이나 색감이 완전히 다릅니다.
3. 결과: 서울에서 잘하던 의사가 지방 병원에 가면, 장비가 달라서 환자를 제대로 진단하지 못해 실수할 위험이 큽니다.

기존의 방법들은 이 '차이'를 좁히기 위해 노력했지만, 너무 특수한 경우에만 작동하거나, 새로운 환경에서 완전히 망가져버리는 경우가 많았습니다.

---

🚀 Tell2Adapt 의 해결책: "만능 지식인"을 고용하다

이 연구팀은 **"비전 파운데이션 모델 (VFM)"**이라는 거대한 AI 를 활용했습니다. 이 AI 는 마치 **수천 권의 의학책을 읽은 '만능 지식인'**과 같습니다.

이 '만능 지식인'을 이용해 새로운 병원에서도 AI 가 잘 작동하게 만드는 3 단계 과정을 Tell2Adapt라고 부릅니다.

1 단계: "혼란스러운 지시문을 정리해라" (CAPR)

• 상황: 새로운 병원에서 "간 (Liver) 을 찾아줘"라고 말했지만, 의료진이 말을 더듬거나 "간, 복부, CT"라고 조각조각 말해서 AI 가 헷갈릴 수 있습니다.
• 해결: **CAPR(맥락 인식 프롬프트 정규화)**이라는 도구가 나옵니다. 이 도구는 유능한 비서 (LLM) 역할을 합니다.
  • 비서는 "아, 환자가 '복부 CT 에서 간을 찾아달라'고 말하고 싶었구나!"라고 추측해서, AI 가 이해하기 쉬운 정확하고 깔끔한 지시문으로 바꿔줍니다.
  • 비유: "간, CT, 복부"라는 난잡한 메모를 받아, "복부 CT 스캔에서 간을 찾아주세요"라는 완벽한 문장으로 바꿔주는 것입니다.

2 단계: "지식인에서 배우고, 실전 의사가 되다" (지식 증류)

• 상황: '만능 지식인 (VFM)'은 너무 무겁고 비싸서 (컴퓨터 성능을 많이 먹어서) 매일매일 환자를 진료할 수 없습니다.
• 해결: 무거운 지식인이 **가벼운 실전 의사 (경량 모델)**에게 지식을 전수합니다.
  • 지식인이 정리된 지시문을 보고 "이건 간이야, 이건 신장이야"라고 정확한 답을 먼저 보여줍니다 (가짜 라벨 생성).
  • 가벼운 실전 의사는 이 정답을 보고 "아, 이 장비에서는 이렇게 생겼구나!"라고 빠르게 배웁니다.
  • 비유: 거대한 도서관 (지식인) 에서 책을 다 읽은 후, 그 핵심 내용만 요약해서 작은 노트 (실전 의사) 에 적어주는 것입니다. 이제 작은 노트만으로도 훌륭한 진료가 가능합니다.

3 단계: "의학적 상식으로 다시 한번 확인해라" (VPR)

• 상황: 실전 의사가 진료를 마쳤지만, 가끔은 "심장이 간에 붙어있다"거나 "신장이 하늘에 떠 있다"는 말도 안 되는 실수를 할 수 있습니다. (소음 제거)
• 해결: **VPR(시각적 타당성 정제)**이라는 검수관이 나옵니다.
  • 검수관은 "심장은 보통 가슴에 있고, 간은 오른쪽 복부에 있다"는 해부학적 상식을 가지고 있습니다.
  • AI 가 "심장이 간 옆에 있다"고 하면, 검수관이 "아니야, 심장은 그 자리에 있을 수 없어. 이건 오류야"라고 고쳐줍니다.
  • 비유: 요리사가 만든 요리를 맛보고, "이건 소금에 너무 짜서 먹을 수 없어"라고 고쳐주는 미식가 심사위원과 같습니다.

---

🌟 이 기술의 놀라운 성과

이 연구팀은 뇌, 심장, 복부, 용종 (대장암) 등 22 가지의 다양한 장기와 10 가지의 서로 다른 영상 장비 (MRI ↔ CT, 초음파 ↔ MRI 등) 에서 실험을 했습니다.

• 결과: 기존에 가장 잘하던 방법들보다 훨씬 더 정확했습니다.
• 특징: 어떤 장비든, 어떤 장기든 하나의 시스템으로 모두 해결할 수 있게 되었습니다. 마치 만능 열쇠처럼 다양한 자물쇠 (의료 영상) 를 모두 열어주는 것입니다.

💡 한 줄 요약

"Tell2Adapt"는 혼란스러운 의료 현장에서, 거대한 AI 지식인이 정리한 '정답'을 가볍고 빠른 AI 가 배우게 하고, 마지막에 '의학적 상식'으로 실수를 잡아주는 시스템입니다.

이 기술 덕분에 환자들의 개인정보는 보호하면서, 전 세계 어느 병원에서도 정확한 AI 진단이 가능해질 날이 머지않았습니다.

기술 요약

1. 문제 정의 (Problem)

의료 영상 분석에서 딥러닝 모델은 다양한 스캐닝 장비나 영상 모드 (CT, MRI, 초음파 등) 간의 도메인 시프트 (Domain Shift) 로 인해 성능이 급격히 저하되는 문제가 있습니다. 이를 해결하기 위해 무감독 도메인 적응 (UDA) 이 개발되었으나, 기존 방법은 소스 도메인 데이터에 대한 접근이 필수적이었습니다. 그러나 환자 프라이버시 보호 및 데이터 기밀 유지 규정으로 인해 임상 현장에서는 소스 데이터에 접근할 수 없는 소스 프리 무감독 도메인 적응 (SFUDA, Source-Free Unsupervised Domain Adaptation) 환경이 필수적입니다.

기존 SFUDA 방법들은 다음과 같은 한계가 있었습니다:

• 저격차 (Low-gap) 적응에 국한됨: 소스 데이터와 타겟 데이터 간의 차이가 큰 경우 (예: MRI ↔ CT) 성능이 크게 떨어집니다.
• 특정 도메인/해부학적 구조에 한정됨: 하나의 프레임워크로 다양한 영상 모드와 해부학적 부위 (뇌, 심장, 복부, 용종 등) 를 모두 처리하는 통합 솔루션이 부재했습니다.
• 오류 전파 (Error Propagation): 소스 모델의 저품질 예측을 기반으로 생성된 가짜 라벨 (Pseudo-label) 을 사용하여 적응을 시도할 경우, 오류가 누적되어 성능이 악화되는 문제가 있었습니다.

2. 제안 방법 (Methodology: Tell2Adapt)

저자들은 비전 파운데이션 모델 (VFM, Vision Foundation Model) 의 풍부한 일반화 지식을 활용하여 위 문제들을 해결하는 통합 프레임워크 Tell2Adapt 를 제안했습니다. 이 프레임워크는 소스 데이터를 사용하지 않고도 타겟 도메인에 적응할 수 있도록 설계되었습니다.

핵심 구성 요소는 다음과 같습니다:

A. 문맥 인식 프롬프트 정규화 (Context-Aware Prompts Regularization, CAPR)

• 목적: VFM(특히 텍스트 프롬프트 기반 모델인 BiomedParse) 에 입력되는 텍스트 프롬프트의 노이즈, 모호성, 비구조화된 문맥을 해결하여 고충실도 가짜 라벨을 생성합니다.
• 작동 원리: 대규모 언어 모델 (LLM, Qwen3-VL) 을 활용하여 사용자의 다양한 입력 프롬프트를 분석합니다.
  1. 전역 문맥 추론: 입력된 프롬프트 목록 전체에서 공통된 영상 모드 (Modality) 와 해부학적 부위 (Anatomical Site) 를 추론합니다.
  2. 정규화 및 풍부화: 오타 수정, 모호성 해소, 그리고 추론된 전역 문맥을 각 서브-프롬프트에 적용하여 표준화된 형식 ([Target] in [Anatomical Site] [Modality]) 으로 변환합니다.
• 효과: VFM 이 정확한 가짜 라벨을 생성할 수 있도록 안정적이고 일관된 지시 사항을 제공합니다.

B. VFM 유도 지식 증류 (VFM-Guided Knowledge Distillation)

• 가짜 라벨 생성: CAPR 로 정제된 텍스트 프롬프트를 BiomedParse 에 입력하여 타겟 도메인의 고품질 가짜 라벨을 생성합니다.
• 지식 증류: 생성된 가짜 라벨을 사용하여 경량화된 소스 모델 (nnUNet 기반) 을 학습시킵니다.
  • 히스토그램 평활화 (Histogram Equalization): 타겟 이미지의 강도 분포 차이를 보정하여 모델이 도메인 특유의 통계적 특징보다는 해부학적 특징에 집중하도록 유도합니다.
  • 결과: 무거운 VFM 을 추론 시 사용하지 않고도, 경량화된 소스 모델이 VFM 의 지식을 흡수하여 타겟 도메인에서 높은 성능을 발휘합니다.

C. 시각적 타당성 정제 (Visual Plausibility Refinement, VPR)

• 목적: 적응된 모델의 예측 결과에서 해부학적으로 불가능한 영역이나 오탐 (False Positive) 을 제거하여 임상적 신뢰성을 확보합니다.
• 작동 원리: BiomedParse 의 사전 학습된 객체 분류기를 통해 대상의 일반적 해부학적 범주를 파악하고, 해당 범주에 대한 베타 분포 (Beta Distribution) 기반의 시각적 속성 (픽셀 확률, RGB 채널 강도 등) 사전 지식을 활용합니다.
• 정제 과정: 초기 예측 결과의 각 구성 요소가 해당 해부학적 부위의 통계적 특성과 일치하는지 해부학적 타당성 점수를 계산합니다. 점수가 임계값 이하인 노이즈나 잘못된 예측을 제거하여 최종 세그멘테이션을 정제합니다.

3. 주요 기여 (Key Contributions)

1. 통합 SFUDA 프레임워크 제안: 10 가지 도메인 적응 방향과 22 가지 해부학적 표적 (뇌, 심장, 복부, 용종 등) 에 걸쳐 작동하는 최초의 통합 SFUDA 프레임워크를 제시했습니다.
2. CAPR 모듈 도입: 다양한 입력 프롬프트의 문맥을 분석하고 표준화하여 VFM 의 신뢰성을 극대화하는 새로운 모듈을 제안했습니다.
3. VPR 모듈 도입: VFM 의 해부학적 지식을 활용하여 예측의 시각적 타당성을 검증하고 노이즈를 제거하는 정제 기법을 도입하여 임상 적용 가능성을 높였습니다.
4. 광범위한 실험 검증: 기존 방법론들 (UPL, ProtoContra, IPLC, SRPL 등) 을 포괄하는 대규모 벤치마크를 수행하여 SOTA 성능을 입증했습니다.

4. 실험 결과 (Results)

저자들은 AMOS (복부), BraTS (뇌), CAMUS/ACDC (심장), Kvasir/CVCDB (용종) 등 6 개의 데이터셋을 사용하여 10 가지 도메인 적응 시나리오에서 Tell2Adapt 를 평가했습니다.

• 성능: Tell2Adapt 는 모든 도메인 적응 방향에서 기존 SOTA 방법들을 압도적으로 상회했습니다.
  • 복부 (Abdominal): MR→CT 적응에서 평균 DICE 88.2% 를 기록하여 완전 감독 학습 (Supervised, 88.4%) 에 근접하는 성능을 보였습니다.
  • 뇌 (Brain): BraTS 데이터셋에서 T1n→T2w 등 다양한 모드 간 적응에서 SNFH(주변 비강화 FLAIR 고강도 영역) 및 RC(절제 공동) 에 대해 높은 DICE 점수와 낮은 ASD(평균 표면 거리) 를 달성했습니다.
  • 심장 (Cardiac): MRI 와 초음파 (US) 간의 극단적인 도메인 시프트 (Cross-modality) 에서 기존 방법들이 실패한 반면, Tell2Adapt 는 좌심실 (LV) 에서 94.6%, 심근 (MYO) 에서 88.5% 의 높은 DICE 를 기록했습니다.
  • 용종 (Polyp): Kvasir↔CVCDB 적응에서 DICE 89.1% 를 달성하여 두 번째로 좋은 방법보다 11% 이상 우위를 점했습니다.
• 효율성: VFM 은 학습 시만 사용되며, 추론 시에는 31.1M 파라미터의 경량화된 모델만 사용하여 VRAM 사용량을 26.1GB 에서 4.8GB 로 대폭 줄였습니다.
• Ablation Study: CAPR 을 제거할 경우 성능이 급격히 저하됨을 확인하여 프롬프트 정규화의 중요성을 입증했고, VPR 이 해부학적 타당성을 높여 ASD 를 개선함을 확인했습니다.

5. 의의 및 결론 (Significance)

Tell2Adapt 는 의료 영상 분할 분야에서 소스 데이터 없이도 다양한 도메인과 해부학적 구조에 적용 가능한 통합적인 SFUDA 솔루션을 제시했다는 점에서 큰 의의가 있습니다.

• 프라이버시 보호: 환자 데이터의 외부 유출 없이도 새로운 병원이나 장비에 모델을 배포할 수 있는 실용적인 경로를 제공합니다.
• 고장차 (High-gap) 적응 성공: 기존 방법들이 해결하지 못했던 MRI 와 CT, 초음파 간의 극단적인 도메인 차이를 극복했습니다.
• 임상 신뢰성: VPR 을 통해 해부학적으로 불가능한 예측을 필터링함으로써, AI 모델의 임상 도입 장벽을 낮추고 안전성을 높였습니다.

결론적으로, Tell2Adapt 는 비전 파운데이션 모델의 지식을 효과적으로 활용하여 의료 영상 분석의 보편성과 적응성을 획기적으로 개선한 새로운 패러다임을 제시합니다.