기술 요약: 비지도 도메인 적응을 위한 ADualVUOT

문제 정의

의료 영상과 같이 높은 신뢰도가 요구되는 환경에서 머신러닝 모델을 안정적으로 배포하는 것은 도메인 변화(domain shift)로 인해 저해됩니다. 서로 다른 영상 장치, 환자군 또는 획득 프로토콜로 인해 발생하는 훈련(소스) 데이터와 배포(타겟) 데이터 간의 분포 차이는 심각한 성능 저하를 초래합니다. 비지도 도메인 적응(UDA)은 레이블이 있는 소스 데이터로부터 레이블이 없는 타겟 데이터로 지식을 전이함으로써 이를 완화하는 것을 목표로 하지만, 기존 방식들은 두 가지 주요 한계점에 직면해 있습니다:

1. 제한적인 잠재 표현(Latent Representations): 많은 최적 운송(Optimal Transport, OT) 기반 방법론들은 동일한 차원을 가진 공유 잠재 공간 내에서 정렬을 강제합니다. 이는 다양한 고차원 소스 도메인을 압축하거나 더 작은 타겟 도민을 확장하도록 강요하여, 다운스트림 태스크에 중요한 도메인 특유의 정보를 버리게 만듭니다.
2. 정적 증강(Static Augmentation): 현재의 데이터 증강 전략은 수작업으로 정의된 사전 결정된 변환에 의존하거나, 타겟 도메인에 대한 사전 지식을 필요로 하는 경우가 많습니다. 이는 타겟 데이터가 제한적이거나, 부분적으로 관찰되거나, 진화하는 상황에서는 비현실적입니다.

방법론: ADualVUOT

저자들은 의료 영상 분할을 위해 특별히 설계된 새로운 딥러learning 아키텍처인 ADualVUOT(Adversarial Dual Variational Unbalanced Optimal Transport)를 제안합니다. 이 프레임워크는 공유 잠재 공간 및 정적 증강의 한계를 해결하기 위해 네 가지 핵심 구성 요소를 통합합니다.

1. 연속 정규 흐름(CNF)을 결합한 이중 인코더 변이형 오토인코더(Dual-Encoder VAE)

소스와 타겟 데이터를 단일 공유 잠재 공간으로 강제하는 대신, ADualVUOT는 이중 인코더 아키텍처를 채택합니다:

• 공유 인코더(Shared Encoder): 입력 영상으로부터 특징 표현을 추출하는 공유 백본을 사용합니다.
• 도메인 특화 헤드(Domain-Specific Heads): 추출된 특징은 두 개의 서로 다른 가우시안 사후 분포(posteriors)의 파라미터를 예측하는 도메인 특화 완전 연결 헤드로 나뉩니다. 이를 통해 소스와 타겟 도메인을 서로 다른 차원($K$는 소스, $P$는 타겟)의 잠재 공간으로 매핑할 수 있으며, 이는 소스 도메인이 타겟 도메인보다 더 크고 다양하다는 사실을 수용할 수 있게 합니다.
• 연속 정규 흐름(Continuous Normalizing Flows, CNF): 가우시안 가정의 제한적인 귀납적 편향을 극복하기 위해, 초기 잠재 변수는 CNF를 통해 변환됩니다. 이는 더욱 표현력이 풍부한 비가우시안 사후 분포를 생성하여 모델링 유연성을 높입니다.

2. 가우시안 그로모프-와서스타인(GGW)을 활용한 계층적 불균형 최적 운송(Hierarchical UOT)

이질적인 잠재 공간을 정렬하기 위해, 프레임워크는 계층적 OT 공식을 사용합니다:

• 임베딩 레벨 정렬(Embedding-Level Alignment, GGW): 가우시안 그로모프-와서스타인 거리를 사용하여 소스와 타겟 잠재 분포의 내부 기하학적 구조를 비교합니다. 이는 점별 거리(pointwise distance)에 의존하는 대신 공분산 행렬의 고윳값(eigenvalues)을 비교함으로써 서로 다른 차원의 공간 간 운송을 가능하게 합니다.
• 미니 배치 레벨 정렬(Mini-Batch Level Alignment, UOT): 미니 배치 내의 소스와 타겟 샘플 간의 부드러운 대응 관계를 설정하기 위해 불균형 최적 운송 계획을 계산합니다. 이는 질량 완화(mass relaxation)를 처리하여 잠재적인 분포 불일치를 수용합니다.
• 의미론적 일관성(Semantic Consistency): 운송 비용은 GGW의 기하학적 거리와 소스 레이블 및 타겟 의사 레이블(pseudo-labels) 사이의 다이스 유사 계수(DSC)에 기반한 의미론적 구성 요소를 결합하여, 기하학적으로는 유사하지만 의미론적으로 일치하지 않는 임베딩이 서로 결합되지 않도록 합니다.

3. 적대적 데이터 증강(MaxStyle)

사전 정의된 증강 정책에 의존하지 않고 견고함을 개선하기 위해, 저자들은 MaxStyle 전략을 응용합니다:

• 스타일 믹싱(Style Mixing): 소스와 타겟 재구성 디코더의 특징 맵을 채널별 평균 및 표준 편차의 선형 결합을 사용하여 혼합합니다.
• 적대적 최적화(Adversarial Optimization): 네트워크 가중치를 고정한 상태에서 소스 분할 손실에 대한 **경사 상승법(gradient ascent)**을 통해 혼합 계수와 가산 노이즈 파라미터를 최적화합니다. 이 과정은 모델에 도전 과제를 주는 "최악의 경우" 스타일 구성을 동적으로 생성하여, 타겟 도메인에 대한 사전 지식 없이도 모델이 도메인 불변 특징을 학습하도록 강제합니다.

4. 학습 목적 함수(Training Objective)

전체 손실 함수는 다음을 결합합니다:

• 재구성과 분할(소스를 위한)을 위한 도메인별 증거 하한(ELBO) 손실.
• 도메인 불일치를 최소화하기 위한 UOT 전이 손실.
• 최악의 경우 증강된 샘플에 대해 목적 함수를 최소화하는 적대적 손실 항.

주요 기여

본 논문은 다음과 같은 기여를 주장합니다:

1. 새로운 프레임워크: 가우시안 그로모프-와서스타인 거리를 통해 이질적인 잠재 공간(다른 차원) 사이의 기하학적 인식을 갖춘 정렬을 수행하는 ADualVUOT를 제안합니다.
2. Dual-Encoder CNF-VAE: 소스와 타겟 데이터를 별도의 잠재 공간으로 투영하는 이중 인코더 아키텍처를 도입합니다. 저자들은 이것이 OT 기반 잠재 정렬을 사용하는 UDA에 이중 인코더 아키텍처를 통합한 첫 번째 연구이며, 제한적인 공유 차원 가정을 피한다고 언급합니다.
3. 적대적 증강: 견고함을 높이고 정렬을 용이하게 하기 위해 도전적인 샘플을 생성하는 동적 증강 전략을 제공하며, 이를 통해 타겟 도메인의 사전 지식이나 정적 정책의 필요성을 제거합니다.
4. 실험적 검증: 여러 의료 영상 분할 벤치마크에서 효과를 입증하여 기존 OT 기반 방법론들보다 일관된 성능 향상을 보여주었습니다.

실험 결과

저자들은 두 가지 의료 영상 벤치마크에서 ADualVUOT를 평가했습니다:

1. 다기관 전립선 MRI 데이터셋: 7개의 서로 다른 획득 사이트를 포함합니다. ADualVUOT는 PUFT, JUMBOT 및 소스 전용 모델과 같은 베이스라인 모델들에 비해 모든 타겟 도메인에서 가장 높은 다이스(Dice) 점수를 달적인했습니다. 특히 까다로운 사이트(예: Site D에서 PUFT 대비 최대 8% 향상)에서 눈에 띄는 이득이 관찰되었습니다.
2. 다중 모달리티 전체 심장 분할(MM-WHS): 교차 모달리티 적응(MRI $\leftrightarrow$ CT)을 포함합니다. ADualVUOT는 모든 베이스라인을 능가했으며, 특히 어려운 CT-to-MRI 적응 작업에서 상당한 개선(전체적으로 최대 5%)을 보였습니다.

절제 연구(Ablation Studies):

• DualVUOT vs. ADualVUOT: 적대적 증강을 제거했을 때(DualVUOT) 성능이 낮아졌으며, 이는 최악의 경우 샘플을 동적으로 생성하는 것의 이점을 확인시켜 줍니다.
• VUGW vs. DualVUOT: 계층적 UOT-GGW를 표준 불균형 그로모프-와서스타인 계획(VUGW)으로 대체했을 때 성능이 떨어졌으며, 이는 계층적 정렬과 이중 인코더 설계의 중요성을 강조합니다.

의의 및 주장

본 논문은 ADualVUOT를 기존 도메인 적응 방법론의 "원 사이즈 핏 올(one size fits all)" 한계에 대한 해결책으로 포지셔닝합니다. 잠재 표현을 분리하고 GGW 거리를 활용함으로써, 공유 공간 접근 방식에서 흔히 손실되는 도메인 특유의 정보를 보존합니다. 적대적 증강의 통합은 스캐너 및 획득 프로토콜의 변화와 같이 의료 영상에서 흔히 발생하는 복잡한 도메인 변화에 대한 견고함을 더욱 강화합니다. 저자들은 이 접근 방식이 표준 의료 벤치마크에서 최첨단(state-of-the-art) 결과를 달성하며, 각 구성 요소(이중 인코더, GGW 정렬, 적대적 증강)가 전체적인 성능 향상에 실질적으로 기여한다고 주장합니다.