기술 요약: SIDA (Synthetic Image Driven Zero-shot Domain Adaptation)

문제 정의

제로샷 도메인 적응(Zero-Shot Domain Adaptation, ZSDA)은 타겟 도메인의 이미지 데이터에 접근할 수 없는 상태에서 모델을 적응시키는 것을 목표로 합니다. PØDA 및 ULDA와 같은 기존 방식들은 CLIP의 임베딩 공간과 텍스트 설명을 활용하여 타겟과 유사한 스타일 특징을 시뮬레이션하지만, 다음과 같은 두 가지 결정적인 한계에 직면해 있습니다:

1. 실세계 변동성 부족: 고정된 텍스트 설명(예: "Driving at {domain}")은 실제 환경에서 관찰되는 복잡하고 다양한 전역적 및 국부적 스타일 강도 변화를 포착하기에 불충분합니다. 예를 들어, 눈 내리는 장면은 전역적 강도(가벼운 눈에서 폭설까지)가 크게 다를 수 있으며, 비는 단일 이미지 내에서도 다양한 강도를 나타낼 수 있습니다. 현재의 방법들은 단일한 시뮬레이션 스타일 특징에 의존하는 경우가 많아 이러한 다양성을 반영하지 못합니다.
2. 비효율성: 텍스트 기반 방식은 학습 가능한 벡터를 최적화하기 위해 각 소스 이미지마다 추가적인 정렬(alignment) 과정을 필요로 합니다. 이러한 이미지별 최적화는 계산 비용이 많이 들며, 대규모 소스 데이터셋에 적용할 때 확장성이 떨어집니다.

방법론

저자들은 텍스트 기반의 스타일 시뮬레이션을 대신하여 합성 이미지를 통해 다양한 스타일 특징을 포착하는 방식인 **SIDA (Synthetic Image Driven Zero-shot Domain Adaptation)**를 제안합니다. 이 파이프라인은 세 가지 주요 단계로 구성됩니다:

1. 이미지 생성 과정

SIDA는 고정된 프롬프트를 사용하는 대신, 소스 이미지의 의미론적 내용(semantic content)을 유지하면서 타겟 도메인의 스타일을 채택하는 합성 이미지를 생성합니다.

• 장면 설명 추출 (Scene Description Extraction): 시각-언어 모델(VLM)이 소스 이미지를 분석하여 상세한 장면 설명(프롬프트)을 생성함으로써, 생성된 이미지가 소스의 특정 객체 구성(예: 나무, 건물, 도로)을 유지하도록 보장합니다.
• 소스 유사 생성 (Source-like Generation): 텍스트-투-이미지(text-to-image) 모델(Stable Diffusion)은 VLM의 프롬프트를 바탕으로 "소스와 유사한" 합성 이미지를 생성합니다.
• 스타일 변환 (Style Translation): 이러한 소스 유사 이미지들은 이미지-투-이미지(image-to-image) 변환 모델을 통해 타겟 도메인 스타일(예: "눈" 또는 "밤")로 변환되며, 이 과정에서 의미론적 구조를 보존하면서 타겟 스타일을 채택합니다.

2. 도메인 믹스 및 패치 스타일 전이 (Domain Mix & Patch Style Transfer)

합성 이미지의 변동성 부족 문제를 해결하기 위해, SIDA는 전역적 및 국부적 스타일 특징을 풍부하게 만드는 두 가지 모듈을 도입합니다:

• 도메인 믹스 (Domain Mix): 이 모듈은 다양한 전역적 스타일 강도를 시뮬레이션합니다. 메인 타겟 도메인과 보조 도메인(코사인 유사도를 통해 선택됨)의 스타일 통계량(평균 및 표준 편차)을 혼합합니다. 이러한 통계량을 무작위 채널별 가중치와 함께 섞고 가우시안 노이즈를 추가함으로써, 적은 양의 합성 이미지만으로도 광범위한 타겟 유사 스타일 특징을 생성합니다.
• 패치 스타일 전이 (Patch Style Transfer): 이 모듈은 국부적 스타일 변동성을 다룹니다. 소스 특징 맵(feature map)을 겹치지 않는 패치 단위로 나눕니다. 각 패치에는 (도메인 믹스 과정에서 유도된) 서로 다른 타겟 유사 스타일 특징이 할당되며, AdaIN 알고리즘을 사용하여 변환됩니다. 이를 통해 동일한 이미지 내의 서로 다른 영역이 다양한 스타일 강도를 나타내게 하여, 실제 환경의 이질성을 모사합니다.

3. 미세 조정 단계 (Fine-tuning Stage)

모델은 특징 추출기(feature extractor)를 고정한 채 분류 헤드($M_{cls}$)만을 사용하여 미세 조정됩니다.

• 엔트로피 기반 가중치 손실 (Entropy-Based Weighted Loss): 타겟 스타일의 특징이 사전 학습된 분류기에 의해 불확실하게 인식될 수 있음을 인지하여, 저자들은 가중치가 적용된 교차 엔트로피(Cross-Entropy) 손실을 제안합니다. 예측의 엔트로피가 특정 임계값을 초과하면 손실 가중치를 높여, 모델이 이러한 불확실한 타겟 유사 샘플들로부터 우선적으로 학습하도록 강제합니다.

주요 기여

1. SIDA 프레임워크: 텍스트 설명 대신 합성 이미지를 사용하여 타겟 유사 스타일 특징을 도출하는 새로운 ZSDA 접근법을 제시하며, 더욱 다양하고 세밀한 도메인 변화 표현을 제공합니다.
2. 스타일 시뮬레이션 모듈: 실제 환경에서 발견되는 전역적 및 국부적 스타일 강도 변화를 효과적으로 모델링하기 위해 도메인 믹스와 패치 스타일 전이를 도입했습니다.
3. 효율성: 텍스트 기반 방식에서 요구되는 이미지별 정렬 과정을 제거함으로써 적응 시간을 크게 단축했습니다.

실험 결과

저자들은 Cityscapes(소스)에서 ACDC(타겟: 밤, 눈, 비, 안개)로, 그리고 GTA5에서 Cityscapes로의 전환을 포함한 다양한 시나리오의 시맨틱 세그멘테이션 작업에서 SIDA를 평가했습니다.

• 성능: SIDA는 테스트된 모든 시나리오에서 최고 수준의 성능(state-of-the-art)을 달却했으며, PØDA, ULDA, CLIPstyler와 같은 기존 방식들을 능가했습니다. 특히 데이터 부족이 치명적인 화재(fire) 및 황사(sandstorms)와 같은 도전적인 도메인에서 SIDA는 상당한 개선(예: 화재 시나리오에서 ULDA 대비 +2.62% mIoU)을 보여주었습니다.
• 절제 연구 (Ablation Studies):
  • 도메인 믹스 또는 패치 스타일 전첩을 제거했을 때 성능 저하가 발생하여, 두 모듈이 실제 환경의 변동성을 모사하는 데 상호 보완적인 역할을 한다는 것이 확인되었습니다.
  • VLM 기반 이미지 생성 방식(VLM T2I+I2I)이 직접적인 텍s-to-image 또는 image-to-image 방식보다 우수한 성능을 보였으며, 더 나은 의미론적 일관성을 제공했습니다.
  • SIDA는 매우 적은 수의 합성 이미지(도메인당 단 3개)만으로도 견고하게 작동했습니다.
• 효율성: SIDA는 텍스트 기반 베이스라인들에 비해 현저히 빠른 적응 시간을 보여주었습니다. 결정적으로, 텍스트 기반 방식은 데이터셋이 커짐에 따라 시간이 선형적으로 증가하는 반면, SIDA의 적응 시간은 소스 데이터셋의 크기와 관계없이 거의 일정하게 유지되었습니다.

의의

본 논문은 SIDA가 합성 이미지의 시각적 풍부함을 활용함으로써 텍스트 기반 ZSDA의 근본적인 한계를 해결한다고 주장합니다. 고정된 텍스트 설명에서 벗어남으로써, 이 방법은 실제 데이터에 내재된 복잡하고 다중 스케일의 스타일 변동을 성공적으로 포착합니다. 또한, 계산 비용이 많이 드는 정렬 단계를 제거함으로써, SIDA는 타겟 데이터를 구할 수 없거나 수집하기 위험한 상황, 특히 미지의 도메인에 모델을 적응시켜야 하는 중요한 시나리오에서 확장 가능하고 효율적인 솔루션을 제공합니다. 저자들은 이 접근 방식이 도메인 변화에 대한 더 포괄적인 표현을 제공하여, 다양하고 도전적인 적응 환경에서 견고한 성능을 이끌어낸다는 점을 강조합니다.