기술 요약: VT-DUDA

문제 정의

비지도 도메인 적응(Unsupervised Domain Adaptation, UDA)은 레이블이 있는 소스 데이터를 사용하여 레이블이 없는 타겟 도메인을 위한 분류기를 학습하는 것을 목표로 한다. 고전적인 방법들은 불일치 최소화(discrepancy minimization)나 적대적 정렬(adversarial alignment)을 통해 특징 공간(feature space)에서 작동하는 반면, 최근의 확산 기반(diffusion-based) 접근 방식은 데이터 중심의 관점을 채택한다. 즉, 레이블이 지정된 타겟 스타일 이미지를 합성하여 다운스트림 분류기를 훈련하는 방식이다.

그러나 기존의 확산 가이드 UDA 방법들은 충분하지 못한 컨디셔닝 특이성(conditioning specificity) 문제를 겪고 있다. 현재의 방식들은 대개 거친 수준의 클래스 단위 텍스트 프롬프트(예: "침대")나 일반적인 도메인 지표에 의존한다. 이는 동일한 클래스의 서로 다른 여러 소스 이미지가 동일한 텍스트 조건으로 매핑됨에 따라, 합성 과정에서 인스턴스 수준의 시각적 세부 사항이 손실되는 결과를 초래한다. 결과적으로, 생성된 타겟 스타일 데이터는 특히 제한된 생성 예산 하에서 다운스트림 분류 성능을 극대화하는 데 필요한 구체적인 시각적 뉘앙스를 결여하게 된다.

방법론: VT-DUDA

저자들은 표준 텍스트 기반 컨디셔닝에 인스턴스 수준의 시각적 토큰을 증강하는 프레임워크인 VT-DUDA(Visual Token conditioning for Diffusion-guided Unsupervised Domain Adaptation)를 제안한다. 이 방법은 백본(backbone), VAE, 또는 디노이징 목적 함수를 수정하지 않고 어댑터 기반 잠재 확산 모델(adapter-based LDM) 내에서 작동한다.

핵심 구성 요소

1. 이미지-투-토큰 인코더 ($G_\psi$):
   학습 가능한 인코더가 입력 이미지 $v$를 $M$개의 압축된 시각적 토큰 시퀀스 $U = [u_1, \dots, u_M]$로 매핑한다. 이 시퀀스는 인스턴스 특유의 시각적 문맥을 포착한다. 인코더는 보조적인 토큰 수준의 감독 없이 표준 디노이징 목적 함수만을 사용하여 확산 모델과 함께 공동으로 학습된다.

2. 하이브리드 교차 주의(Cross-Attention) 문맥:
   VT-DUDA는 확산 모델의 교차 주의 메커니즘에 들어가는 컨디셔닝 입력을 수정한다. 텍스트 임베딩만을 사용하는 대신, 모델은 텍스트 토큰과 시각적 토큰을 시퀀스 차원을 따라 결합한다:

   • 소스 브랜치(Source Branch): 컨디셔닝 문맥은 클래스별 텍스트 프롬프트(예: "A [class]")와 특정 소스 이미지에서 추출된 시각적 토큰을 결합한다.
   • 타겟 브랜치(Target Branch): 컨디셔닝 문맥은 일반적인 프롬프트(예: "An image")와 레이블이 없는 타겟 이미지에서 추출된 시각적 토큰을 결합한다.
   • 강도 제어(Strength Control): 학습 가능한 계수($\kappa_s, \kappa_t$)가 시각적 토큰 가이드의 상대적 강도를 조절한다.

3. 공동 학습(Joint Training):
   프레임워크는 도메인 특화 어댑터 파라미터($\Delta\theta$)와 토큰 인코더 파라미터($\psi$)를 공동으로 최적화한다. 학습 목적 함수는 소스 및 타겟 브랜치 모두에 대한 디노이징 손실을 최소화하며, 여기서 타겟 브랜치는 타겟 레이블에 대한 접근 없이 토큰이 증강된 문맥 하에서 디노이징을 학습한다.

4. 합성 및 생성:
   레이블이 지정된 타겟 스타일 데이터를 생성하기 위해, 모델은 타겟 브랜치 하에서 가우시안 노이즈로부터 샘플링하거나(또는 번역을 위해 DDIM 인버전을 사용한다). 결정적으로, 컨디셔닝 문맥은 소스 클래스 프롬프트와 소스 이미지의 시각적 토큰으로 채워진다. 이를 통해 모델은 타겟 도메인의 외형을 따르면서도 소스 샘플의 구체적인 인스스턴스 수준 세부 사항을 유지하는 타겟 스타일 이미지를 합성할 수 있다.

5. 추론 시 조작(Inference-Time Manipulation):
   시각적 가이드가 토큰 시퀀스로 명시되어 있기 때문에, 이 프레임워크는 추론 시 조작을 지원한다. 사용자는 재학습 없이 합성을 제어하기 위해 토큰의 부분 집합을 선택하거나 토큰 강도 스케일링($\eta$)을 조정할 수 있다.

주요 기여

• 시각적 토큰 컨디셔닝 프레임워크: 본 논문은 기존의 확산 기반 UDA에서 발생하는 미세한 가이드 부족 문제를 해결하기 위해, 표준 교차 주의 인터페이스를 인스턴스 의존적인 시각적 토큰으로 풍부하게 만드는 방법을 소개한다.
• 통합 생성 프로토콜: 프레임워크는 두 가지 경로를 통해 합성 데이터를 구축하는 것을 지원한다:
  1. 순수 노이즈 합성: 소스 토큰을 조건으로 가우시안 노이즈로부터 타겟 스타일 이미지를 생성한다.
  2. DDIM-인버전 기반 번역: 동일한 토큰 조건 인터페이스를 사용하여 소스 이미지를 타겟 도메인으로 번역한다.
• 백본 호환성: 이 방법은 확산 백본이나 근본적인 디노이징 목적 함수를 변경하지 않고 기존의 어댑터 기반 확산 프레임워크(예: LoRA)에 통합된다.
• 추론 유연성: 토큰화된 설계는 추론 시 컨디셔닝 신호(부분 집합 선택, 강도 스케일링)의 직접적인 조작을 가능하게 한다.

실험 결과

방법론은 Office-31, Office-Home, VisDA-2017의 세 가지 표준 벤치마크에서 평가되었다.

• 성능 향상: VT-DUDA는 강력한 판별적 베이스라인(MCC, ELS) 및 기존의 확산 기반 방법들(Terra, DCDM)을 일관되게 능가했다.
  • Office-Home에서 VT-DUDA(ELS 상에서 구현됨)는 평균 정확도 **76.74%**를 달성하여, 가장 우수한 확산 베이스라인(ELS+Terra, 76.26%)과 판별적 베이스라인(ELS, 71.84%)을 넘어섰다.
  • VisDA-2017에서 **88.42%**를 달성하여, ELS+Terra(86.86%) 및 ELS(83.40%)보다 개선된 성능을 보였다.
• 데이터 효율성: 중요한 발견은 VT-DUDA가 더 가벼운 생성 예산에서도 우수한 성능을 달성한다는 점이다.
  • "인버전 프리(inversion-free)" 설정(Office-31/Office-Home의 경우 클래스당 50개, VisDA-2017의 경우 1000개의 이미지만 사용)에서, VT-DUDA는 전체 Terra 파이프라인(인버전 기반 번역 포함) 및 DCDM 방법(클래스당 200/2000개 이미지 사용)보다 뛰어난 성능을 보였다.
  • 이는 토큰 조건부 인터페이스가 생성된 각 샘플의 *유용성(utility)*을 향상시켜, 합성 데이터가 다운스트림 훈련에 더 효과적이게 만든다는 것을 시사한다.
• 절제 연구(Ablation Studies): 실험 결과, 강력한 성능을 위해서는 압축된 토큰 세트($M=5$ 또는 $10$)만으로도 충분하며, 지나치게 긴 시퀀스($M=20, 50$)는 오히려 정확도를 저하시킨다는 것을 확인했다.

의의 및 주장

본 논문은 VT-DUDA의 주요 기여가 컨디셔닝 설계가 생성 기반 UDA의 핵심 요소임을 입증한 데 있다고 주장한다. 저자들은 단순히 합성 데이터의 양을 늘리는 것만으로는 불충분하며, 오히려 컨디셔닝 신호의 *특이성(specificity)*이 생성된 데이터셋의 다운스트림 유용성을 결정한다고 주장한다.

인스턴스 수준의 시각적 문맥을 클래스 프롬프트와 함께 제공함으로써, VT-DUDA는 소스 인스턴스를 더 잘 대표하는 합성 타겟 스타일 데이터를 구축하여 분류기 성능을 향상시킨다. 이 논문은 이를 기존의 어댑터 기반 확산 프레임워크에 대한 실질적인 개선으로 위치시키며, 순수 합성 및 인버전 기반 번역을 위한 통합된 인터페이스를 제공하고 추론 시 생성 프로세스에 대한 유연한 제어를 가능하게 한다. 저자들은 시각적 토큰이 반드시 의미론적으로 분리되거나 인간이 해석 가능할 것이라고 보장할 수는 없으며, 본 방법론이 이미지 분류 UDA 맥락 내에서 엄격하게 평가되었음을 겸허히 언급한다.