Prompt Disentanglement via Language Guidance and Representation Alignment for Domain Generalization

기술 요약: 언어 가이드 및 표현 정렬을 통한 프롬프트 얽힘 해제 기반 도메인 일반화 (PADG)

문제 정의
도메인 일반화(Domain Generalization, DG)는 소스 도메인 데이터만을 사용하여 학습된 모델이 보지 못한 타겟 도량(unseen target domains)에서도 견고하게 성능을 발휘하는 것을 목표로 합니다. 주요 과제는 훈련과 테스트 데이터가 서로 다른 분포를 따르며 표준적인 독립 동일 분포(i.i.d.) 가정을 위반하는 "도메인 시프트(domain shift)"입니다. 최근 CLIP과 같은 시각 기초 모델(Visual Foundation Models, VFMs)이 유망한 가능성을 보여주고 있으나, 기존의 프롬프트 튜닝 방식은 도메인 불변 특징(domain-invariant features)과 도메인 특화 특징(domain-specific features)을 분리하기보다는 주로 태스크 특화 적응에 집중합니다. 결과적으로, 이러한 방식들은 다양한 미지의 도메인에 효과적으로 일반화될 수 있는 표현을 생성하는 데 어려움을 겪습니다. 또한, 순수하게 텍스트 기반의 가이드만으로는 언어적으로 설명하기 어려운 복잡한 도서 영역별 변이(예: 시점 또는 배경 변화)를 포착하지 못해 불완전한 얽힘 해제(disentanglement)를 초래합니다.

방법론
저자들은 VFM과 대규모 언어 모델(LLM)의 유연성을 활용하여 견고한 도메인 일반화를 달را성하는 통합 프레임워크인 PADG(Prompt Disentanglement via Language Guidance and Representation Alignment)를 제안합니다. 이 프레임워크는 두 단계의 훈련 과정과 하나의 추론 전략으로 작동합니다:

1. 교차 모달 프롬프트 얽힘 해제 (Cross-Modal Prompt Disentanglement, CMD): 이 단계는 모달리티 간의 특징 분리를 다룹니다.

   • GPT 지원 텍스트 얽힘 해제 (GPT-Assist Text Disentanglement, GAT): 저자들은 LLM(GPT-3)을 활용하여 특정 도메인 내 각 클래스에 대한 세밀한 설명을 생성합니다. 잠재 의미 분석(latent semantic analysis)을 통해, LLM은 이를 도메인 불변(domain-invariant) 설명(예: 구조적 형태)과 도메인 특화(domain-specific) 설명(예: 색상 또는 배경)으로 합성합니다. 이러한 설명은 증류(distillation) 및 대조 학습 손실을 통해 얽힘이 해제된 텍스트 프롬프트를 학습하도록 가이드하는 데 사용됩니다.
   • 텍스트에 의해 유도되는 이미지 얽힘 해제 (Image Disentanglement Guided by Text, IMT): 얽힘이 해제된 텍스트 임베딩은 시각 인코더를 위한 의미론적 가이드 역할을 합니다. 시각 인코더는 학습 가능한 프롬프트를 사용하여 그에 대응하는 도메인 불변 및 도메인 특화 시각적 특징을 생성하도록 미세 조정됩니다. 이 과정은 학습된 시각적 특징과 원래의 CLIP 임베딩 사이의 거리를 최소화하는 동시에, 불변 특징에 대해서는 도메인 혼란(domain confusion)을 강제함으로써 규제됩니다.

2. 최악의 명시적 표현 정렬 (Worst Explicit Representation Alignment, WERA): 텍나 텍스트 전용 가이드가 시각적 변이를 포착하는 데 갖는 한계를 보완하기 위해, 이 모듈은 분포적 견고성을 통해 시각적 불변성을 강화합니다.

   • 이 방법은 소스 도메인을 중심으로 하는 바세르슈타인 볼(Wasserstein ball) 내에서 **최악의 분포(worst-case distribution)**를 모델링합니다.
   • 이미지 의미론을 왜곡하는 대신, 학습 가능한 프롬프트를 사용하여 중간 시각적 특징의 평균과 분산(통계량)을 조정하는 **스타일화 전략(stylization strategy)**을 채택합니다.
   • 반복적인 최적화 과정을 통해 경험적 위험(empirical risk)을 최대화하는 최악의 스타일화된 샘플을 탐색합니다. 그 후 모델은 원래 샘플과 스타일화된 샘플의 표현을 정렬하여, 학습된 시각적 특징이 유계된 분포 변화 하에서도 안정적으로 유지되도록 합니다.

3. 도메인 특화 프로토타입 학습 (Domain-Specific Prototype Learning, DSPL): 추론 단계에서 저자들은 도메인 불변 특징에만 의존하는 것은 최선이 아니라고 주장합니다. 이들은 도메인 불변 예측과 도메인 특화 예측을 결합하는 앙상블 전략을 도입합니다.

   • 각 소스 도메인 내의 각 클래스에 대해 도메인 특화 시각 인코더를 사용하여 프로토타입을 구축합니다.
   • 테스트 샘플에 대해, 모델은 쿼리와 이러한 프로토타입 간의 유사도를 계산하여 도메인 특화 예측을 생성합니다.
   • 최종 출력은 도메인 불변 예측과 도메인 특화 프로토타입 기반 예측의 가중 결합이며, 이를 통해 유사한 기가 본(seen) 도메인의 지식을 활용하여 미지의 타겟 분류를 돕습니다.

주요 기여

• PADG 프레임워크: 텍스트 모달리티를 완전히 활용하여 교차 모달 얽힘 해제를 달성하고, 텍스트와 시각 공간 모두에서 불변 성분과 특화 성분을 분리하는 새로운 프롬프트 튜닝 프레임워크를 제시합니다.
• WERA 모듈: 시각적 특징을 바세르슈타인 볼 내에서 적대적으로 스타일화하고 원본 및 섭동(perturbed) 분포 간의 정렬을 강제하는 새로운 모듈입니다. 저자들은 이 최적화가 일반화 경계(generalization bounds)를 보장한다는 이론적 분석을 제공합니다.
• DSPL 전략: 도메인 특화 통계량을 도메인 불변 예측과 통합하여 추론 신뢰도를 높이는 프로토타입 기반 앙상블 메커니즘입니다.
• 포괄적인 평가: 방법론의 효능을 입증하는 다양한 벤치마크에 대한 광범-한 실험을 수행했습니다.

실험 결과
저자들은 다섯 가지 주요 DG 벤치마크인 PACS, VLCS, OfficeHome, DomainNet, TerraIncognita에서 PADG를 평가했습니다.

• 다중 소스 DG (Multi-Source DG): PADG는 모든 데이터셋에서 최고 수준의 성능(SOTA)을 달성하였으며, 평균 정확도는 **78.73%**로 이전의 SOTA 방식인 SIMPLE+ (78.10%) 및 SMOS (68.30%)를 능가했습니다. 특히 까다로운 TerraIncognita 데이터셋에서 PADG는 ERM 베이스라인보다 6.71% 향상되었고 CLIP-LoRA보다 3.31% 앞섰습니다.
• 단일 소스 DG (Single-Source DG): 더 어려운 단일 도메인 일반화 설정(하나의 소스에서 학습하고 여러 타겟에서 테스트)에서, PADG는 UDIM 및 CLIP 기반 접근 방식을 포함한 기존 방법들을 크게 압도하였으며, OfficeHome에서는 최대 16.79%의 향상을 보였습니다.
• 절제 연구 (Ablation Studies): 저자들은 각 구성 요소(GAT, IMT, WERA, DSPL)의 통계적 유의성을 확인했습니다. 결과는 텍스트 얽힘 해제가 풍부한 의미론적 단서를 제공하며, WERA가 소스-타겟 간의 격차를 효과적으로 줄이고, DSPL이 도메인 특화 지식을 활용하여 추론을 더욱 정교하게 만든다는 것을 나타냈습니다.

의의 및 주장
본 논문은 PADG가 프롬프트 튜닝을 얽힘 해제 문제로 성공적으로 재정의하여, 태스크 특화 기능과 도메인 불변 기능을 혼재시키는 기존 방식의 한계를 효과적으로 해결했다고 주장합니다. LLM의 풍부한 의미론과 바세르슈타인 기반 학습의 분포적 견고성을 결합함으로써, 이 방법은 상당한 스타일 변화와 제한된 소스 데이터 하에서도 견고한 성능을 달성합니다. 저자들은 자신들의 접근 방식이 불변 요소와 특화 요소를 명시적으로 분리하는 것이 일반화에 필수적이라는 가설을 검증하는, 가볍고 효과적인 미세 조정 프레임워크를 제공한다고 단언합니다. 또한, 제안된 최적화가 정의된 반경 내에서의 분포 변화에 대한 견고성을 보장한다는 이론적 분석을 통해 이러한 주장을 뒷받침합니다.