기술 요약: 단일 도메인 일반화를 위한 적대적 도메인 프롬프트 튜닝 및 생성

1. 문제 정의

본 논문은 모델이 하나의 레이블된 소스 도메인($\mathcal{D}_S$)에서 학습하여 여러 개의 보이지 않는 타겟 도메인($\mathcal{D}_T$)에서 강건하게 성능을 발휘해야 하는 도전적인 학습 패러다임인 **단일 도메인 일반화(Single Domain Generalization, SDG)**를 다룹니다. 여러 소스 도메인을 활용하는 표준 도메인 일반화(DG)나 타겟 데이터에 접근하는 도메인 적응(DA)과 달리, SDG는 타겟 도메인을 사용할 수 없으며, 타겟 도민이 상당한 분포 변화(예: 스타일, 배경 또는 시점의 변화)를 보이는 엄격한 제약 조건 하에서 작동합니다.

기존의 SDG 접근 방식은 일반적으로 데이터 증강이나 적응형 정규화에 의존합니다. 그러나 이러한 방법들은 특히 도메인 특성이 수동으로 설명하기에는 너무 추상적인 경우, 임의의 스타일 차이를 커버할 수 있을 만큼 충분히 다양한 도메인을 구축하는 데 어려움을 겪습니다. 텍스트-이미지(Text-to-Image, T2I) 파운데이션 모델은 강력한 생성 능력을 제공하지만, 모든 가능한 도메인 스타일을 위해 수동으로 텍스트 프롬프트를 설계하는 것은 비현실적이며 추상적인 스타일의 미묘한 차이를 포착하지 못합니다.

2. 방법론: 점진적 적대적 프롬프트 튜닝 (Progressive Adversarial Prompt Tuning, PAPT)

저자들은 사전 학습된 잠재 확산 모델(Latent Diffusion Models, LDMs)을 활용하여 다양하고 분포 외(out-of-distribution, OOD)인 훈련 데이터를 자동으로 생성하는 프레임워크인 **점진적 적대적 프롬프트 튜닝(PAPT)**을 제안합니다. 정적인 텍스트 설명에 의존하는 대신, 이 방법은 두 가지 세트의 추상적이고 학습 가능한 프롬프트를 학습합니다.

2.1. 핵심 구성 요소

1. 카테고리 프롬프트 튜닝 (Category Prompt Tuning, CPT):

   • 목표: 도메인 불변적인 카테고리 정보를 포착합니다.
   • 메커니즘: 각 클래스 $k$에 대해, 고정된 텍스트 템플릿(예: "a photo of a [class]")에 삽입되는 학습 가능한 프롬프트 벡터 $\mathbf{E}^c_k$를 생성합니다. 이 프롬프트는 생성된 이미지가 도메인 스타일과 관계없이 올바른 시맨틱 클래스 특징을 유지하도록 소스 도메인 데이터를 사용하여 최적화됩니다.

2. 적대적 도메인 프롬프트 튜닝 (Adversarial Domain Prompt Tuning, AD):

   • 목표: 언어로 설명하기 어려운 추상적인 스타일을 포함한 도메인 특유의 스타일을 모델링합니다.
   • 메커니즘: 도메인 특화 메모리 뱅크($\mathcal{P}$) 내에 학습 가능한 도메인 프롬프트 벡터 $\mathbf{E}^d_i$ 세트를 유지합니다.
   • 적대적 목적 함수: 새로운 도메인 프롬프트 $\mathbf{E}^d_o$를 생성하기 위해, 모델은 생성된 이미지의 잠재 표현과 $\mathcal{P}$에 존재하는 모든 기존 프롬프트 사이의 유사성을 최소화합니다. 이는 새로운 스타일을 이전에 학습된 스타일로부터 밀어내는 대조 학습 손실($\mathcal{L}_{domain}$)을 통해 달성됩니다.
   • 일관성 목적 함수: 동시에, 카테고리 일관성 손실($\mathcal{L}_{class}$)은 생성된 이미지가 카테고리 프롬프트와 시맨틱적으로 정렬되도록 보장합니다.
   • 최적화: 전체 손실은 $\mathcal{L}_{all} = \mathcal{L}_{class} + \lambda \mathcal{L}_{domain}$입니다. 역전파를 가능하게 하기 위해 저자들은 디노이징 과정의 1단계 근사법을 채택합니다.

3. 점진적 훈련 스킴 (Progressive Training Scheme, PTS):

   • 목표: 생성되는 도메인의 지속적인 다양성을 보장합니다.
   • 메커니즘: 메모리 뱅크 $\mathcal{P}$는 반복적으로 업데이트됩니다. 일정 횟수의 반복 후에 새로 학습된 도메인 프롬프트 $\mathbf{E}^d_o$가 $\mathcal{P}$에 추가됩니다. 이는 후속 훈련이 확장되는 학습된 스타일 세트와 구별되는 스타일을 생성하도록 강제하여, 결과적으로 생성된 훈련 데이터의 분포를 넓힙니다.

2.2. 워크플로우

1. 초기화: 몇 개의 텍스트 도메인 임베딩으로 $\mathcal{P}$를 수동으로 시딩(seed)합니다.
2. 훈련:
   • 소스 데이터 상에서 카테고리 프롬프트 $\mathbf{E}^c_k$를 최적화합니다.
   • $\mathcal{P}$에 대한 적대적 튜닝을 통해 새로운 도메인 프롬프트 $\mathbf{E}^d_o$를 반복적으로 학습합니다.
   • 성공적인 새로운 프로프트를 $\mathcal{P}$에 추가함으로써 $\mathcal{P}$를 업데이트합니다.
3. 생성: 학습된 프롬프트를 사용하여 T2I 모델을 통해 다양한 이미지 세트($\mathcal{D}_G$)를 생성합니다.
4. 최종 모델: 원래의 소스 도메인과 생성된 도메인 이미지의 합집합을 사용하여 다운스트림 분류기를 훈련합니다.

3. 주요 기여

본 논문은 다음과 같은 기여를 주장합니다:

• SDG를 위한 T2I의 첫 적용: 수동 프롬프트 엔지니어링을 넘어 학습 가능한 추상적 프롬프트를 사용하여, 단일 도메인 일반화를 위해 사전 학습된 텍스트-이미지 파운데이션 모델을 활용한 첫 번째 연구입니다.
• 추상적 프롬프트 학습: 이 방법은 경직된 텍스트 도메인을 단어로 설명하기 어려운 추상적인 스타일(예: 특정 예술적 스타일 또는 배경 변화)을 표현할 수 있는 학습 가능한 벡터로 대체합니다.
• 점진적 적대적 프레임워크: 제안된 PAPT 프레임워크는 적대적 학습 메커니즘과 점진적 메모리 뱅크 업데이트 전략을 통해 생성되는 도메인 스타일의 다양성과 카테고리 시맨틱 보존 사이의 트레이드오프를 균형 있게 조절합니다.
• 최첨단(SOTA) 성능: 이 방법은 여러 벤치마크에서 기존 SDG 접근 방식보다 우수한 성능을 달 achieves 합니다.

4. 실험 결과

이 방법은 다섯 가지 표준 DG 벤치마크인 PACS, VLCS, Office-Home, DomainNet, TerraIncognita에서 평가되었습니다.

• 단일 도메인 일반화 (SDG):

  • PACS에서 PAPT는 평균 정확도 **72.72%**를 달성하여 이전 최고 성능(Prompt-Driven)보다 1.60% 앞섰습니다.
  • VLCS에서 **73.37%**를 달성하였는데, 이는 도메인 레이블이 의미를 갖지 않는 배경 및 시점 변화에 대한 강건성을 입증하며 베이스라인 대비 9.55%의 유의미한 향상을 보여주었습니다.
  • Office-Home에서는 **62.03%**에 도달하여 SOTA 대비 3.73% 높은 성능을 보였습니다.
  • 이 방법은 소스 도메인이 "어려운" 스타일(예: Sketch 또는 Clipart)인 경우 특히 강력한 이득을 보였으며, 특정 설정에서 최대 21.62%의 향상을 기록했습니다.

• 멀티 소스 도메인 일반화:

  • 멀티 소스 환경으로 확장했을 때, PAPT는 모든 데이터셋에서 평균적으로 SOTA인 SMOS보다 1.34% 높은 성능을 보였습니다.
  • 특히 스타일 차이가 큰 도전적인 DomainNet 데이터셋에서 PAPT는 SMOS를 4.88% 앞질렀습니다.

• 절제 연구 (Ablation Studies):

  • 적대적 도메인 튜닝 (AD): PACS에서 3.88%, VLCS에서 3.42%의 이득을 제공하여, 학습 가능한 프롬프트가 추상적 스타일을 위해 수동 텍스트 설명보다 우수함을 입증했습니다.
  • 점진적 훈련 스킴 (PTS): 성능을 추가로 개선하여 PACS에서 2.50%, VLCS에서 0.83% 향상되었으며, 이는 반복적으로 확장되는 스타일 다양성이 분포 차이를 줄인다는 것을 확인시켜 줍니다.
  • 파라미터 민감도: 이 방법은 메모리 뱅크의 초기화와 하이퍼파라미터 $\lambda$(10으로 설정)에 대해 안정성을 보였습니다.

5. 의의 및 주장

본 논문은 현재의 데이터 증강 기술이 소스 도메인과 타겟 도메인 사이의 방대한 분포 격차를 메우지 못하는 한계를 해결하는 솔루션으로서 자신의 연구를 위치시킵니다. 저자들은 학습 가능한 추상적 프롬프트를 통해 T2I 모델의 생성 능력을 활용함으로써 다음을 달성할 수 있다고 주장합니다:

1. 추상적인 도메인 특성을 설명할 수 없는 수동 텍스트의 한계를 극복합니다.
2. 타겟 데이터나 여러 소스 도메인에 대한 접근 없이도 충분히 다양한 범위의 훈련 이미지를 자동으로 생성합니다.
3. 적대적 학습을 통해 생성된 데이터와 타겟 데이터 간의 분포 차이를 명시적으로 최소화함으로써 입증 가능한 일반화 성능을 달성합니다.

저자들은 이 프레임워크가 특히 복잡한 배경 및 시점 변화가 포함된 시나리오에서 도메인 이동 문제를 효과적으로 완화하며, 기존 SDG 방법들에 대한 강력한 대안을 제공한다고 결론짓습니다.