기술 요약: CoDoL – OOD(Out-of-Distribution) 일반화를 위한 조건부 도메인 프롬프트 학습

1. 문제 정의

딥러닝 모델은 일반적으로 독립 동일 분포(IID) 가정을 기반으로 하지만, 이는 테스트 데이터의 분포가 훈련 데이터와 다른 실제 응용 분야(OOD 일반화)에서는 자주 실패합니다. 시각-언어 모델(VLM), 특히 CLIP(Contrastive Language-Image Pre-training)은 강력한 제로샷 능력을 입증해 왔으나, 기존의 프롬프트 기반 CLIP 방법론들은 OOD 환경에서 두 가지 결정적인 한계에 직면해 있습니다:

1. 부정확한 텍스트 묘사: 고정되거나 수동으로 설계된 프롬프트는 시각적 콘텐츠를 정확하게 묘사하지 못할 수 있으며, 이는 정확도와 강건성(robustness)의 저하로 이어집니다.
2. 제한적인 시각-언어 임베딩 정렬: 이미지와 텍스트 임베딩 간의 정렬은 일반화 성능의 핵심 요소입니다. 표준 프롬프트 튜닝 방법(예: CoOp)은 분포 변화(distribution shifts) 상황에서 이러한 두 모달리티를 충분히 정렬하는 데 어려움을 겪습니다.

현재의 방법들은 여러 훈련 도메인으로부터 미지의 테스트 도메인으로 지식을 전달하는 데 필수적인, 즉 활용 가능한 도메인 정보(예: 위치, 시간, 실험 조건)를 활용하는 데 어려움을 겪고 있습니다.

2. 방법론: CoDoL

저자들은 도메인 정보를 활용하여 CLIP의 이미지 및 텍스트 인코더 간의 정렬을 강화하는 파라미터 효율적인 방법인 **조건부 도메인 프롬프트 학습(CoDoL)**을 제안합니다. 이 프레임워크는 세 가지 주요 구성 요소로 이루어져 있습니다:

A. 조건부 도메인 프롬프트 구축

클래스별 컨텍스트 벡터만을 학습하는 표준 프롬프트 튜닝과 달리, CoDoL은 클래스와 도메인 정보를 모두 포함하는 프롬프트를 구축합니다. 프롬프트 템플릿은 다음과 같이 정의됩니다:
$$t = \text{[Class Tokens]} + \text{[Domain Tokens]} + \text{[Class Name]} + \text{[Domain Name]}$$

• Class Tokens: 클래스 간 공유되거나 특정 클래스에 종속되는 학습 가능한 벡터입니다.
• Domain Tokens: 도메인 불변 특징(domain-invariant features)을 포착하도록 설계된 학습 가능한 벡터로, 모델이 미지의 테스트 도메인으로 일반화할 수 있도록 합니다.
• 예시: "Cartoon" 도메인의 "dog"의 경우, 프롬프트는 "[V]_1...[V]_Mc, [V]_1...[V]_Mk, dog, cartoon"이 됩니다.

B. 도메인 메타 네트워크 (DMN)

도메인 특화 정보와 더불어 인스턴스 특화(instance-specific) 정보를 포착하기 위해, 저자들은 **도메인 메타 네트워크(DMN)**라고 불리는 경량 신경망을 도입했습니다.

• 기능: DMN은 동결된 이미지 인코더로부터 추출된 이미지 특징 벡터($z_v$)를 입력받아 입력 조건부 오프셋(input-conditional offset)을 생성합니다.
• 메커니즘: 이 오프셋은 학습 가능한 도메인 특화 컨텍스트 벡터에 요소별(element-wise)로 더해집니다.
  $$[V]^k_m(x) = [V]^k_m + (f_\theta(z_v))_m$$
• 결과: 생성된 토큰은 정적인 도메인 지식과 동적인 인스턴스 특화 세부 사항을 모두 담게 되며, 이를 통해 클래스 $y$와 특정 이미지 인스턴스 $x$ 모두에 조건화된 프롬프트 $t_{y,j}(x)$를 생성합니다.

C. 훈련 및 추론

• 훈련: 모델은 클래스와 도메인의 결합 사후 확률(joint posterior)에 대해 교차 엔트로피 손실(cross-entropy loss)을 최소화합니다. 도메인 레이블은 특정 도메인 프롬프트를 감독하기 위해 훈련 중에 사용되지만, 추론 시에는 잠재 변수(latent variable)로 취급됩니다.
• 추론: 테스트 시에는 도메인 레이블이 필요하지 않습니다. 모델은 클래스 레이블을 예측하기 위해 모든 $K$개의 훈련 도메인에 대해 주변화(marginalize)를 수행합니다:
  $$\hat{c}(x) = \arg \max_y \sum_{j=1}^K p(y, k=j | x)$$

3. 주요 기여

1. 새로운 프롬프팅 프레임워크: OOD 일반화를 위한 시각-언어 임베딩 정렬을 개선하기 위해, 가용한 도메인 정보를 프롬프트 구조에 통합하는 CoDoL을 제안하였습니다.
2. 경량 인스턴스 조건화: 입력 조건부 토큰을 생성하는 경량 아키텍처인 도메인 메타 네트워크(DMN)를 도입하여, 과도한 파라미터 업데이트 없이도 모델이 인스턴스 특화 및 도메인 특화 정보를 모두 포착할 수 있게 했습니다.
3. 실증적 검증: Co-DoL이 CLIP의 임베딩 공간 정렬을 개선하며, 이것이 관찰된 OOD 성능 향상의 기여 요인임을 입증하는 광범위한 실험을 수행했습니다.

4. 실험 결과

저자들은 ResNet50 및 ViT-B/16 백본을 사용하여 네 가지 표준 OOD 벤치마크인 PACS, VLCS, OfficeHome, DigitDG에서 CoDoL을 평가했습니다.

• 다중 훈련 도메인: CoDoL은 모든 벤치마크에서 최첨단(SOTA) 성능을 달아냈습니다. 예를 들어, ViT-B/16 백본을 사용한 PACS에서 CoDoL은 평균 정확도 **98.77%**를 기록하며 이전의 SOTA(StyLIP) 및 제로샷 베이스라인을 능가했습니다.
• 단일 훈련 도메인: 단 하나의 도메인만 훈련에 사용하는 더 까다로운 설정에서도, CoDoL은 다른 프롬프트 기술(예: CoOp, CoCoOp)보다 약 3-4% 일관되게 높은 성능을 보이며 단일 도메인 훈련 시나리오에서 새로운 SOTA 결과를 확립했습니다.
• 절제 연구(Ablation Studies):
  • DMN의 효과: DMN을 제거했을 때 성능이 약 3% 하락하였으며, 이는 인스턴스 특화 조건화의 가치를 확인시켜 줍니다.
  • 컨텍스트 길이: 다중 도메인 설정에서 도메인 토큰을 위한 최적의 컨텍스트 길이($M_k$)가 클래스 토큰($M_c$)보다 길다는 것이 밝혀졌으며, 이는 긴 도메인 컨텍스트가 도메인 지식 학습에 유익함을 시사합니다.
  • 정렬 지표: 정량적 분석 결과, CoDoL은 베이스라인 대비 더 작은 모달리티 갭($\delta_{mod}$)과 더 높은 교차 모달 검색 재현율(R@1)을 달성하였으며, 이는 개선된 시각-언어 정렬을 확인시켜 줍니다.
• 데이터 효율성: 도메인 정보가 포함된 훈련 샘플이 20%에 불과한 상황에서도 방법론은 효과적으로 작동했습니다.

5. 의의 및 주장

본 논문은 CoDoL이 프롬프트 기반 CLIP 방법론의 핵심 과제인 부정확한 텍스트 묘사와 제한된 임베딩 정렬 문제를 해결한다고 주장합니다. 도메인 정보를 명시적으로 모델링하고 인스턴스 특화 오프셋을 도입함으로써, 이 방법은 분포 변화가 발생하는 실제 환경에서 VLM의 강건성을 향상시킵니다.

저자들은 시각-언어 임베딩 정렬의 개선이 관찰된 OOD 일반화 성능 향상의 주요 요인이라고 강조합니다. 또한, 사전 훈련된 인코더를 동결한 채 프롬프트 토큰과 경량 DMN만을 학습시키므로 매우 파라미터 효율적이라는 점을 강조합니다. 본 연구는 도메인 정보를 활용하는 것이 데이터 분포가 비정상적(non-stationary)인 고위험 애플리케이션에서 AI 시스템의 신뢰성을 높이기 위한 실행 가능하고 효과적인 전략임을 시사합니다.