PAS: Estimating the target accuracy before domain adaptation

1. 문제 정의 (Problem)

비지도 도메인 적응 (Unsupervised Domain Adaptation, UDA) 은 레이블이 있는 소스 도메인 (Source Domain) 의 지식을 활용하여 레이블이 없는 타겟 도메인 (Target Domain) 에서 예측을 수행하는 것을 목표로 합니다. 그러나 실제 응용에서 도메인 적응의 성공 여부는 다음 두 가지 요소의 선택에 크게 의존합니다.

1. 소스 도메인 (Source Domain) 의 선택: 여러 소스 데이터 중 어떤 것이 타겟 도메인과 가장 잘 맞는지를 판단해야 합니다. 타겟 레이블이 없기 때문에 소스와 타겟 간의 분포 차이를 사전에 평가하기 어렵습니다. 부적절한 소스를 선택하면 부정적 전이 (Negative Transfer) 가 발생하여 성능이 오히려 저하될 수 있습니다.
2. 사전 훈련된 특징 추출기 (Pre-trained Feature Extractor) 의 선택: ImageNet 등 대규모 데이터로 사전 훈련된 다양한 모델 (ResNet, ViT, Swin 등) 이 존재하며, 각 모델은 서로 다른 인덕티브 바이어스 (Inductive Bias) 를 가집니다. 어떤 모델이 특정 도메인 적응 작업에 가장 적합한지 알기 어렵습니다.

현재의 전이 가능성 (Transferability) 추정 방법들은 대부분 타겟 레이블이 필요한 전이 학습 (Transfer Learning) 시나리오에 국한되어 있어, 레이블이 없는 UDA 상황에서는 적용이 불가능하거나 비효율적입니다. 모든 소스/모델 조합에 대해 도메인 적응을 수행하여 검증하는 방식은 계산 비용이 너무 많이 듭니다.

2. 방법론: 잠재 적응성 점수 (Potential Adaptability Score, PAS)

저자들은 도메인 적응을 수행하기 전에 소스 도메인과 사전 훈련된 모델의 적합성을 추정하기 위해 PAS (Potential Adaptability Score) 라는 새로운 지표를 제안했습니다.

핵심 가정

• 좋은 사전 훈련된 모델은 도메인 간 불변인 (Invariant) 판별적 특징을 추출할 수 있어야 합니다.
• 따라서 사전 훈련된 모델의 임베딩 공간 (Embedding Space) 에서, 동일 클래스에 속하는 소스 샘플과 타겟 샘플은 서로 가깝게, 서로 다른 클래스의 샘플은 멀리 위치해야 합니다.

PAS 계산 과정

1. 임베딩 및 중심점 (Centroid) 계산: 사전 훈련된 모델 $f_\theta$ 를 사용하여 소스 도메인의 각 클래스 $c$ 에 대한 특징 임베딩을 생성하고, 각 클래스의 중심점 $\mu_c$ 를 계산합니다.
   • $\mu_c = \frac{\sum f_\theta(x_i^S)}{\|\sum f_\theta(x_i^S)\|}$ (단위 벡터 정규화 후 합산)
2. 거리 측정: 타겟 샘플 $x_i^T$ 에 대해 모든 소스 클래스 중심점까지의 코사인 거리 (Cosine Distance) 를 계산합니다.
   • $dist(f_\theta(x_i^T), \mu_c) = 1 - (f_\theta(x_i^T) \cdot \mu_c)$
3. 최단 및 차단 거리 추출: 타겟 샘플 $i$ 에 대해 모든 소스 클래스까지의 거리 집합을 오름차순 정렬합니다.
   • $d_{1i}$: 가장 가까운 거리 (가장 유사한 클래스)
   • $d_{2i}$: 두 번째로 가까운 거리
4. 점수 산출: PAS 는 타겟 샘플이 가장 가까운 클래스와 두 번째로 가까운 클래스 간의 거리 차이를 정규화한 값의 평균입니다.
   • $PAS(\theta, D_S, D_T) = \frac{1}{|D_T|} \sum_{i} \frac{d_{2i} - d_{1i}}{d_{2i}}$

의미: PAS 점수가 1 에 가까울수록, 타겟 샘플이 명확하게 하나의 소스 클래스 군집에 속해 있음을 의미하며, 이는 도메인 적응이 성공할 가능성이 높음을 시사합니다. 이 지표는 실루엣 점수 (Silhouette Score) 를 변형하여 레이블이 없는 타겟 데이터와 도메인 시프트를 고려하도록 설계되었습니다.

3. 주요 기여 (Key Contributions)

1. 새로운 지표 제안 (PAS): 레이블이 없는 타겟 도메인에서 사전 훈련된 모델과 소스 도메인의 잠재적 기여도를 정량화하는 최초의 비대칭 (Asymmetric) 점수를 제안했습니다.
2. 선택 프레임워크: 여러 후보 소스 도메인과 사전 훈련 모델 중 가장 적합한 조합을 도메인 적응 학습 전에 선별하는 프레임워크를 제시했습니다. 이는 계산 오버헤드를 크게 줄여줍니다.
3. 실험적 검증: 다양한 이미지 분류 벤치마크 (Office-Home, Office-31, ImageCLEF, DomainNet) 와 다양한 도메인 적응 방법 (DANN, MCC 등) 을 통해 PAS 점수와 실제 타겟 정확도 간의 높은 상관관계를 입증했습니다.

4. 실험 결과 (Results)

저자들은 4 개의 주요 벤치마크에서 PAS 의 유효성을 검증했습니다.

• 정확도와의 상관관계: PAS 점수와 실제 도메인 적응 후의 타겟 정확도 간의 상관관계 (Pearson 및 Spearman) 를 측정했습니다.
  • 전체 평균 Spearman 순위 상관관계는 0.88로 매우 높게 나타났습니다.
  • 기존 지표인 MMD (Maximum Mean Discrepancy) 나 A-distance 와 비교했을 때 PAS 가 타겟 정확도 예측에 훨씬 더 강력하게 상관관계를 보였습니다.
• 소스 도메인 및 모델 선택: PAS 점수가 높은 조합이 실제로 가장 높은 정확도를 달성하는 경우가 대부분이었습니다. 이는 사용자가 가장 적합한 소스 데이터와 사전 훈련 모델을 사전에 선택할 수 있게 해줍니다.
• 샘플 크기 영향: 전체 데이터셋 대신 소스 및 타겟 데이터의 일부만 사용하더라도 PAS 점수의 상대적 순위는 유지되어 계산 효율성이 높음을 보였습니다.
• 디자인 선택: 코사인 거리를 사용하는 것이 유클리드 거리나 평균 쌍대 거리보다 더 높은 상관관계를 보였습니다. 이는 고차원 데이터에서 방향성 (각도) 에 집중하는 것이 크기 (Magnitude) 변화 (예: 조명 차이) 에 덜 민감하기 때문입니다.

5. 의의 및 결론 (Significance & Conclusion)

이 연구는 도메인 적응 분야에서 사전 평가 (Pre-evaluation) 의 중요성을 강조합니다.

• 비용 절감: 모든 가능한 소스/모델 조합에 대해 시간 소모적인 도메인 적응 학습을 수행할 필요 없이, PAS 점수만으로 최적의 조합을 빠르게 선별할 수 있습니다.
• 부정적 전이 방지: 부적절한 소스 도메인을 선택하여 성능이 저하되는 부정적 전이 (Negative Transfer) 를 사전에 예방할 수 있습니다.
• 범용성: 현재는 이미지 분류에 집중되어 있으나, 이 프레임워크는 다른 모달리티나 다중 소스 도메인 적응 (Multi-source DA) 으로 확장될 잠재력을 가지고 있습니다.

결론적으로, PAS 는 레이블이 없는 타겟 도메인에서 도메인 적응의 성공 가능성을 사전에 예측하고, 최적의 리소스를 할당하기 위한 강력한 도구로 자리 잡을 수 있습니다.