Locality-aware Private Class Identification for Domain Adaptation with Extreme Label Shift

기술 요약: 극단적 레이블 시프트를 위한 도메인 적응 시 국소성 인지 사적 클래스 식별

문제 정의
비지도 도메인 적응 (UDA) 은 일반적으로 소스 도메인과 타겟 도메인이 동일한 레이블 공간을 공유하는 폐쇄형 시나리오를 가정합니다. 그러나 실제 응용 분야에서는 레이블 공간이 이질적인 "극단적 레이블 시프트"가 종종 발생합니다. 이는 두 가지 주요 시나리오로 나타납니다: 타겟 도메인에 소스에 없는 사적 클래스가 포함된 개방형 도메인 적응 (OSDA) 과, 소스 도메인에 타겟에 없는 사적 클래스가 포함된 부분 도메인 적응 (PDA) 입니다.

이러한 시나리오에서의 핵심 과제는 "사적 클래스 식별"입니다. 기존 방법들은 일반적으로 사적 클래스의 의미적 시프트가 공유 클래스의 도메인 시프트보다 일관되게 크다는 가정에 의존하여 사적 샘플을 이상치로 취급합니다. 저자들은 이 가정이 실제 상황에서는 종종 위반된다고 주장합니다. 단일 공유 클래스 내의 분산이 사적 클래스와 다른 공유 클래스 간의 간격보다 클 수 있기 때문입니다. 결과적으로 기존 방법들은 사적 샘플을 신뢰성 있게 구별하지 못해 부정적 전이 (negative transfer) 와 불일치를 초래합니다.

방법론
본 논문은 국소성 인지 사적 클래스 식별을 중심으로 한 새로운 프레임워크와 ReOT(Reliable OT-based method) 라는 신뢰성 있는 전이 모델을 제안합니다.

1. 마스크 최적 수송 (MOT) 을 통한 국소성 인지 식별:

   • 저자들은 전역적 시프트는 모호할 수 있지만, 국소적 공간 구조는 유지된다고 관찰합니다. 공유 클래스 군집의 국소적 이웃 내에서 공유 샘플 간의 거리는 공유 샘플과 사적 샘플 간의 거리보다 일관되게 작습니다.
   • 이 국소적 구조를 특성화하기 위해 **마스크 최적 수송 (MOT)**을 활용합니다. 예측 레이블이 동일한 샘플 간에만 수송이 발생하도록 비용 행렬에 마스크 행렬을 적용합니다.
   • 수송 질량 기반 점수 함수를 유도합니다. MOT 의 이론적 속성에 기반하여, 공유 클래스 소스에서 사적 클래스 샘플로 수송되는 총 질량은 공유 클래스 샘플로 수송되는 질량보다 현저히 작습니다.
   • 점수 $s(z')$를 $1/m - \sum \Gamma^*_{ij}$로 정의합니다. $s(z') > 0$(또는 마진을 초과) 인 샘플은 사적으로 식별되고, $s(z') < 0$인 샘플은 공유 클래스로 식별됩니다. 이 접근법은 전역 이상치 가정에 의존하지 않고 국소적 공간 가정 하에서 공유 및 사적 샘플의 분리를 이론적으로 보장합니다.

2. ReOT 프레임워크:

   • 신뢰성 있는 전이 손실 ($L_{rt}$): 사적 및 공유 샘플이 식별되면, ReOT 는 공유 클래스에 대한 도메인 간 클래스 내 거리를 최소화하면서 공유 클래스와 사적 클래스 간의 거리는 최대화합니다. 이는 식별된 공유 집합 내에서만 조건부 분포를 정렬하기 위해 MOT 의 수송 계획을 사용하여 달성됩니다.
   • 위험 최소화 ($L_{cls}$): 모델은 소스 도메인과 타겟 (또는 PDA 의 경우 소스) 도메인의 식별된 사적 샘플 모두에서 경험적 분류 위험을 최소화합니다.
   • 바리센터 재구성 손실 ($L_{br}$): 표현을 더 정제하기 위해, 모델은 수송 계획 (바리센터 맵) 을 사용하여 타겟 표현을 소스 도메인으로 매핑하고 재구성 손실을 최소화합니다. 이는 부드러운 감독을 제공하여 타겟 샘플을 해당 클래스 프로토타입 쪽으로 밀어냅니다.
   • 최종 목적 함수는 이러한 손실들을 결합합니다: $L = L_{cls} + \eta_1 L_{rt} + \eta_2 L_{br}$.

3. 이론적 분석:

   • 본 논문은 극단적 레이블 시프트 시나리오에 대한 타겟 위험의 일반화 상한을 제공합니다. 이 상한은 오차를 소스 위험, 최대 예측 오차, 레이블 분포 불일치, 그리고 공유 조건부 간격과 관련된 항들로 분해합니다.
   • 저자들은 ReOT 가 소스 위험을 줄이고, 조건부 분포를 정렬하여 (공유 조건부 간격 감소), 사적 클래스를 효과적으로 식별하여 해당 특정 샘플의 오차를 최소화함으로써 이 상한을 최소화함을 증명합니다.

주요 기여

• 국소성 인지 식별: MOT 수송 질량에서 유도된 점수 함수를 사용하여 사적 클래스를 식별하는 새로운 방법. 이는 국소적 공간 구조를 활용하여 비현실적인 전역 이상치 가정을 완화합니다.
• 이론적 보장: 점수 함수가 공유 및 사적 샘플을 구별할 수 있음을 보여주는 이론적 증명과, ReOT 가 최소화하는 것으로 입증된 극단적 레이블 시프트 시나리오에 대한 일반화 오차 상한.
• 통합 프레임워크 (ReOT): 어느 도메인이 사적 클래스를 포함하는지에 따라 수송 방향과 마스크 정의를 동적으로 조정하여 OSDA 와 PDA 설정 모두를 처리할 수 있는 단일 알고리즘.
• 실증적 검증: Image-CLEF, Office-31, Office-Home, VisDA-2017 의 네 가지 벤치마크 데이터셋에 대한 광범위한 실험을 통해 OSDA 및 PDA 설정 모두에서 ANNA 및 MRJT 와 같은 최첨단 방법보다 우수한 성능을 입증했습니다.

실험 결과

• OSDA 성능: Image-CLEF, Office-31, Office-Home 에서 ReOT 는 대부분의 작업에서 가장 높은 조화 평균 ($H$) 정확도를 달성하여 ANNA 및 MRJT 와 같은 SOTA 방법들을 능가했습니다. 예를 들어, Image-CLEF 에서 ReOT 는 평균 $H$가 84.4% 로 ANNA 보다 1.5% 높았습니다.
• PDA 성능: ReOT 는 Office-Home 과 VisDA-2017 에서 견고한 성능을 보여주었으며, Office-Home 에서 78.7% 의 최고 평균 정확도를 달성하고 다른 방법들이 크게 저하된 까다로운 VisDA-2017 데이터셋에서도 높은 성능을 유지했습니다.
• 애블레이션 연구: 전이 손실 ($L_{rt}$) 또는 재구성 손실 ($L_{br}$) 을 제거하면 성능이 저하되어 클래스 조건부 정렬과 바리센터 재구성의 필요성이 확인되었습니다.
• 식별 효율성: 사적 클래스 식별 방법은 OSDA 에서 약 88.2%, PDA 에서 95.6% 의 사적 샘플을 데이터셋 전반에 걸쳐 성공적으로 식별했습니다.
• 견고성: 이 방법은 다양한 하이퍼파라미터 설정과 비용 함수 선택 (제곱 유클리드 거리 대 판별기 기반) 에서 안정적으로 유지되었습니다.

의의 및 주장
본 논문은 ReOT 가 전역 이상치 탐지에서 국소적 공간 구조 특성화로 초점을 이동시킴으로써 기존 사적 클래스 식별 방법의 근본적인 한계를 해결한다고 주장합니다. 마스크 최적 수송의 속성에 기반하여 식별 과정을 이론적으로 정립함으로써, 사적 클래스가 뚜렷한 이상치가 아닐지라도 방법의 신뢰성을 보장합니다.

저자들은 ReOT 가 OSDA 와 PDA 를 위한 통합 솔루션을 제공하며, 대칭적이지만 종종 별도로 취급되는 두 시나리오 간의 간극을 메운다고 주장합니다. 이론적으로 제안된 일반화 상한은 이질적 레이블 공간에서의 오차 분해에 대한 새로운 관점을 제공하며, 상한을 최소화하려면 정확한 사적 클래스 식별과 조건부 분포 정렬이 모두 필요함을 보여줍니다. 실증적으로, 결과는 ReOT 가 사적 샘플 인식과 공유 클래스 성능 보존 사이의 더 나은 균형을 달성하여 실제 세계의 극단적 레이블 시프트 시나리오에서 더 견고한 도메인 적응을 이끌어냄을 검증합니다.

본 논문은 ReOT 가 단일 소스/단일 타겟 시나리오에 효과적이지만, 향후 연구는 프레임워크를 다중 소스, 다중 타겟, 그리고 소스 프리 설정으로 확장할 수 있음을 겸손하게 언급하며 결론을 맺습니다.