기술 요약: RADAR (표현 간 상대적 각 발산)

문제 제기

현대 기계학습에서 보조 소스 도메인으로 훈련 데이터셋을 확장하는 것은 데이터 제약을 해결하기 위한 표준 전략입니다. 그러나 이러한 관행이 항상 하류 작업의 성능 향상을 보장하는 것은 아니며, 소스 정보를 통합함으로써 오히려 대상 성능을 저하시키는 **부정적 전이 (negative transfer)**로 이어질 수 있습니다. 어떤 소스 도메인이 긍정적인 전이를 가져올지 식별하는 것은 어렵습니다. 이는 각 후보를 경험적으로 평가하려면 비용이 많이 드는 전체 모델 재훈련이 필요하기 때문입니다. 기존 전이성 지표들은 종종 단일 계층의 정적 표현에 의존하거나 대상 데이터셋에 대한 사전 훈련을 요구하여, 모델 계층 전반에 걸친 표현의 동적 구조적 진화를 포착하지 못합니다.

방법론: RADAR

저자들은 RADAR(표현 간 상대적 각 발산, Relative Angular Divergence Across Representations)를 제안합니다. 이는 기초 모델의 **동결된 특징 (frozen features)**만을 사용하여 도메인 간 전이성을 추정하도록 설계된 기하학적 기반 지표입니다. 이 방법은 정적 스냅샷이 아닌 계층별 표현의 진화를 분석하여 작동합니다.

핵심 메커니즘

1. 계층별 궤적 추출: 사전 훈련된 기초 모델 $\Phi$에 대해, 각 계층 $l$에서 중간 특징 표현 $h^{(l)}(x)$을 추출합니다.
2. 기하학적 삼각형 구성: 주어진 앵커 샘플 $x$와 이차 샘플 $x'$ (동일 도메인 내이거나 도메인 간일 수 있음) 에 대해, 계층 $l$과 $l+1$을 spanning 하는 변위 벡터의 기하학적 삼각형을 구성합니다:
   • 분리 (Separation, $v_{sep}$): $h^{(l)}(x)$와 $h^{(l)}(x')$ 사이의 벡터.
   • 우회 (Detour, $v_{detour}$): $h^{(l)}(x')$에서 $h^{(l+1)}(x)$로 가는 벡터.
   • 궤적 (Trajectory, $v_{traj}$): $h^{(l)}(x)$에서 $h^{(l+1)}(x)$로 가는 직접적인 변위.
   • 참고: 해당 논문은 $v_{sep} + v_{detour} = v_{traj}$가 정확히 성립함을 증명합니다.
3. 기술자 계산: 이 방법론은 이러한 삼각형에 대해 두 가지 주요 기술자를 계산합니다:
   • 각 정렬 (Angular Alignment, $\theta$): 분리 벡터와 우회 벡터 간의 코사인 유사도.
   • 상대적 거리 (Relative Distance, $d$): 직접 궤적 대비 2 단계 우회 경로의 정규화된 초과 경로 길이 ($d = \frac{\|v_{sep}\| + \|v_{detour}\| - \|v_{traj}\|}{\|v_{traj}\|}$).
   • 위상적 적응: 이 지표는 초구면 공간 (예: DINO 특징) 에 대해 측지선 거리로 정의될 수 있지만, 저자들은 특히 텍스트의 경우 모달리티 전반에서 가장 견고함이 입증된 유클리드 공간 형식을 채택합니다.
4. 분포 모델링:
   • 이 방법은 도메인 내 (within-domain) 쌍과 도메인 간 (cross-domain) 쌍에 대해 $\theta$와 $d$의 경험적 분포를 계산하기 위해 쌍을 샘플링합니다.
   • 계산적 실현 가능성을 보장하기 위해, 클래스 중심점까지의 거리에 기반하여 쌍에 가중치를 부여하는 층화 샘플링 전략을 사용하여 (내부-내부 및 내부-외부 역동성을 모두 포착) 사용합니다.
   • **가우시안 혼합 모델 (GMMs)**을 이러한 분포에 적합시켜 도메인 내 및 도메인 간 역동성의 연속 확률 밀도를 모델링합니다.
5. 발산 측정: 최종 전이성 점수는 두 GMM 간의 대칭 클루백-라이블러 (KL) 발산에서 유도됩니다. 발산이 낮을수록 구조적 유사성이 높음을 의미하며, 결과적으로 예측된 전이성이 높아집니다.
6. 확장된 궤적: 전체적인 구조적 변화를 포착하기 위해, 이 지표는 계층의 창 (예: $l-6$에서 $l+6$) 에 걸쳐 기술자를 연결하여 GMM 적합 전에 고차원 특징 벡터를 생성합니다.

주요 기여

1. 동적, 계층별 구조적 진화: RADAR는 정적 특징 분포가 아닌 네트워크 계층 전반에 걸친 기하학적 궤적 (각도와 상대적 거리) 의 동적, 연속적 분포 간의 발산을 측정하여 전이성을 평가하는 최초의 지표입니다.
2. 매우 경쟁력 있는 예측 성능: 이 지표는 비전 및 텍스트 벤치마크의 10 가지 구성 중 7 가지에서 상위 3 위 이내의 성능을 달성했으며, 그중 6 가지에서는 절대적인 최상위 성능을 기록했습니다. 이는 LEEP, LogME, NCE, TransRate, S-OTDD 와 같은 최신 기저선 (baselines) 을 일관되게 능가하거나 맞먹습니다.
3. 견고하고 효율적인 추정: 광범위한 제거 실험 (ablation studies) 을 통해 저자들은 RADAR가 하이퍼파라미터 선택 (샘플 크기, 창 반경, 온도) 에 견고하며 계산적으로 효율적임을 입증했습니다. 동결된 특징과 부분 샘플링에 의존하기 때문에 CPU 만이 있는 환경에서도 종종 기저선보다 우수한 성능을 보입니다.

실험 결과

저자들은 RADAR 를 다음과 같이 평가했습니다:

• 비전 모달리티: DomainNet, OfficeHome, PACS 에서 CLIP 및 DINOv3 백본.
• 텍스트 모달리티: EuroEval 및 AmazonReviews 에서 Qwen3-Embedding 및 EmbeddingGemma.

주요 발견:

• 성능: RADAR 는 CLIP 과 DINOv3 모두에서 DomainNet 에 대해, 그리고 CLIP 에 대해 OfficeHome 에 대해 최고의 평균 상관관계 개선 (MCI) 을 달성했습니다. 텍스트 분야에서는 EmbeddingGemma 에 대해 EuroEval 에서 최고의 결과를 기록했으며 (다음으로 가장 좋은 기저선보다 30% 이상 우위), AmazonReviews 에서는 경쟁력 있는 성능을 보였습니다.
• 도메인 분리 영역: RADAR 는 도메인 전환이 매끄러운 (low corruption/separation) 경우나 명확하게 분리된 (high corruption/separation) 경우에 탁월한 성능을 발휘합니다. 도메인이 매끄러운 궤적 정렬을 하기에 충분히 매끄럽지도 않고, 명확한 발산 추정을 하기에 충분히 뚜렷하지도 않은 산재된 비균일 분리를 보이는 "중간" 영역 (예: PACS 데이터셋) 에서는 성능이 저하됩니다.
• 모달리티 차이: 텍스트 표현은 엄격하게 유클리드 공간과 각 특징을 선호하는 반면, 비전 표현은 유클리드 공간과 의사-카테시안 공간 모두에 대해 견고성을 보입니다.
• 손상에 대한 견고성: ImageNet-C 에서 RADAR 는 정적 통계 지표들이 실패한 극단적인 손상 수준 (심각도 5) 에서 예외적인 견고성을 보였으나, 중간 수준의 합성 노이즈 (심각도 3) 에는 취약점이 있었습니다.

중요성과 주장

이 논문은 계층별 기하학적 구조가 정적, 단일 계층 지표들이 포착하지 못하는 의미 있는 전이성 신호를 담고 있다고 주장합니다. 표현이 계층을 거쳐 어떻게 진화하는지의 발산을 측정함으로써, RADAR 는 모델을 재훈련하지 않고도 전이 이득 순위 예측을 위한 원칙적이고 계산적으로 효율적인 방법을 제공합니다.

저자들은 그들의 접근 방식이 **지각적 정렬 가설 (Perceptual Straightening Hypothesis)**과 기초 모델에서 가장 정보량이 풍부한 표현이 항상 최종 계층에 있는 것은 아니라는 관찰에 영감을 받았음을 강조합니다. 그들은 RADAR 가 도메인 이동이 잘 정의된 경우 특히 효과적인 전이 학습 결정을 위한 모달리티 간 통합 프레임워크를 제공한다고 주장합니다. 그러나 그들은 겸손하게 한계를 인정하며, 이 지표의 예측력이 산재되고 중첩된 도메인 구조를 가진 시나리오에서는 저하되며, GMM 에 대한 의존성이 실시간 필터링에 있어 계산 병목 현상을 초래한다고 지적합니다.