기술 요약: 서열 유사성을 이용한 확장 가능하고 해석 가능한 표현 정렬

문제 정의

표현 공간 사이의 유사성을 평가하는 것은 표현 학습(representation learning)의 기초적인 과제로, 모델의 동작을 해석하고 인공 시스템을 인간의 인지 구조와 정렬하며, 전이 학습 또는 생성 모델을 설계하는 데 필수적입니다. 그러나 기존의 유사도 지표들은 세 가지 결정적인 한계를 가집니다:

1. 해석 가능성 부족: 대부분의 지표는 직관적인 의미나 일관된 기준선(baseline) 없이 가공되지 않은 점수만을 제공하므로, 의미 있는 정렬과 가짜 유사성을 구분하기 어렵게 만듭니다.
2. 이상치(Outlier)에 대한 민감도: 현재의 지표들은 종종 강건성(robustness)이 부족합니다. 소수의 극단적인 이상치가 유사도 점수를 크게 변화시켜, 완벽하게 정렬된 표현조차 정렬되지 않은 것처럼 보이게 만들 수 있습니다.
3. 계산 불가능성: 대규모 데이터셋에 대한 정확한 계산은 높은 메모리 및 시간 요구량으로 인해 종종 불가능하며, 이로 인해 이론적 정답성에 대한 경계가 결여된 휴리스틱 근사법에 의존하게 됩니다.

방법론

저자들은 비계량적 다차원 척도법(Non-metric Multidimensional Scaling, NMDS)에서 영감을 받아, 정밀한 명목 거리 값에 의존하는 지표에서 벗어나 강건한 관계적 특성을 강조하는 지표로의 전환을 제안합니다. 핵심 가설은 순서 관계(거리의 순위)를 보존하는 것이 정렬에 필요한 필수적인 구조를 포착한다는 것입니다.

본 논문은 순서 일관성에 기반한 두 가지 주요 지표를 도입합니다:

• 트리플렛 유사도 지수 (Triplet Similarity Index, TSI): 앵커 기반 상대적 유사성의 일관성을 측정합니다. 이는 두 표현 공간 사이에서 "점 $i$가 $j$보다 $k$에 더 가깝다"라는 순서 관계가 보존되는 트리플렛 $(i, j, k)$의 비율을 평가합니다.
• 쿼드러플렛 유사도 지수 (Quadruplet Similarity Index, QSI): 서로소인 쌍(disjoint pairs) 사이의 상대적 유사성 일관성을 측정합니다. 이는 "거리 $(i, j)$가 거리 $(k, l)$보다 작다"라는 관계가 보존되는 쿼드러플렛 $(i, j, k, l)$의 비율을 평가합니다.

이론적 토대

• 확률적 해석: TSI와 QSI는 무작위로 선택된 순서 관계가 보존될 확률로 정의됩니다. 이는 직접적인 의미론적 해석을 제공합니다 (예: TSI가 0.8이라는 것은 80%의 트리플렛이 순위 결정에 동의함을 의미함).
• 불일치에 대한 기준선: 저자들은 통계적으로 독립적인 표현들에 대해 기대 점수가 약 0.5로 수렴함을 증명하여(타이(tie)가 미미하다고 가정할 때), 데이터 크기나 차원에 관계없이 무작위 정렬에 대한 보편적이고 해석 가능한 기준선을 확립했습니다.
• 이웃 동등성: 완벽한 TSI 정렬과 모든 스케일($k=1$부터 $N-2$까지)에 걸친 상호 최근접 이웃(Mutual Nearest Neighbors, MNN) 보존 사이의 공식적인 동등성을 확립했습니다.
• 강건성: 이론적 경계는 TSI와 QSI가 본질적으로 이상치 및 오염에 강건함을 입증합니다. 유사도 점수의 편차는 변형된 점들의 비율에 의해 제한되므로, 희소한 이상치가 지표를 불균형하게 변화시킬 수 없습니다.
• 메트릭 공리: 보완 거리($1 - \text{TSI}$ 및 $1 - \text{QSI}$)가 적절한 메트릭(거리 함수)의 공리(동등성, 대칭성, 삼각 부등식)를 만족함을 증명했습니다.

계산 효율성

단순한 구현은 $O(N^3)$ 및 $O(N^4)$의 시간을 요구할 수 있지만, 저자들은 켄달 순위 상관계수(Kendall rank correlation coefficient)와의 연결 고리를 활용하여 효율적인 알고리즘을 개발했습니다:

• 정확한 계산: TSI는 $O(N^2 \log N)$ 시간과 $O(N)$ 공간 내에서 계산될 수 있으며, QSI는 $O(N^2 \log N)$ 시간과 $O(N^2)$ 공간 내에서 계산될 수 있습니다.
• 확장 가능한 근사: 유계된 U-통계량(bounded U-statistics)으로서, TSI와 QSI는 원칙적인 몬테카를로 근사를 허용합니다. 소수의 트리플렛이나 쿼드러플렛을 샘플링함으로써, 데이터셋 크기 $N$에 독립적인 시간 내에 오차 $\epsilon$과 신뢰도 $1-\delta$로 지표를 추정할 수 있습니다.

주요 기여

1. 순서 유사도 정식화: 상대적 유사성 및 거리 비교의 일치에 기반한 TSI와 QSI를 공식화했습니다.
2. 이론적 해석 가능성: 직접적인 확률적 해석과 안정적인 보편적 기준선($\approx 0.5$)의 확립을 통해 이론적 해석 가능성을 입증했습니다.
3. 이웃 일관성과의 연결: 완벽한 TSI 정렬이 모든 스케일에서의 공동 상호 최근접 이웃 정렬과 동등함을 증명했습니다.
4. 보장된 강건성: 기존의 CKA와 같은 지표들이 가진 취약성을 해결하며, 이상치 및 오염에 대한 강건성을 보장하는 이론적 경계를 제시했습니다.
5. 계산 확장성: 효율적인 정확한 알고리즘과 이론적 오차 경계가 있는 원칙적인 근사 기법을 제공하여, 대규모 데이터셋에 적용 가능하게 했습니다.
6. 실험적 검증: 훈련 중 표현 수렴 추적 및 CLIP 모델의 멀티모달 정렬 평가를 포함한 다양한 시나리오를 통해 검증을 완료했습니다.

실험 결과

저자들은 다음과 같은 실험을 통해 제안된 지표를 검증했습니다:

• 일관된 기준선: 통계적으로 독립적인 표현들을 사용한 테스트에서, TSI와 QSI는 샘플 크기와 차원이 변해도 0.5 근처에서 안정적인 점수를 유지했습니다. 반면, CKA, SVCCA, PWCCA와 같은 지표들은 이러한 파라미터에 높은 민감도를 보였으며, 독립적인 데이터에 대해서도 완벽에 가까운 정렬 점수를 산출하기도 했습니다.
• 이상치 강건성: 2%의 데이터 포인트를 점진적으로 강한 이상치로 변형했을 때, TSI와 QSI는 이론적 하한선을 준수하며 매우 안정적인 모습을 보였습니다. 반대로, 이웃 기반 지표(MutualNN, CKNNA)와 커널 기반 지표(CKA)는 이상치로 인해 유도된 "허브 현상(hubness effect)" 때문에 점수가 거의 0으로 급락했습니다.
• 근사 품질: TSI와 QSI를 위한 원칙적인 샘플링 근사는 무시할 만한 편차와 함께 빠르고 단조적인 수렴을 보여주었으며, 이는 다른 지표에서 사용되는 표준 배치 근사법을 크게 능가했습니다.
• 실제 응용:
  • 훈련 역학: TSI와 QSI는 CIFAR-10에 대한 Vision Transformer(ViT) 훈련 중 표현의 수렴을 정확하게 추적하였으며, 동일한 시드로 훈련된 모델(1.0으로 수렴)과 서로 다른 시드로 훈련된 모델(완전하지 않은 정렬로 수렴)을 구분해 냈습니다.
  • 멀티모달 정렬: 다양한 규모의 CLIP 모델을 평가할 때, TSI와 QSI는 정렬의 단조적 증가를 정확하게 포착했습니다. 특히, CKA는 임베딩 차원이 다른 모델로 전환할 때 점수가 떨어지는 역설적인 동작을 보이며 차원 변화에 대한 민감성을 드러냈습니다.

의의

본 논문은 TSI와 QSI가 엄격하고, 확장 가능하며, 이론적 근거가 확실한 표현 정렬 프레임워크를 제공한다고 주장합니다. 거리의 절대값 대신 거리의 순서에 우선순위를 둠으로써, 이 지표들은 다음을 제공합니다:

• 해석 가능성: 점수가 명확한 확률적 의미와 안정적인 기준선을 가지므로, 실무자는 사례별 캘리브레이션 없이도 정렬 품질을 판단할 수 있습니다.
• 강건성: 희소한 이상치나 오염에 대해 이론적으로 강건함이 보장되며, 이는 현재의 최첨단 지표들이 갖지 못한 특성입니다.
• 확장성: 효율적인 정확한 계산이나 보장된 오차 경계를 가진 근사법을 통해, 기존 방법들이 실패하거나 신뢰할 수 없는 휴리스틱을 요구하는 현대의 대규모 데이터셋에도 적용 가능합니다.

저자들은 결론적으로, 순서 유사성이 실무자들이 표현을 더 잘 이해하고 설계할 수 있도록 돕는 강력한 도구이며, 해석 가능성 문제, 취약성, 계산적 제약으로 고통받는 기존 지표들에 대한 신뢰할 수 있는 대안임을 밝히고 있습니다.