Anisotropy Decides Cosine vs. Rank Metrics for Text Embeddings

기술 요약: 이방성(Anisotropy)이 텍스트 임베딩의 코사인 vs. 순위 메트릭을 결정한다

문제 정의

텍스트 임베딩을 비교하는 표준 방법은 코사인 유사도이다. 그러나 다양한 문헌에서는 특정 설정에서 코사인보다 더 나은 성능을 보이는 대안적 메트릭(예: 유클리드 거리, 타니모토 계수, 순위 기반 척도 등)이 존재한다고 주장해 왔다. 이러한 연구들은 언제 비코사인 메트릭이 더 우수한지, 혹은 왜 그러한 차이가 발생하는지를 결정하는 명확한 기하학적 조건을 확립하지 못했다. 본 연구가 다루는 핵심 질문은 다음과 같다: 주어진 인코더와 태스크에 대해, 파라미터가 없는 단순한 메트릭이 코사인보다 더 나은 성능을 낼 수 있는가? 그리고 어떤 속성이 이 결과를 제어하는가?

연구 방법론

저자들은 다음을 포함하는 포괄적인 경험적 연구를 수행하였다:

• 인코더: 컴팩트한 문장 트랜스포머(예: MiniLM, MPNet)부터 대규모 언어 모델(Qwen, Mistral, GPT-2를 포함하여 최대 7B 파라미터)에 이르기까지 19개의 서로 다른 인코더. 이 세트에는 검색을 위해 대조 학습(contrastive objectives)으로 미세 조정된 모델과 미세 조정 없이 사용된 베이스 언어 모델이 모두 포함된다.
• 메트릭: 기존 문헌에서 추출한 19개의 파라미터가 없는 유사도 메트릭으로, 다음과 같이 분류된다:
  • 각도/내적 기반 (코사인, 내적, 타니모토, 다이스 등)
  • 민코프스키/거리 기반 (L1, L2, L∞, 분수 Lp, 캔버라, 브레이-큐리스)
  • 정보 기하학 기반 (젠슨-샤논, 헬린거, 바타차리아)
  • 순위 기반 (스피어먼 순위 상관계수)
• 데이터셋: 세 가지 태스크 유형에 걸친 7개의 데이터셋: 의미적 유사성(STS-B, SICK-R, STS16), 패러프레이즈 탐지(Quora, PAWS), 추론(SNLI, MultiNLI).
• 평가: 순위 태스크에는 스피어먼 순위 상관계수를, 이진 분류 태스크에는 ROC-AUC/PR-AUC를 사용하여 성능을 측정하였다. 캘리브레이션(Calibration)도 평가되었다.
• 기하학적 분석: IsoScore, 참여 비율(participation ratio), 그리고 특히 로그-차원 지배력(rogue-dimension dominance)(가장 지배적인 단일 차원이 보유한 총 분산의 비율)과 같은 메트릭을 사용하여 임베딩 공간의 "형태"를 측정하였다.
• 인과 관계 테스트: 이방성이 상관관계가 아닌 원인인지 확인하기 위해, 저자들은 상위 주성분을 투영하여 제거하는 "all-but-the-top" 기법을 통해 성능을 재평가하는 "제거 테스트(removal test)"를 수행하였다.

주요 결과

본 연구는 임베딩 공간의 기하학적 특성, 즉 이방성(소수의 지배적인 방향으로 분산이 집중되는 현상)에 따른 명확한 성능 분리를 밝혀냈다.

1. 잘 퍼져 있는(등방성, Isotropic) 인코더:

   • 분산이 고르게 퍼져 있는 인코더(일반적으로 BGE, E5, MPNet와 같은 대조 학습된 문장 트랜스포머)의 경우, 코사인 유사도가 가장 좋은 파라미터 없는 선택지이다.
   • 대안 메트릭들은 유의미한 차이를 보이지 않았다(스피어먼 상관계수에서 평균 약 0.001의 이득).
   • 제안된 많은 "대안들"(예: 각도 유사도, 상관 유사도)은 벡터가 정규화되었을 때 코사인과 수학적으로 동일하며, 단지 동일한 순위를 재스케일링할 뿐이다.

2. 밀집된(이방성, Anisotropic) 인코더:

   • 분산이 몇 개의 지배적인 방향으로 집중되는 인코더(일반적으로 대조 학습 없이 사용되는 GPT-2, RoBERTa, Qwen과 같은 베이스 언어 모델)의 경우, 코사인 유사도는 성능이 저하된다.
   • 순위 기반 및 L1 유형의 메트릭(맨해튼, 캔버라, 브레이-큐리스)이 코사인보다 명확한 차이로 앞선다(스피어먼 상관계수에서 평균 약 0.055의 이득).
   • 이는 GPT-2와 같은 극단적인 사례에서는 최대 59%, 평균적으로는 약 20%의 상대적 개선을 의미한다. 이는 코사인이 이러한 모델에서 낮은 베이스라인에서 시작하기 때문이다.

3. 결정적 요인:

   • 결과는 훈련 목적 함수가 아니라 임베딩 공간의 기하학에 의해 결정된다.
   • 로그-차원 지배력(가장 큰 단일 차원의 분산 비율)은 대안 메트릭의 성능 이득을 0.86의 순위 상관계수와 0.95의 선형 상관계수로 예측한다.
   • 훈련 목적 함수(대조 학습 vs. 일반 학습)가 기하학과 상관관계를 갖는 경우가 많지만, 그것이 직접적인 원인은 아니다. 예를 들어, 코사인 목적 함수로 학습된 E5-Mistral은 여전히 이방성을 띠며 대안 메트릭의 이득을 얻는 반면, 일반 모델인 다국어 BERT는 잘 퍼져 있으며 대안의 이득이 없다.

4. 메커니즘:

   • 코사인 유사도는 L2-정규화된 내적이다. 단일 방향이 분산의 거대한 몫을 차지할 때, 이 방향이 내적을 지배하여 관련 없는 벡터들도 서로 유사해 보이게 만든다(각도가 0으로 수렴함).
   • 순위 기반 메트릭은 좌표의 크기를 무시하고 오직 순서에만 집중하며, L1 유형의 메트릭은 절대 차이의 합을 구함으로써 단일 좌표의 거대한 값이 계산을 지배하는 것을 방지한다.

검증 및 인과적 증거

이방성이 원인임을 확인하기 위해, 저자들은 임베딩에서 상위 주성 방향들을 제거하였다:

• 밀집된 인코더의 경우: 상위 10개 방향을 제거했을 때 코사인 성능이 크게 회복되었으며(평균 스피어먼 0.32에서 0.42로), 대안 메트릭의 이점은 거의 사라졌다.
• 잘 퍼져 있는 인코더의 경우: 동일한 제거 작업이 코사인 성능을 약간 저하시켰으나(해당 방향들이 신호를 보유하고 있었기 때문), 메트릭의 이점에는 변화를 주지 않았다(이점은 여전히 0에 가까웠음).
• 대조군: 상위 방향 대신 무작위 방향을 제거했을 때는 동일한 회복이 나타나지 않았으며, 이는 효과가 지배적인 방향에 특이적임을 확인시켜 준다.

의의 및 주장

본 논문의 주요 기여는 새로운 메트릭이나 모델이 아닌 **진단 규칙(diagnostic rule)**을 제시하는 것이다.

• 실무적 가이드: 대부분의 배포된 시스템(대개 잘 퍼져 있는 미세 조정된 임베더를 사용함)의 경우, 코사인 유사도가 여전히 올바른 파라미터 없는 선택지이다. 이 시나리오에서 메트릭을 바꾸는 것은 미미한 이득만을 줄 뿐이다.
• 리스크 식별: 미세 조정 없이 원시 또는 지시어 튜닝된 언어 모델 임베딩을 사용하는 사용자(검색 또는 클러스터링 파이프라인에서 미세 조정을 건너뛰는 경우 흔함)의 경우, 코사인이 신뢰할 수 없을 수 있다.
• 실행 가능한 점검: 실무자는 자신의 인코더가 이방성인지 판단하기 위해 단일 수치(로그-차원 지배력)를 계산할 수 있다. 만약 이 값이 높다면, 대안적인 순위 기반/L1 메트릭을 사용하거나, 코사인의 효과를 복구하기 위해 지배적인 차원을 제거해야 한다.
• 통합: 본 연구는 두 가지 주장(코사인이 최고다; 대안이 더 낫다)이 모두 특정 인코더의 기하학적 상태에 따라 옳다는 것을 보여줌으로써 기존의 상충하는 문헌들을 해결한다.

저자들은 절대적인 이득(약 0.05 스피어먼)에 대해 겸손함을 유지하며, 이것이 이방성 모델의 낮은 베이스라인에 비해서는 유의미하지만, 이 방식이 원시 LLM 임베딩을 잘 퍼져 있는 미세 조정된 임베더의 수준으로 끌어올리는 것은 아니라고 강조한다. 이 연구는 임베딩 공간의 기하학적 역할과 비교 메트릭의 역할을 분리하여 설명한다.