기술 요약: 추론 모델이 임베딩 모델을 향상시키는가?

문제 제기

최첨단 텍스트 임베딩 모델은 점차 디코더 전용 대규모 언어 모델(LLM)을 대조 학습(contrastive learning)을 통해 적응시키는 방식으로 구축되고 있습니다. 이와 동시에, 검증 가능한 보상(RLVR)을 통한 강화 학습을 통해 복잡한 문제 해결 능력을 달성하도록 훈련된 새로운 클래스의 "추론 모델"이 등장했습니다. 여기서 자연스러운 가설이 제기됩니다: RLVR로 튜닝된 모델의 향상된 추론 능력이 이 모델들이 임베딩 작업의 백본(backbone) 역할을 할 때 더 우수한 의미론적 표현 공간(semantic representation space)으로 전이되는가 하는 점입니다. 직관적으로, 더 깊게 "생각하는" 모델은 의미론적 관계를 더 효과적으로 구조화할 것입니다. 그러나 초기 경험적 관찰은 역설적인 현상을 시사합니다: RLVR 튜닝된 백본으로부터 초기화된 임베딩 모델은 대조 학습 후 베이스 모델으로부터 초기화된 모델과 통계적으로 동일한 성능을 보이지만, 정성적인 추론 작업에서는 뛰어난 도약을 보여준다는 것입니다.

방법론

이 역설을 해결하고 이러한 표현의 내부 역학을 진단하기 위해, 저자들은 표현 유사도 분석(RSA)을 확장한 프레임워크인 **계층적 표현 유사도 분석(Hierarchical Representation Similarity Analysis, HRSA)**을 도입합니다. HRSA는 각기 특정 불변성을 가진 세 가지 중첩된 추상화 수준으로 모델 유사도를 분해합니다:

1. 표현 수준(Representation Level): 좌표 기저(coordinate basis)와 특징 대응(feature correspondence)에 집중합니다. 지표로는 차원별 상관관계(축 정렬된 특징 매칭 테스트)와 직교 프로크루스테스 분석(직교 변환을 통한 전역 선형 등가성 테스트)이 포함됩니다. 이 수준은 좌표계의 회전 및 치환에 민감합니다.
2. 기하학 수준(Geometry Level): 좌표 기저의 변화에는 불변하지만 변형(deformation)에는 민감한 잠재 매니폴드(latent manifold)의 형상에 집중합니다. 전역 기하학을 위한 **선형 중심 커널 정렬(Linear CKA)**과 국소 기하학 보존을 위한 k-최근접 이웃(k-NN) 중첩이 지표로 사용됩니다.
3. 기능 수준(Function Level): 입력-출력 매핑 및 다운스트림 태스크 해결 가능성에 집중합니다. 이는 한 모델에서 훈련된 선형 판독기(linear readout)를 다른 모델에 테스트하여 동일한 결정 경계가 표현 간에 유효한지 확인하는 **교차 모델 선형 프로브(Cross-Model Linear Probes)**를 통해 평가됩니다.

실험 설정:
저자들은 베이스 LLM($M_{base}$)과 그 RLVR 튜닝된 추론 대응 모델($M_{reason}$)을 비교하는 체계적인 벤치마킹 연구를 수행했습니다. 이들은 동일한 아키텍처와 대조 학습 레시피(InfoNCE 손실)를 사용하여 다양한 백본 쌍을 임베딩 모델($M_{Emb}^{base}$ 및 $M_{Emb}^{reason}$)로 미세 조정했습니다. 평가는 MTEB(다국어 및 코드)와 BRIGHT 벤치마크를 통해 수행되었습니다. 본 연구는 최적화 전략의 차이를 강조하기 위해 지도 미세 조정(SFT)된 모델을 대조군으로 포함했습니다.

주요 결과

1. 임베딩 성능에 대한 무효 효과(Null Effect)

향상된 추론이 임베딩을 개선한다는 가설과 달리, 결과는 무효 효과를 보여줍니다. RLVR 튜닝된 백본으로부터 초기화된 임베딩 모델은 모든 벤치마크(MTEB 다국어, MTEB 코드, BRIGHT)에서 베이스 모델으로부터 초기화된 모델과 성능적 동등성을 달립니다. 성능 격차($\Delta$)는 거의 제로에 가까운 반면, SFT 튜닝된 백본은 상당한 편차를 보입니다.

2. HRSA 결과: 매니폴드 재정렬(Manifold Realignment)

HRSA는 RLVR과 SFT 사이의 뚜렷한 구조적 동작을 밝혀냅니다:

• 표현 수준: RLVR은 좌표 기저를 주로 보존합니다. 차원별 상관관계는 높게 유지되며, 직교 프로크루스테스 분석은 치환 행렬에 가까운 행렬을 생성합니다(낮은 특징 혼합). 반면, SFT는 특징의 파괴적인 혼합을 유발합니다.
• 기하학 수준:
  • 전역 기하학: RLVR은 근등거리 변환(near-isometric transformation)으로서 잠재 매니폴드의 전역적 형상을 보존합니다(높은 Linear CKA).
  • 국소 기하학: RLVR은 가역 불가능한 재구성(moderate k-NN overlap)을 유도하며, 이는 전역적인 의미 지도를 변경하지 않으면서 추론 단계의 재클러스터링이 일어남을 시사합니다.
• 기능 수준: 교차 모델 선형 프로브는 강력한 전이성을 보여주며, 이는 태스크 관련 선형 판독 방향이 RLVR 하에서도 안정적으로 유지됨을 나타냅니다.

3. 매니폴드 재정렬 현상

핵심 발견은 **매니폴드 재정렬(Manifold Realignment)**입니다. RLVR 튜닝된 백본이 대조 학습을 통해 임베딩 모델로 적응될 때, 훈련 과정은 베이스 초기화 모델과 추론 초기화 모델 사이의 강력한 정렬을 유도합니다. 이 재정렬은 장기간의 RLVR 훈련에서 관찰되는 가역적인 좌표 기저 드리프트를 효과적으로 교정하여, 구별 불가능한 최종 임백딩 공간을 만들어냅니다.

주요 기여

1. 체계적 벤치마킹: 현재의 RLVR 방식이 추론 작업에서의 성공에도 불구하고, 임베딩 모델의 품질을 본질적으로 향상시키지는 못한다는 것을 입증한 최초의 통제된 비교 연구입니다.
2. HRSA 프레임워크: 좌표 기저 드리프트, 매니폴드 기하학 변화, 기능적 판독 안정성을 분리하는 통합된 계층적 진단 도구(표현, 기하학, 기능)를 제공합니다. 이 프레임워크는 향후 해석 가능성 연구를 위한 툴킷을 제공합니다.
3. 매니폴드 재정렬의 발견: RL-VR이 기존의 의미론적 풍경을 근본적으로 재구조화하기보다는 그 안에서의 **궤적 최적화(trajectory optimization)**로 기능한다는 점을 식별했습니다. 구체적으로, RLVR은 전역 기하학과 선형 판독을 보존하면서 국소적 이웃을 재구성하며, 이후의 대조 학습은 매니폴드를 재정렬하기 위해 가역적 드리프트를 덮어쓸 수 있습니다.

의의 및 주장

본 논문은 RLVR이 기존의 의미론적 풍경을 근본적으로 재구조화하기보다는 그 안에서의 궤적 최적화로 작동한다고 주장합니다. SFT가 파괴적인 혼합과 전역적 재구조화를 일으킬 수 있는 것과 달리, RLVR은 사전 훈련 중에 확립된 풍부한 세계 지식과 전역적 의미 관계를 보존하면서 잠재 매니폴드를 가로지르는 모델의 정책을 정교화합니다.

저자들은 RLVR 모델의 "향상된 추론"이 전역적인 좌표계와 선형 판독 방향을 거의 그대로 둔 채, 국소적 기하학(인접한 상태들이 서로 관계 맺는 방식)을 재구성하고 결정 궤적을 최적화함으로써 달성된다고 상정합니다. 결과적으로, 전역적 의미 유사성(임베딩 및 검색과 같은 태스크)에 의존하는 작업에서 RLVR의 이점은 더 우수한 임베딩 공간으로 나타나는 것이 아니라, 베이스 모델의 표현적 백본을 견고하게 보존하는 것으로 나타납니다. 이 논문은 이러한 "매니폴드 재정렬"이 텍스트를 넘어 시각 및 오디오 분야로 확장될 수 있는 일반적인 현상일 수 있음을 시사하며, 기하학 인지적 규제(geometry-aware regularization)가 결합된 SFT를 통해 유사한 동작을 달성할 수 있을 것이라고 제안합니다.