기술 요약: 학습된 앵커와 화이트닝된 내적을 통한 상대적 표현의 개선

1. 문제 정의

독립적으로 훈련된 신경망 모델들은 회전, 비등방성 스케일링(anisotropic scaling), 평행 이동의 차이로 인해 서로 호환되지 않는 잠재 표현(latent representations)으로 수렴하는 경우가 많습니다. 이는 인코더와 디코더를 재학습 없이 교체할 수 있는 고도로 모듈화된 AI 시스템을 구축하는 데 근본적인 장벽이 됩니다.

**상대적 표현(Relative Representations, RR)**은 절대적 좌표에 의존하는 대신, 공통된 앵커 포인트들과의 유사성을 통해 절대적 임베딩을 공유 공간으로 매핑함으로써 이 문제를 해결합니다. 그러나 표준 RR 구현은 다음과 같은 두 가지 주요 한계점을 가집니다:

1. 무작위 앵커 샘플링(Random Anchor Sampling): 전통적인 방식은 무작위로 샘플링된 데이터 포인트를 앵커로 사용합니다. 이는 종종 데이터 매니폴드(manifold)의 커버리지를 저하시키고, 중복성을 유발하며, 저차원 상대적 특징(low-rank relative features)을 만들어내어 태스크 관련 정보의 손실을 초래합니다.
2. 코사인 유사도(Cosine Similarity): 표준 유사도 메트릭은 각도 관계에만 의ло relies 하며, 크기 정보(feature confidence를 인코딩할 수 있는)를 버리고 트랜스포머와 같은 현대적 아키텍처에서 흔히 나타나는 비등방성 기하 구조를 고려하지 못합니다. 또한 아핀 변환(affine shifts) 및 원점 근처에서 불안정합니다.

이러한 한계는 교차 공간 정렬(cross-space alignment)과 정보 보존을 저해하여, 서로 다른 모델 간의 제로샷 스티칭(zero-shot stitching)을 어렵게 만듭니다.

2. 방법론

저자들은 두 가지 핵심 구성 요소인 PARAM(Adaptive Matrices를 통한 매개변수화된 앵커 표현)과 WIP(Whitened Inner Product)로 구성된 견고한 프레임워크를 제안합니다.

2.1 PARAM: 볼록 혼합으로서의 앵커 학습

앵커를 데이터의 고정된 무작위 샘플 서브셋으로 취급하는 대신, PARAM은 병렬 데이터 포인트들의 **볼록 혼합(convex mixtures)**으로서 앵커를 학습합니다.

• 메커니즘: 공유 혼합 행렬 $P$는 각 인코더 공간 $i$에 대한 앵커 $A_i$를 생성하기 위해 최적화됩니다 ($A_i = P X_{sub}^i$, 여기서 $X_{sub}^i$는 임베딩의 서브셋).
• 제약 조건: $P$는 행-스토캐스틱(row-stochastic)하도록 제약되어, 앵커가 데이터의 볼록 헐(convex hull) 내에 머물도록 보장합니다.
• 이점: 이 접근 방식은 평균화를 통해 노이즈 제거 효과를 제공하여 안정적인 시맨틱 프로토타입을 생성합니다. 또한 데이터 포인트의 이산적 선택이라는 한계를 넘어 잠재 공간 내에서 연속적인 앵커 배치를 가능하게 합니다.
• 학습 목적 함수: 행렬 $P$는 다음의 가중 합산된 손실 함수를 사용하여 최적화됩니다:
  • 단일 공간 목적 함수: 커버리지($L_{cov}$, soft k-means), 직교성($L_{orth}$, 상관관계가 높은 앵커에 페널티 부여), 길이 제어($L_{len}$, 노름(norm) 제약).
  • 다중 공간 목적 함수: 쌍을 이룬 샘플을 사용하여 서로 다른 인코더 간의 상대적 좌표를 정렬하기 위한 대칭적 InfoNCE($L_{symNCE}$).

2.2 WIP: 화이트닝된 내적 (Whitened Inner Product)

독립적으로 훈련된 공간 사이의 기하학적 왜곡(평균 이동 및 비등방성 스케일링)을 해결하기 위해, 저자들은 코사인 유사도를 화이트닝된 내적으로 대체합니다.

• 메커니즘: 각 임베딩 공간에 대해 경험적 평균 $\mu_i$를 제거하고, 공분산 행렬 $\Sigma_i$를 기반으로 대칭 화이트닝 변환 $L_i = (\Sigma_i)^{-1/2}$를 적용합니다.
• 공식: 유사도는 $s_{WIP}(x, a_r^i) = \langle L_i(x - \mu_i), L_i(a_r^i - \mu_i) \rangle$로 정의됩니다.
• 이점: 이 메트릭은 아핀 왜곡에 강건하며(교차 공간 정렬 충족), 각도 정보와 크기 정보를 모두 보존하여(정보 보존 충족) 판별적 신호(discriminative signal)를 위한 데 중요합니다.

3. 주요 기여

1. 학습된 앵커 (PARAM): 앵커를 데이터의 볼록 혼합으로 학습하여, 무작위 샘플링을 대체하고 견고한 시맨틱 커버리지와 공간 간 안정성을 보장하는 방법론입니다.
2. 기하학 인식 유사도 (WIP): 아핀 이동에 불변하며 크기 정보를 보존하는 공분산 인식 유사도 메트릭으로, 현대적 아키텍처의 비등방성을 해결합니다.
3. 통합 프레임워크: 매우 이질적인 아키텍처(예: CNN vs. Transformer, 그리고 다양한 규모의 언어 모델) 간의 제로샷 스티칭 성능을 크게 향상시키는 결합된 접근 방식을 제공합니다.

4. 실험 결과

프레임워크는 무작위 앵커와 코사인 유사도를 사용하는 베이스라인과 비교하여 시각 및 언어 모달리티 전반의 제로샷 스티칭 태스크에서 평가되었습니다.

• 이미지 분류 (CIFAR-100): CNN 기반(RexNet)과 트랜스포머 기반(ViT) 인코더를 스티칭할 때, 제안된 PARAM-WIP 방식은 거의 손실 없는 전이를 달 achieved 했습니다. 예를 들어, ViT 특징으로 분류기를 학습시키고 RexNet 특징으로 테스트했을 때, PARAM Multi는 **80.94%**의 F1 점수를 기록하여 Random-Cosine 베이스라인의 **56.67%**를 크게 상회했습니다. 많은 경우, 제로샷 성능이 원래 잠재 공간의 절대적 성능과 일치했습니다.
• 텍스트 분류 (MARC): 교차 언어 감성 분석(예: 영어, 독일어, 프랑스어, 스페인어, 중국어)에서 프레임워크는 베이스라인보다 일관되게 우수한 성능을 보였습니다. 예를 들어, 프랑스어를 영어 인코더로 스티칭할 때 PARAM Multi는 93.75% F1을 기록하여 Random-Cosine의 **92.06%**보다 높은 성능을 보였습니다.
• 소규모 언어 모델 (SLMs): 다양한 규모의 모델(GPT-2, TinyLlama, Gemma) 간의 제로샷 검색 태스크에서 베이스라인은 극심한 불안정성(R@1 $\approx$ 0.5% - 10%)을 보였습니다. 반면, PARAM-WIP는 R@1 점수 87% ~ 95%, R@5 점수 100% 근접을 달성하여, 매우 다른 은닉 차원을 가진 모델들 사이에서도 안정적인 기하학적 정렬을 입증했습니다.
• 절제 연구 (Ablation Studies): 두 구성 요소가 모두 필요함을 확인했습니다. WIP는 검색 품질을 개선하지만, 학습된 앵커와 결합될 때 정확도 이득이 극대화됩니다. 반대로, 무작위 앵커와 WIP를 결 조합하면 원점 근처의 노이즈 민감도 때문에 무작위 앵커와 코사인 유사도를 사용했을 때보다 성능이 떨어지는 경우가 많았습니다.

5. 의의 및 주장

본 논문은 무작위 샘플링과 각도 투영(코사인 유사도)에 대한 의존이 현재의 상대적 표현 연구, 특히 이질적인 모델 패밀리 사이에서 근본적인 한계임을 주장합니다.

• 강건성: 제안된 프레임워크는 이전에는 호환되지 않았던 인코더들 사이에서 거의 손실 없는 정보 전송과 안정적인 제로샷 통신을 가능하게 합니다.
• 모듈성: 잠재 기하학과 상대적 좌표계 간의 관계를 공식화함으로써, 본 연구는 비용이 많이 드는 재학습 없이 인코더와 디코더를 교체할 수 있는 모듈형 AI 아키텍처를 향한 실질적인 경로를 제공합니다.
• 기하학적 이해: 결과는 크기 정보를 보존하고 아핀 왜곡을 고려하는 것이 현대의 비등방성 임베딩 공간을 정렬하는 데 필수적임을 시사하며, 이는 표준 코사인 유사도가 충족하지 못하는 요구사항입니다.

저자들은 서포트 서브셋의 크기에 따른 표현 능력의 의존성과 화이트닝을 위한 안정적인 공분산 추정의 필요성 등 한계점을 언급했습니다. 향후 연구로는 적응형 서브셋 선택, 구조적 희소성(structured sparsity), 비선형 유사도 함수 탐구를 제안했습니다.