기술 요약: 다국어 해석 가능성 방법론의 체계적 비교를 통한 이방성(Anisotropy) 기반 실패 사례 연구

문제 정의

다국어 언어 모델(MLM)은 명시적인 정렬 감독 없이도 공유된 교차 언어 표현을 발달시킨다. 다양한 해석 가능성 방법론들이 이러한 공유 정도를 정량화할 수 있다고 주장하지만, 이들은 대개 독립적으로 개발되어 왔다. 결과적으로, 서로 다른 지표들이 모델의 공유 정도에 대해 상충하는 결론을 내릴 때, 이것이 실제 아키텍처의 차이를 반영하는 것인지 아니면 측정 기법 자체의 인위적인 산물인지가 불분명하다.

핵심적인 혼란 변수는 **표현의 이방성(Representational Anisotropy)**이다. 이는 문맥적 임베딩이 임베딩 공간에 등방적으로 퍼져 있기보다는 좁은 원뿔 형태의 영역을 점유하려는 경향을 의미한다. 이러한 기하학적 구조는 벡터 간의 겉보기 유사성을 부풀리고, 유의미한 변동성을 저차원 부분 공간으로 국한시킨다. 본 논문은 기존의 공유 지표들이 이러한 왜곡에 강건한지, 아니면 진정한 교차 언어적 정렬을 측정하는 대신 이방성을 측정하고 있는 것인지를 조사한다.

방법론

저자들은 5개의 서로 다른 제품군(BLOOM, OPT, XGLM, Qwen3, SmolLM3)에서 125M에서 14B 파라미터에 이르는 21개의 베이스 모델을 대상으로 4가지 대표적인 공유 지표를 체계적으로 비교하였다. 표현 분석에는 FLORES-200 devtest 세트(10개 언어)를 사용하였고, 기능적 검증을 위해 5가지 다운스트림 태스크(Belebele, XNLI, XCSR, SIB-200, XQuAD)를 활용하였다.

평가된 4가지 지표

1. CKA (Centered Kernel Alignment): 교차 언어 표현 행렬 간의 전역적 기하학적 유사성을 측정한다.
2. ANC (Average Neuron Correlation): 병렬 문장에 대한 활성화 값의 피어슨 상관계수를 통해 뉴런 단위의 정렬을 측정한다.
3. $\lambda$ (GMM Dominance per Token): PCA 부분 공간(변량의 98%를 유지) 내에서 가우시안 혼합 모델(GMM)을 적합시키고, 토큰이 자신의 언어보다 외국어 성분에 속할 확률이 더 높은 비율을 계산한다.
4. ILO (Interlingual Local Overlap): 전체 은닉 상태 공간에서의 $k$-최근접 이웃($k=5$)을 사용하는 이웃 기반 지표로, 언어 간의 브릿지 및 도달 가능성 점수를 측정한다.

실험 프레임워크

• 기능적 검증: 저자들은 각 지표를 (영어로 파인튜닝된 후의) 제로샷 교차 언어 전이 성능과 상관관계 분석하였다.
• 통계적 통제: 단순한 관계와 혼란 변수를 구분하기 위해 스피어먼 순위 상관계수, 부분 상관계수(모델 크기 통제), 그리고 순열 검정(가족 내 셔플링)을 사용하였다.
• 이방성 진단: 이방성의 정도를 정량화하기 위해 유효 차원($n_{pca}$)과 평균 무작위 코사인 유사도를 측정하였다.
• 프로빙(Probing): 언어 정체성이 어디에 인코딩되는지 찾기 위해 전체 은해 상태, PCA 주성분 부분 공간, 그리고 잔차(residual) 부분 공간에 대해 언어 프로브를 학습시켰다.

주요 결과

1. 세 가지 뚜렷한 공유 패턴

분석 결과, 이진 분류가 아닌 세 가지 뚜렷한 교차 언어 공유 패턴이 드러났다:

• 집중된 공유 (Concentrated Sharing - BLOOM $\ge$1B, Qwen3, SmolLM3): 높은 $\lambda$와 ILO를 보이며, 변량이 피크 레이어에서 단 2개의 차원($n_{pca}=2$)에 집중되어 있다.
• 분산된 공유 (Distributed Sharing - XGLM): 높은 ILO를 보이지만 $\lambda$는 거의 0에 가까우며, 변량이 수천 개의 차원에 분산되어 있다.
• 최소한의 공유 (Minimal Sharing - OPT): 영어 중심 학습의 특성에 따라 모든 지표에서 낮은 값을 보인다.

2. 이방성 기반의 실패

지표 간의 불일치는 이방성으로 직접 추적 가능하다:

• CKA는 공유된 원뿔 방향에 의해 수치가 부풀려져, 모델 제품군 전반에 걸쳐 좁고 정보가 없는 범위를 보여준다.
• **$\lambda$ (GMM Dominance)**는 분산형 모델(예: XGLM)에서 처참하게 실패한다. $\lambda$는 변량의 98%를 유지하는 PCA 부분 공간에서 작동하기 때문에, 이러한 모델들에서 언어 정체성이 실제로 존재하는 차원들을 버리게 된다. 프로빙 실험 결과, $\lambda$가 높은 모델에서는 언어 정체성이 ( $\lambda$에 의해 버려진) 잔차 부분 공간으로 이동하는 반면, 분산형 모델에서는 주성분 부분 공간 내에 GMM이 적합할 만한 클러스터 구조가 존재하지 않음을 확인했다. 즉, $\lambda$는 언어 정보가 제거된 부분 공간에서 혼합 모델의 동작을 측정하고 있는 것이다.
• ANC는 뉴런 평균을 차감함으로써 이방성의 공통 이동(common-shift) 성분에 불변성을 가져 더 견고하다.
• ILO는 전체 은닉 상태에서 작동하며 벡터별 스케일링에 불변하므로 견고함을 유지한다. 중심화된 변형 버전(ILOc)은 이 지표가 공유된 이방성 평균 이동에 의해 구동되지 않음을 확인시켜 주었다.

3. 교차 언어 전이 예측

오직 ILO만이 교차 언어 전이 성능과 강력한 연관성을 보였다:

• ILO: 모든 모델에서 스피어먼 $\rho = 0.90$. 이 상관관계는 모델 크기, 제품군 멤버십, 태스크별 변동성에 대한 통제 후에도 생존했다.
• ANC: 강한 상관관계($\rho = 0.84$)를 보였으나, 이는 제품군 간의 대비에 크게 의존했다. 즉, 제품군 내 데이터를 셔플링한 순열 검정에서는 살아남지 못했다.
• $\lambda$: 중간 정도의 상관관계($\rho = 0.52$)를 보였으나, 태스크와 제품군 전반에 걸쳐 일관되게 유지되지 못했다.
• CKA: 유의미한 연관성이 없었다 ($\rho = 0.14$).

4. 학습 역학

공유는 점진적으로 나타나지 않는다. BLOOM과 같은 모델에서 $\lambda$와 ILO는 특정 학습 단계(예: BLOOM-1.1B의 경우 10K와 100K 단계 사이)에서 급격한 상전이를 겪는다. 지시 미세 조정(Instruction tuning)은 작은 모델(예: BLOOMZ-560m)에서 공유를 유도할 수 있지만, 이미 강력한 공유를 보이는 큰 모델에는 미미한 영향을 미친다.

의의 및 권장 사항

본 논문은 기하학적 공유 점수가 그것이 위치한 기하학적 구조와 독립적으로 해석될 수 없다고 주장한다. 본 연구의 주요 기여는 이방성이 지표 간 불일치의 원인임을 밝혀낸 것이며, 특히 $\lambda$와 같은 PCA 기반 방법론이 언어 정체성이 단순히 버려진 차원으로 이동했을 때 "공유"가 일어난다고 보고하거나, 공유가 분산되어 있을 때 이를 놓칠 수 있음을 보여준 데 있다.

권장 사항:

1. ILO 채택: 저자들은 ILO를 교차 언어 공유를 정량화하기 위한 주요 지표로 권장한다. 이는 그 연관성이 엄격한 통제 하에서도 전이 성능을 입증한 유일한 지표이기 때문이다.
2. 이방성 진단 보고: 모든 기하학적 공유 지표는 독자가 진정한 공유와 이방성 붕괴를 구분할 수 있도록 이방성 진단 지표(예: 유효 차원 $n_{pca}$ 및 평균 무작터 코사인 유사도)와 함께 보고되어야 한다.
3. PCA 사용 주의: 변량 순위 기반 투영에 의존하는 지표(예: $\lambda$)는 언어 정보가 낮은 분량의 차원에 존재할 수 있는 고도로 이방성인 모델에서는 신뢰할 수 없다.

저자들은 전역적 공유 지표가 여전히 모델 비교를 위한 유용한 도구이긴 하지만, 그 신뢰성은 근저에 깔린 표현 기하학에 달려 있으며, 따라서 이방성에 강건한 지표로의 전환이 필요하다고 결론짓는다.