기술 요약: "다국어 모델은 실제로 개선되고 있는가? 진정한 교차 언어 전이의 격리"

문제 정의

교차 언어 전이(Cross-lingual transfer, XLT)는 잘 표현된 소스 언어(일반적으로 영어)의 능력을 저표현된 타겟 언어로 일반화하는 모델의 능력을 의미한다. 다국어 벤치마크가 이 분야의 발전을 추적하는 데 흔히 사용되지만, 저자들은 기존의 지표들이 진정한 전이 성능의 향상과 소스 언어 정확도의 일반적인 향상을 혼동하고 있다고 주장한다.

현재 표준 측정 방식은 다음과 같다:

1. 절대 타겟 정확도(Absolute Target Accuracy): 타겟 언어 단독으로 성능을 측정함.
2. XLT 격차(XLT Gap): 소스 정확도와 타겟 정확도의 절대적 차이.
3. 전이 점수(Transfer Score): 소스 예측이 정답일 때 타겟 질문이 정답일 확률.

본 논문은 이러한 지표들의 결정적인 결함을 식별한다: 소스와 타겟의 정확도는 강력하게 선형적으로 결합되어 있다($R^2 > 0.94$). 모델의 일반적인 능력(예: 추론, 사실성 또는 규모)이 향상됨에 따라, 소스와 타겟의 정확도는 모두 예측 가능한 방식으로 상승한다. 결과적으로, 타겟 정확도의 증가는 개선된 전이 메커니즘보다는 더 나은 소스 성능을 반영하는 것일 수 있다. 마찬가지로, XLT 격차는 모델이 스케일업될 때 전이 프로필이 개선되더라도, 마치 전이가 악화되는 것처럼 오해를 불러일으킬 수 있다.

방법론

난이도 조정 전이(Hardness Adjusted Transfer, HAT) 점수

소스의 일반적인 개선 효과를 제어하기 위해, 저자들은 난이도 조정 전이(HAT) 점수를 제안한다. 이 지표는 소스의 절대적 난이도나 모델의 일반적인 숙련도와 독립적으로, 소스에서 타겟으로 전이되는 성능의 비율을 분리해내기 위해 제1원리로부터 도출되었다.

이론적 정의:
$S$와 $T_\ell$을 각각 소스 언어와 타겟 언어 $\ell$의 통과율(pass-rates)이라고 하자. 이상적인 전이 프로필은 조건부 기대값 $E[T_\ell | S=s, M]$에 의해 정의된다. 모델이 완벽한 전이를 수행한다면, 이 프로필는 직선 $y=x$와 일치한다.

HAT 점수는 소스 정확도의 특정 분포에 의한 편향을 제거하기 위해, 균등 분포의 소스 정확도 하에서의 기대 타겟 정확도를 정규화한 값으로 정의된다:
$$\text{HAT Score} = 2 \int_{0}^{1} E[T_\ell | S=s, M] \, ds$$
곱하기 2는 점수가 $[0, 1]$ 범위 내에 있도록 보장한다.

경험적 추정:
$E[T_\ell | S, M]$은 직접 관찰할 수 없으므로, 저자들은 선형 회귀 방식을 사용하여 이를 추정한다:

1. 각 데이터셋 인스턴스에 대해, 소스 및 타겟 언어 모두에서 모델을 $N=10$번 프롬프트하여 통과율($s^{(i)}$ 및 $t^{(i)}$)을 추정한다.
2. $(s^{(i)}, t^{(i)})$ 쌍에 선형 회귀 모델을 적합시켜, $S=0$일 때 $T=0$이 되도록 제약 조건을 두어 조건부 기대값을 근사한다.
3. 이 적합된 직선의 기울기($\hat{m}$)가 HAT 점수가 된다.

실험 설정

본 연구는 5개 제품군(Gemini, Gemma, Qwen, GPT-OSS, Claude)에 걸쳐 1B에서 120B 파라미터에 이르는 다양한 크기와 다양한 "사고(thinking)" 예산(추론 깊이)을 가진 **20개의 다양한 대규모 언어 모델(LLM)**을 평가한다.

평가는 세 가지 다국어 벤치마크를 통해 수행된다:

1. ECLeKTic: 교차 언어 사실 기반 질의응답(factoid QA).
2. MGSMv2: 다국어 수학 추론 (MGSM의 수정 버전).
3. MMLU-ProX-Lite: 다국어 다지선다 추론 및 개념적 지식.

MGSMv2와 MMLU-ProX-Lite의 경우 영어가 소스 언어이다. ECLeKTic의 경우, 원본 위키피디아 문서에 따라 질문당 소스 언어가 달라진다.

주요 결과

1. HAT와 전통적 지표의 검증

저자들은 전통적인 지표들이 종종 진행 상황을 잘못 나타낸다는 것을 입증했다:

• 타겟 정확도: 소스 정확도 분포가 높은 값으로 이동했기 때문에(예: 더 큰 모델), 전이 프로필이 변하지 않았음에도 불구하고 잘못된 진전을 나타낼 수 있다.
• XLT 격차: 모델이 스케일업될 때 전이 프로필(기울기)이 개선되더라도, 마치 퇴보(전이 악화)하는 것처럼 잘못 나타낼 수 있다.
• HAT 점수: 소스 정확도 분포의 변화에 견고하며, 진정한 전이 강도의 신뢰할 수 있는 지표를 제공한다.

2. 모델 크기에 따른 발전

• 소형 모델: 소형 모델(1B–4B)에서도 전이는 "깨진" 것이 아니다. 이 모델들의 HAT 점수는 50%에서 80% 사이로, 타겟 정확도가 소스 정확도의 상당 부분임을 나타낸다. 그러나 전통적인 지표는 소형 모델에 대해 지나치게 비관적인 추정치를 제공한다.
• 스케일링 트렌드: 더 큰 모델이 개선된 전이를 보여주기는 하지만, 모델 크기 증가에 비하면 그 발전 속도는 예상보다 느리다. HAT 점수는 XLT의 이득이 가공의 타겟 정확도가 시사하는 것보다 훨씬 완만하다는 것을 드러낸다.

3. 시간에 따른 발전

• 추론 벤치마크: MGSMv2와 MMLU-ProX-Lite의 경우, 최신 모델(2025년 이후)은 "완벽한 전이" 선을 향해 유의미한 이동을 보인다. 중앙값 HAT 점수가 MMLU-ProX-Lite에서는 0.75에서 0.93으로, MGSMv2에서는 0.90에서 0.97로 개선되었으며, 이는 이 벤치마크들이 전이 측면에서 거의 해결되었음을 시사한다.
• 사실 기반 벤마크: ECLeKTic에서는 이러한 경향이 관찰되지 않으며, 여기서의 발전은 정체된 것으로 보인다.

4. 전이에 영향을 미치는 요인

• 모델 아키텍처 및 사전 학습: 유사한 크기의 모델 제품군 간(예: GPT-OSS vs. Gemma vs. Qwen)의 HAT 점수 차이는 사전 학습 레시피가 모델 크기 자체보다 전이에 더 큰 영향을 미친다는 것을 시사한다.
• 사고/추론 예산: "사고(thinking)"(추론 깊이)를 활성화하면 모든 벤치마크에서 XLT가 향상된다. 저자들은 모델이 비영어 프롬프트에 대해 추가 토큰을 할당(5~20% 더 김)하는 것을 관찰했으며, 이는 언어 브릿징을 위한 메커니즘을 시사한다.
• 스크립트(문자) 유사성: 스크립트 차이가 전이를 유의미하게 약화시키는 현상은 ECLeKTic(사실 기반 QA)에서만 나타난다. 추론 작업(MGSMv2, MMLU-ProX-Lite)의 경우, 스크립트 차이가 HAT 점수를 크게 저하시키지 않는다.

의의 및 주장

본 논문은 소스와 타겟의 정확도 결합으로 인해 교차 언어 전이의 진전 상황을 오해해 왔다고 주장한다. HAT 점수를 도입함으로써, 저자들은 일반적인 능력 향상과 진정한 전이 이득을 분리해내는 방법을 제시한다.

저자들의 결론은 다음과 같다:

1. 소형 모델의 전이는 기능적이다. 이는 가공의 타겟 정확도에서 도출된 비관적인 견해와 상반된다.
2. XLT의 발전은 예상보다 느리다. 이는 단순히 파라미터를 늘리는 것이 다국어 격차를 자동으로 해결할 것이라는 가정에 도전하며, 모델 스케일링에 따른 XLT의 이득이 기대만큼 크지 않음을 보여준다.
3. 현재의 벤치마크는 추론 작업에서 포화 상태에 도달하고 있다(MGSMv2, MMLU-ProX-Lite). 따라서 의미 있는 진전을 계속 측정하기 위해서는 더 어렵고 실질적인 동기를 가진 벤치마크(예: 다단계 작업)의 개발이 필요하다.

이 연구는 커뮤니티가 교차 언어 일반화를 정확하게 평가하고 추진하기 위해 HAT와 같이 원칙적인 지표를 채택하도록 촉구하는 호출이다.