기술 요약: 레이어 스왑을 통한 다국어 추론 격차 재고찰

문제 정의

최근 추론 능력을 갖춘 대규모 언어 모델 (LLM) 은 비영어권 언어로 프롬프트를 입력받더라도 주로 영어로 사고의 사슬 (Chain-of-Thought, CoT) 을 생성합니다. 이러한 "영어 중심 추론" 체계 (모델이 영어로 추론하고 입력 언어로 답변하는 방식) 는 오픈 추론 모델의 기본 설정입니다. CoT 를 입력 언어로 제한하는 것 ("원어 추론") 은 해석 가능성과 문화적 뉘앙스 측면에서 바람직하지만, 이전 연구들은 이것이 성능을 현저히 저하시킨다고 시사합니다.

그러나 이러한 "원어 추론 격차"에 대한 이전 측정들은 주로 추론 시 개입이나 제한된 원어 데이터셋에 대한 파인튜닝에 의존하여, 영어 중심의 사후 학습 규모와 일치하지 못했습니다. 원어 추론이 엄격하게 비교 가능한 대규모 감독 하에 학습될 때에도 격차가 유지되는지 여부는 여전히 불분명합니다.

방법론

데이터 구축

저자들은 영어, 프랑스어, 독일어, 스페인어, 중국어, 스와힐리어 등 여섯 가지 언어를 아우르는 대규모 다국어 추론 데이터셋을 구축했습니다.

• 출처: 이 데이터셋은 수학, 코드, 과학, 일반 지식을 다루는 정제된 영어 사후 학습 데이터셋인 allenai/DolciThink-SFT-32B에서 파생되었습니다.
• 규모: 언어당 약 50 만 개의 샘플로, 컨텍스트 길이는 최대 32,768 토큰입니다.
• 번역 파이프라인: 원어 코퍼스를 생성하기 위해 영어 소스를 google/gemma-3-27b-it을 사용하여 다섯 가지 목표 언어로 번역했습니다. 긴 컨텍스트 저하와 추론 흔적 손실을 완화하기 위해 저자들은 샘플을 구성 요소별 (질문, 추론 흔적, 답변) 로 약 2k 토큰 단위로 번역한 후, 빈 출력, 압축 이상, 길이 편차에 대해 엄격하게 필터링했습니다.

실험 설정

• 기본 모델: 모든 모델은 Qwen/Qwen3-8B-Base에서 파인튜닝되었습니다.
• 학습 체계: 각 비영어권 언어에 대해 동일한 질문 - 답변 쌍과 매칭된 토큰 예산 (언어당 약 100 억~110 억 토큰) 으로 두 가지 전문가 모델을 학습시켰습니다.
  1. 원어 전문가: 목표 언어로 생성된 CoT.
  2. 영어 중심 전문가: 질문과 답변은 목표 언어로 하지만, CoT 는 영어로 생성됨.
• 인프라: 학습은 32k 시퀀스 길이를 처리하기 위해 DeepSpeed ZeRO-3, Ulysses 시퀀스 병렬화, FlashAttention-3 을 활용한 분산 H100 노드를 사용했습니다.
• 벤치마크: 평가는 수학 (MGSM-Rev2, AIME 24/25), 과학 (GPQA-Diamond), 일반 지식 (Global-MMLU-Lite), 코드 (HumanEvalPlus) 의 네 가지 영역을 포괄했습니다.

레이어 스왑 기법

저자들은 모델 구성에 대한 이전 연구에서 영감을 받아 레이어 스왑이라는 학습이 불필요한 방법을 도입했습니다.

• 가중치 공간 분석: 저자들은 레이어 전반에 걸친 파인튜닝 업데이트 ($\Delta\theta$) 를 분석했습니다. 그 결과 중간 레이어 (특히 13~22 레이어) 의 업데이트는 여섯 가지 언어 전반에 걸쳐 매우 정렬되어 있음을 발견했습니다 (높은 코사인 유사도와 낮은 SVD 분산). 이는 "언어 중립적 추론 핵심"이 존재함을 시사합니다. 반면 초기 및 후기 레이어는 언어별 분리를 보였습니다.
• 메커니즘: 이 방법은 "추론 핵심"인 중간 레이어를 영어 전문가 모델에서 원어 전문가 모델로 이전하는 반면, 언어별 입력/출력을 처리하는 원어 전문가의 초기 및 후기 레이어는 유지합니다.
• 애블레이션: 프랑스어 전문가에 대한 레이어 범위 애블레이션 결과, 1322 레이어를 스왑하는 것이 원어 CoT 유지 (즉, CoT 가 프랑스어로 남음) 를 약 100% 달성하면서 추론 성능을 극대화하는 것으로 나타났습니다. 중국어의 경우 최적의 창구가 약간 더 앞선 1320 레이어였는데, 이는 영어로 회귀하는 것을 방지하기 위함이었습니다.

주요 결과

매칭된 감독 하의 원어 추론 격차

이전 보고서들이 큰 격차를 시사한 것과 달리, 저자들은 엄격하게 매칭된 감독 (동일한 데이터 양, 동일한 기본 모델) 하에서 원어 추론 격차가 훨씬 작음을 발견했습니다.

• 평균 격차: 다섯 가지 비영어권 언어에서 원어 전문가와 영어 중심 전문가 간의 성능 격차는 **1.9%~3.5%**로 축소되었습니다.
• 분포: 격차는 복잡한 추론 벤치마크 (AIME 24/25) 에 집중되어 있으며, 언어에 따라 원어 전문가가 5~12% 뒤처집니다. 다른 벤치마크 (예: HumanEvalPlus) 에서는 격차가 미미합니다.
• 리소스 계층: 고리소스 언어 (프랑스어, 독일어, 스페인어, 중국어) 는 1.9~3.1% 의 격차를 보인 반면, 저리소스 언어인 스와힐리어는 3.5% 로 약간 더 큰 격차를 보였습니다.

레이어 스왑의 효과

영어 전문가의 중간 레이어를 원어 전문가로 이전하면 목표 언어 CoT 를 유지하면서 상당한 개선을 이루었습니다.

• 격차 해소: 레이어 스왑은 프랑스어와 독일어의 원어 추론 격차를 83~89% 해소했고, 스와힐리어는 60%, 중국어는 27% 해소했습니다. 스페인어의 경우 스왑된 모델이 영어 중심 모델의 상한선과 일치했습니다.
• 언어 충실도: 스왑된 모델은 약 100% 의 충실도를 유지하며, 영어로 회귀하지 않고 목표 언어로 CoT 를 생성했습니다.
• 벤치마크 성능: 이 방법은 모든 언어에서 HumanEvalPlus 와 대부분의 MGSM-Rev2 에서 최상위 성능을 기록했습니다. 남은 성능 부족분은 주로 추론 집약적 작업 (AIME, GPQA) 에서 발생했습니다.

입력 이해 애블레이션

저자들은 원어 전문가를 영어 입력과 원어 입력으로 평가하여 "이해 격차"를 분리했습니다.

• 발견: 원어 전문가들은 SFT 기간 중 영어를 전혀 접하지 않았음에도 영어 입력에서 더 높은 점수를 받았습니다.
• 원인: 이는 사전 학습 데이터의 불균형과 영어 중심 기본 모델의 중간 표현이 고리소스 라틴 문자 언어의 경우보다 언어학적으로 거리가 멀거나 저리소스 언어 (스와힐리어 등) 의 경우 영어 공간과 덜 정렬되어 있기 때문입니다.

의의 및 기여

이 논문은 네 가지 주요 기여를 주장합니다.

1. 데이터셋 공개: 32k 컨텍스트와 목표 언어 CoT 를 포함하는 여섯 가지 언어 (스와힐리어 및 중국어 포함) 에 걸친 공개 가능한 장 CoT 추론 코퍼스.
2. 통제된 측정: 감독 규모가 매칭되었을 때 격차가 이전 보고보다 훨씬 작음 (1.9~3.5%) 을 보여주는 대규모이며 엄격하게 통제된 원어 대 영어 중심 격차 측정.
3. 레이어 스왑: 중간 레이어에서 발견된 언어 중립적 추론 핵심을 활용하는 학습 불필요 기법. 이 방법은 원어 CoT 생성을 유지하면서 나머지 격차의 대부분을 해소합니다.
4. 입력 이해 분석: 추론 과정 자체와 구별되는 입력 이해가 비영어권 추론의 주요 병목 현상임을 보여주는 애블레이션.

한계점

저자들은 다음과 같은 한계점을 지적합니다.

• 이 연구는 단일 모델 계열 (Qwen) 과 규모 (8B) 로 제한됩니다.
• 코퍼스는 기계 번역에 의존하며, 이는 아티팩트를 도입할 수 있습니다.
• 토큰화 효율이 언어마다 달라 "매칭된 토큰 예산"이 모든 언어에 대해 엄격하게 매칭된 예제 수를 의미하지는 않았습니다.
• 레이어 스왑 창구에 대한 하이퍼파라미터 탐색은 포괄적이지 않았습니다.
• 모델은 감독 파인튜닝 (SFT) 으로만 학습되었으며 강화 학습 (RL) 또는 선호도 튜닝은 포함되지 않았습니다.

저자들은 레이어 스왑의 "레시피"가 다른 모델 계열에도 직접 적용 가능하다고 결론지었습니다. 필요한 영어 전문가 모델은 종종 오프더셸 (off-the-shelf) 로 제공되므로, 전체 모델을 재학습하지 않고도 고성능 원어 추론을 위한 실용적인 경로를 제공하기 때문입니다.