Cross-lingual Self-Consistency for Multilingual Reasoning with Language Models

기술 요약: 언어 모델의 다국어 추론을 위한 교차 언어적 자기 일관성 (Cross-lingual Self-Consistency)

문제 정의

대규모 언어 모델(LLM)의 다국어 커버리지가 확대되고 있음에도 불구하고, 고도화된 추론 능력은 영어와 중국어를 중심으로 한 고자원 언어에 집중되어 있습니다. 모델이 많은 언어에서 기본적인 작업은 수행할 수 있지만, 복잡한 추론 작업(예: 수학 문장제 문제)의 경우 질의의 모국어로 실행될 때 실패하는 경우가 많습니다.

기존의 해결책들은 다음과 같은 방식으로 이 격차를 해소하려 시도합니다:

1. 영어로 추론하기: 소스 질의를 영어로 번역하여 영어로 추론한 뒤, 정답을 다시 번역합니다.
2. 지도 미세 조정(SFT): 병렬 데이터(번역된 질문 및 추론 과정)를 통해 학습합니다.
3. 로짓 조작(Logit Manipulation): 모델의 출력 분포가 영어 추론 패턴을 모방하도록 강제합니다.

이러한 접근 방식은 상당한 한계를 가집니다: 고품질의 병렬 추론 데이터가 부족하며, 기계 번역의 품질에 의존하여 노이즈가 유입될 수 있고, 학습되지 않은 언어나 도메인으로 일반화하는 데 실패하는 경우가 많습니다. 또한, 영어에서의 추론을 강제하는 전략은 반드시 소스 언어 자체의 내재적 추론 능력을 향상시키는 것은 아닙니다.

방법론

저자들은 **교차 언어적 자기 일관성(cross-lingual self-consistency)**을 강제함으로써 다국어 추론을 강화하는 비지도 강화 학습(Unsupervised RL) 프레임워크를 제안합니다. 핵심 원리는 모델이 서로 다른 언어로 제시된 동등한 문제들에 대해, 정답 레이블(ground-truth labels)에 대한 접근 없이도 동일한 최종 답변을 생성해야 한다는 것입니다.

주요 구성 요소:

1. 비지도 신호: 이 방법은 학습을 위해 오직 단일 언어 질문(실험에서는 영어)만을 필요로 합니다. 정답(gold answers)이나 기존의 병렬 추론 과정이 필요하지 않습니다.
2. 자기 번역(Self-Translation): 병렬 입력을 생성하기 위해, 모델 스스로 영어 학습 질문을 타겟 언어로 번역합니다. 이는 노이즈가 발생할 수 있으나, 제3자 번역 엔진으로부터 외부 지식을 주입하는 것을 피하면서 확장성을 갖춘 방식입니다.
3. 보상 함수 (RL):
   • 이 프레임-워크는 단일 언어 자기 일관성(단일 언어 내 답변 분포의 엔트로피를 최소화하는 방식)을 다국어 설정으로 확장합니다.
   • 단일 언어 내에서 엔트로피를 최소화하는 대신, 특정 언어의 답변 분포($\hat{p}_\pi$)와 다른 언어들로부터 유도된 타겟 분포($\hat{q}_\pi$) 사이의 **교차 엔트로피(cross-entropy)**를 최소화합니다.
   • 타겟 분포 전략: 저자들은 $\hat{q}_\pi$를 정의하는 세 가지 방법을 탐색합니다:
     • 소스 언어: 표준 단일 언어 자기 일관성과 동일합니다.
     • 참조 언어 (영어): 모든 언어를 영어 분포에 정렬합니다 (교차 언어적 증류 역할을 함).
     • 결합형 (Combined): 모든 언어에 걸친 답변 분포의 평균을 구합니다. 이 변형이 주요 방법으로 사용되며, 전체 언어 집합에 대한 일관성을 직접적으로 최적화합니다.
4. 학습 알고리즘: 저자들은 VeRL 백엔드를 사용하는 **GRPO (Group Relative Policy Optimization)**를 활용합니다. 보상은 서로 다른 언어에서 샘플링된 궤적(trajectories) 간의 최종 답변 일관성을 기반으로 계산됩니다.

주요 기여

• 새로운 프레임워크: 병렬 데이터나 정답 레이블 없이 교차 언어적 자기 일관성을 명시적으로 강제함으로써 다국어 추론을 개선하는 최초의 비지도 RL 접근 방식입니다.
• 확장성: 다국어 추론 데이터가 없는 시나리오에서도 모델 자체의 번역 능력을 활용하여 학습 신호를 생성하므로 실용적입니다.
• 일반화: 학습되지 않은 언어 및 분포 외(OOD) 도메인에 대해 강력한 일반화 성능을 보여주며, 고품질 다국어 추론 데이터셋의 희소성 문제를 해결합니다.

실험 결과

본 방법은 Qwen2.5 모델(1.5B, 7B, 14B)과 Llama3(8B)를 사용하여 MGSM 벤치마크(10개 언어) 및 세 가지 OOD 벤치마크(mGPQA, MMATH, PolyMath)에서 평가되었습니다.

• 성능 향상:
  • MGSM에서 이 방법은 원래 모델 대비 평균 정확도 향상을 각각 7.8%(1.5B), 15.1%(7B), 21.7%(14B) 달성했습니다.
  • 거의 모든 언어에서 성능 향상이 관찰되었으며, 러시아어나 텔루구어와 같은 저자원 언어의 경우 상대적 개선율이 100%를 상회하기도 했습니다.
  • 이 방법은 테스트 타임 스케일링(S1) 및 DPO 기반 방법(LIDR)을 포함한 기존 베이스라인보다 특히 토큰 효율성 측면에서 우수한 성능을 보였습니다. S1은 경쟁력 있는 결과를 냈으나, 더 긴 추론 과정을 위해 약 3배 더 많은 토큰을 필요로 했습니다.
• 일반화:
  • 미학습 언어: 일부 언어 집합으로 학습했을 때, MGSM 내의 미학습 언어들에 대해 평균 **18.2%**의 개선을 보였습니다.
  • OOD 벤치마크: mGPQA에서 평균 4.7%, MMATH에서 **6.2%**의 이득을 얻었으며, 이는 OOD 작업에서 성능 저하를 일으킨 LIDR보다 뛰어난 결과입니다.
• 일관성: 분석 결과, 이 방법은 단일 언어 및 교차 언어적 자기 일관성을 모두 유의미하게 개선했습니다. 이 방법으로 학습된 모델은 베이스라인에 비해 더 적은 샘플(Maj@8)로도 최고 성능에 근접하여, 추론 컴퓨팅의 효율적인 최적화를 입증했습니다.
• 리소스 계층: 이 방법은 고자원 및 중자원 계층에서 영어와 타 언어 간의 성능 격차를 크게 줄였으나, 저자원 언어는 여전히 기초 모델의 숙련도 한계로 인해 격차가 존재했습니다.

의의 및 주장

본 논문은 일관성 기반 방법론이 감독 데이터 주석(annotation)의 막대한 비용 없이도 LLM의 다국어 능력을 향상시킬 수 있는 실행 가능한 경로임을 주장합니다.

• 형평성 및 견고성: 고자원 언어와 저자원 언어 간의 성능 격차를 좁힘으로써, 다양한 언어적 맥락에서 LLM의 형평성과 견고성을 증진합니다.
• 내재적 개선: 영어를 대리물로 사용하는 "영어로 번역하기" 전략과 달리, 이 방법은 소스 언어에서의 내재적 추론 능력을 직접 개선합니다.
• 실용성: 자기 번역과 단일 언어 데이터에 의존하므로, 다국어 추론 데이터가 존재하지 않는 도메인에서도 매우 높은 확장성과 적용 가능성을 가집니다.

저자들은 이 방법이 현재의 모델 규모(20B 미만)에 의존하고 저자원 벤치마크의 가용성 문제에 직면해 있지만, 추가적인 데이터 주석 없이 대규모로 다국어 추론 성능을 높이는 길을 열어준다고 결론짓습니다. 향후 연구로는 비검증 작업(non-verifiable tasks) 및 더 큰 모델 아키텍처에 대한 탐색을 제안합니다.