기술 요약: 일관성 기반 강화 학습을 통한 교차 언어적 사실 회상 능력 개선

문제 정의

주로 영어 데이터로 학습된 대규모 언어 모델(LLM)은 방대한 양의 세계 지식을 인코딩하고 있지만, 비영어 언어로 질의할 때 이 지식에 안정적으로 접근하는 데 자주 실패합니다. 이러한 현상은 **교차 언어적 사실 불일치(cross-lingual factual inconsistency)**라고 불리며, 이는 지식 저장의 결핍 때문이 아닙니다. 메커니즘 연구에 따르면, 이 실패는 "언어 전환(language transition)" 단계에서 발생합니다. 즉, 모델이 중간 레이어(종종 영어 중심적이거나 언어 중립적인 잠재 공간)에서는 올바른 개념을 검색할 수 있지만, 최종 레이어에서 이 개념을 올바른 대상 언어 토큰으로 안정적으로 매핑하는 데 실패하는 것입니다.

병렬 코퍼스에 대한 지속적 사전 학습(Continual Pretraining, CPT)이 번역 유창성을 향상시킨다는 점은 입증되었으나, 사실 회상과 같은 까다로운 작업에서 성능을 실질적으로 높이는 데는 종종 실패합니다. 이는 병렬 데이터가 내부 표현을 정렬(align)할 수는 있지만, 비영어 인터페이스를 통해 정렬된 지식에 접근하도록 충분히 가르치지는 못함을 시사합니다.

방법론

1. POLYFACT 데이터셋

규모가 크고 완전히 병렬화된 다국어 사실 데이터를 구축하는 데 따르는 어려움을 해결하기 위해, 저자들은 POLYFACT를 도입했습니다.

• 구축: Wikidata의 진실된 트리플(truthy triples)에서 파생된 이 데이터셋은 12개의 유형학적으로 다양한 언어(영어, 중국어, 스페인어와 같은 고자원 언어와 스와힐리어, 벵골어와 같은 저자원 언어 포함)에 걸친 10만 개의 사실을 포함합니다.
• 형식: 각 사실은 12개 언어 모두에서 완전히 병렬로 구성된 객관식 질문(MCQ) 데이터셋입니다. 각 사실에 대해, 그럴듯한 오답을 보장하기 위해 동일한 속성을 가진 공통 출현 객체로부터 세 개의 방해 요소(distractors)를 샘플링했습니다.
• 품질: 데이터셋은 웹 기반 LLM 판독기(GPT-4o)와 수동 검토를 통한 엄격한 품질 관리를 거쳤으며, LLM과 인간 주석가 간의 일치도가 91%에 달했습니다.

2. 학습 접근 방식

연구는 두 가지 7B 규모 모델(OLLo-2-1124-7B 및 Qwen-2.5-7B)에 대해 세 가지 사후 학습 전략을 비교합니다.

1. 지속적 사전 학습 (CPT): 미세 조정을 하기 전, 표현을 정렬하기 위해 균형 잡힌 병렬 코퍼스(TED2025)에서 가벼운 사전 학습을 수행합니다.
2. 지도 미세 조정 (SFT): 표준 분류 손실(classification loss)과 일관성 항(consistency term)을 결합한 공동 목적 함수를 사용하여 POLYFACT로 학습합니다. 일관성 항은 모델의 12개 병렬 언어 간 출력 분포 사이의 KL 발산(KL divergence)을 최소화하여, 입력 언어에 관계없이 모델이 일관된 답변을 생성하도록 유도합니다.
3. 일관성 기반 강화 학습 (GRPO): 교차 언어적 일관성을 명시적으로 장려하는 보상 함수를 사용하는 그룹 상대 정책 최적화(Group Relative Policy Optimization) 방식입니다.
   • 보상 메커니즘: 8개의 롤아웃(각 롤아웃은 12개의 병렬 생성 포함) 그룹에 대해, 보상은 정답 여부(+1), 환각 페널티(-0.5), 그리고 모든 12개 언어가 정답을 맞혔을 경우의 특정 보너스(+1)를 기준으로 계산됩니다. 이는 모델이 언어별 암기가 아닌 공유된 검색 경로를 학습하도록 강제합니다.

3. 메커니즘 분석

저자들은 학습 방법이 모델의 내부 아키텍처를 어떻게 재구성하는지 분석하기 위해 두 가지 해석 가능성 도구를 사용합니다.

• LAHIS: 언어별 처리 기여도를 결정하기 위해 어텐션 헤드를 분석합니다.
• LAPE: 활성화 빈도와 엔트로피를 측정하여 MLP 레이어의 언어별 뉴런을 식별합니다.

주요 결과

성능 향상

• GRPO vs. SFT: GRPO는 모든 평가 벤치마크(POLYFACT, KLAR, Global-MMLU)에서 SFT를 일관되게 능가합니다.
  • POLYFACT에서 GRPO는 고자원 및 저자원 언어 모두에서 가장 높은 정확도를 달-성합니다.
  • KLAR(자유 형식 생성 벤치마크)에서 GRPO는 거의 모든 언어에서 성능을 개선하는 반면, SFT는 종종 퇴보하는 모습을 보입니다. 이는 SFT가 진정한 교차 언어적 검색을 개선하기보다는 주로 정답 후보를 맞추는 법(패턴 매칭)을 배운다는 것을 나타냅니다.
  • Global-MMLU(다단계 추론 필요)에서 GRPO 모델은 SFT나 CPT 단독 모델보다 더 잘 일반화됩니다.
• CPT의 역할: 병렬 데이터에 대한 가벼운 CPT는 사후 학습과 결합했을 때 추가적인 이득을 거의 제공하지 못했습니다. 어떤 경우에는 CPT 후 사후 학습을 진행하는 것이 베이스 모델에서 바로 사후 학습을 하는 것보다 성능이 낮았는데, 이는 정렬만으로는 지식 접근성을 보장할 수 없음을 시사합니다.

교차 언어 전이

GRPO는 학습 과정에서 보지 못한 홀드아웃 언어(그리스어, 우크라이나어, 히브리어 등)에 대해 우수한 일반화 능력을 보여줍니다.

• 성능 향상은 학습 언어와 스크립트 또는 서브워드(subword)를 공유하는 언어(예: 라틴 스크립트 언어 또는 페르시아-아랍어 서브워드를 공유하는 언어)에서 가장 두드러집니다.
• "스크립트 격리"된 언어(예: 그리스어, 한국어)에서는 성능 저하가 관찰되는데, 이는 GRPO가 공유된 표현을 개선하더라도 토큰화 경계에 의해 여전히 제약을 받는다는 것을 나타냅니다.

메커니즘 통찰

• 언어 라우팅 (Language Routing): GRPO는 다국어 연산을 근본적으로 재구조화합니다. 언어별 결정이 즉시 내려지는(종종 첫 번째 레이어에서) 베이스 모델과 달리, GRPO는 언어적 특수화를 후기 레이어로 지연시킵니다. 이를 통해 더 크고 공유된 언어 중립적 중간 공간을 생성합니다.
• 뉴런 특수화: GRPO는 영어 전용 뉴런의 비율을 증가시키는 동시에(약 38%), 다른 언어(예: 벵골어, 스와힐리어)의 특수화는 감소시킵니다. 이는 RL 목적 함수가 모델의 행동 공간을 "압착"하여, 다른 언어를 위한 피벗(pivot)으로서 가장 안정적인 표현 백본인 영어를 더 많이 의존하도록 유도함을 시사합니다.
• 헤드 공유: SFT는 쌍별 헤드 중첩(pairwise head overlap)을 크게 증가시키지만(특히 인도-유럽어족 간), GRPO는 보다 완만한 중첩 증가를 보이면서도, 초기 라우팅 레이어로부터 처리를 이동시키는 더 깊은 수준의 재구성을 유도합니다.

의의 및 주장

본 논문은 교차 언어적 사실 불일치가 지식의 부재 문제라기보다, 기존의 잠재 지식에 대한 신뢰할 수 없는 접근의 문제라고 상정합니다.

• 주요 기여: 저자들은 교차 언어적 사실 회상을 개선하는 데 있어 (일관성 기반 강화 학습인) GRPO가 지도 미세 조정(SFT)이나 가벼운 지속적 사전 학습(CPT)보다 더 효과적인 메커니즘임을 입증했습니다. GRPO는 공유된 내부 표현을 촉진하고 다국어 라우팅을 재구성함으로써, 다양한 언어에서 사실적 개념이 일관되게 접근되도록 보장함으로써 성공합니다.
• 데이터셋 공개: POLYFACT의 공개는 대규모의 완전 병렬 다국어 QA 데이터의 부재를 해결하며, 교차 언어적 사실 일관성을 연구하고 벤치마킹하기 위한 중요한 자원을 제공합니다.
• 범위의 한계: 저자들은 본 방법론이 사실적 접근성을 개선하지만, Global-MMLU 결과에서 나타난 것처럼 광범위한 다국어 추론 과제를 반드시 해결하는 것은 아님을 인정합니다. 또한, 현재 이 접근법은 7B 규모의 모델로 제한되어 있으며, 추가적인 연구 없이는 크게 다른 아키텍처나 더 큰 모델로 일반화될 수 있는지는 미지수입니다. 또한, 기초가 되는 Wikidata 소스의 편향(예: 영어 중심의 고유 명사)이 대상 언어가 아닌 영어로 고유 명사 질문에 답하는 것과 같은 특정 실패 모드를 의도치 않게 강화할 수 있음을 언급했습니다.