Optimizing Language Models for Crosslingual Knowledge Consistency

이 논문은 강화학습 기반의 구조화된 보상 함수와 DPO 에서 영감을 받은 '직접 일관성 최적화 (DCO)' 방법을 제안하여, 명시적 보상 모델 없이도 다양한 언어 간 지식 일관성을 크게 향상시키고 기존 방법들을 능가하는 다국어 대규모 언어 모델 최적화 솔루션을 제시합니다.

핵심

🌍 언어 모델의 '이중성'을 해결하다: DCO 라는 새로운 방법

이 논문은 거대 언어 모델 (LLM) 이 가진 아주 재미있지만 골치 아픈 문제를 해결하는 방법을 소개합니다. 바로 **"언어가 바뀌면 대답도 달라지는 모순"**입니다.

🤔 문제: 왜 같은 질문에 다른 답을 할까요?

상상해 보세요. 친구가 "네덜란드의 수도는 어디야?"라고 영어로 물었을 때, AI 는 "암스테르담"이라고 정확히 답합니다. 그런데 같은 친구가 한국어로 "네덜란드의 수도는 어디야?"라고 물었을 때, AI 가 갑자기 "로테르담"이라고 엉뚱한 답을 한다면 어떨까요?

이건 마치 한 사람이 두 개의 서로 다른 성격을 가진 것처럼 보입니다. 영어로 말할 때는 똑똑한 전문가인데, 한국어로 말할 때는 기억력이 나쁜 사람으로 변하는 거죠. 이런 '이중성'은 AI 를 믿지 못하게 만들고, 다국어 사용자에게 혼란을 줍니다.

💡 해결책: DCO (직접 일관성 최적화)

저자들은 이 문제를 해결하기 위해 **DCO(Direct Consistency Optimization)**라는 새로운 방법을 개발했습니다. 이를 이해하기 위해 두 가지 비유를 들어보겠습니다.

1. 🎭 연극 배우와 같은 AI

기존의 AI 는 배우가 대본 (데이터) 을 외워서 연기하는 것과 비슷합니다. 하지만 대본이 영어일 때와 한국어일 때 대본이 조금씩 다르게 쓰여 있으면, 배우는 두 상황에서 다른 연기를 하게 됩니다.

DCO 는 이 배우에게 **"네가 영어로 연기할 때와 한국어로 연기할 때, 캐릭터의 성격과 기억은 반드시 똑같아야 한다"**고 가르치는 훈련을 시킵니다.

2. 🧩 퍼즐 맞추기

기존 방법들은 AI 에게 "정답은 암스테르담이야"라고 정답을 알려주고 (지도 학습), 혹은 "이게 더 좋은 답이야"라고 비교하게 하는 (DPO) 방식이었습니다.

하지만 DCO 는 정답을 알려주지 않아도 됩니다. 대신 **"영어 질문을 한국어로 번역했을 때, AI 가 내는 답의 확률 분포가 원래 한국어 질문을 했을 때와 똑같은지"**만 확인합니다.

• 비유: 두 개의 거울 (영어 버전과 한국어 버전) 이 서로 마주 보고 있습니다. 기존 방법은 거울 속의 상이 예쁜지 (정답 맞는지) 확인했지만, DCO 는 **"두 거울 속의 상이 서로 완전히 일치하는지"**만 확인합니다. 만약 영어 거울에서 '암스테르담'이 가장 크게 보인다면, 한국어 거울에서도 '암스테르담'이 가장 커야 한다는 것입니다.

🚀 DCO 가 어떻게 작동하나요?

이 방법은 매우 똑똑하고 효율적입니다.

1. 정답을 몰라도 됩니다: AI 가 정답을 맞췄는지 여부는 중요하지 않습니다. 중요한 건 "영어와 한국어로 질문했을 때, AI 가 어떤 답을 가장 유력하게 생각하는지"입니다.
2. 스스로 교정합니다: AI 가 영어로는 A 를, 한국어로는 B 를 가장 유력하게 생각한다면, DCO 는 AI 를 훈련시켜 두 언어 모두에서 A 를 가장 유력하게 생각하도록 만듭니다.
3. 정답까지 더 좋아집니다: 신기하게도, 일관성만 맞추려다 보니 정답을 맞히는 능력 (정확도) 도 함께 올라갑니다. 마치 두 언어의 지식을 서로 보완해 주는 효과가 생기기 때문입니다.

📊 실험 결과: 무엇이 달라졌나요?

저자들은 다양한 AI 모델 (Qwen, Llama, Gemma 등) 과 26 개 이상의 언어로 실험을 했습니다.

• 일관성 대폭 향상: 영어와 다른 언어 간의 대답 불일치가 크게 줄었습니다.
• 정확도 유지 또는 향상: 일관성만 맞추려다 원래 성능이 떨어질까 봐 걱정했는데, 오히려 정확도도 좋아진 경우가 많았습니다.
• 저자원 언어에도 효과: 스와힐리어나 요루바어처럼 데이터가 부족한 언어와 영어를 짝지어 훈련했을 때, 저자원 언어의 성능이 크게 좋아졌습니다.

🌟 결론: 왜 이 연구가 중요한가요?

이 논문은 **"AI 가 어떤 언어로 말하든, 그 안에 담긴 지식과 성격은 하나여야 한다"**는 원칙을 세웠습니다.

기존의 복잡한 보상 모델이나 정답 데이터가 필요 없기 때문에, 더 쉽고 저렴하게 다국어 AI 를 만들 수 있게 되었습니다. 앞으로 우리가 사용하는 AI 가 영어, 한국어, 스페인어 등 어떤 언어로 물어봐도 동일한 신뢰성을 가지고 대답해 줄 수 있는 시대가 열릴 것입니다.

간단히 말해, DCO 는 AI 가 '언어별 이중인격'을 버리고, 전 세계 모든 언어에서 똑똑하고 일관된 '진짜 한 사람'이 되게 해주는 훈련법입니다.

기술 요약

1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 은 종종 서로 다른 언어로 동일한 질문을 받았을 때 일관되지 않은 답변을 생성하는 경향이 있습니다. 예를 들어, 영어로 "네덜란드의 수도는?"이라고 물으면 "Amsterdam"이라고 답하지만, 다른 언어 (예: 일본어) 로 같은 질문을 하면 "Rotterdam"과 같이 틀린 답변을 할 수 있습니다. 이러한 교차 언어 지식 불일치 (Crosslingual Knowledge Inconsistency) 는 다국어 사용자의 신뢰를 저해하고 시스템의 신뢰성을 약화시키는 심각한 문제입니다. 기존 연구들은 이러한 불일치를 측정하는 데 초점을 맞추었으나, 이를 해결하기 위한 효율적이고 확장 가능한 최적화 방법은 부족했습니다.

2. 방법론 (Methodology)

이 논문은 강화 학습 (RL) 의 원리를 차용하여 모델의 정책을 최적화하는 새로운 접근법을 제안합니다.

A. 교차 언어 일관성을 위한 보상 함수 설계

기존의 인간 선호도 정렬 (Alignment) 방법은 Bradley-Terry 모델을 기반으로 한 보상 함수를 사용하지만, 교차 언어 일관성 (CLC) 을 달성하기 위해서는 새로운 보상 설계가 필요합니다.

• 핵심 아이디어: 언어 $L_1$에서 생성된 답변에 대한 모델의 확률 (Likelihood) 을, 해당 답변을 $L_2$로 번역했을 때 $L_2$ 모델이 부여하는 확률과 정렬하는 것입니다.
• 보상 함수 ($r_{ALIGN}$):
  • $L_1$의 답변 $y$에 대한 보상은 $L_2$에서의 로그 확률 ($\log \pi_{REF}(\tau^2(y) | \tau^2(x))$) 에 비례합니다.
  • 이는 모델이 한 언어에서 특정 답변을 선호할 때, 다른 언어에서도 동일한 답변을 선호하도록 유도합니다.
• 최적 정책 ($\pi^*$): 이 보상 함수를 기반으로 유도된 최적 정책은 '전문가들의 곱 (Product of Experts)' 형태를 띠며, 이론적으로 언어 간 일관성이 보장됩니다. 특히 $\gamma_1 \gamma_2 = \beta^2$ 조건을 만족할 때 일관성이 수학적으로 증명됩니다.

B. 직접 일관성 최적화 (Direct Consistency Optimization, DCO)

기존의 강화 학습 (PPO 등) 은 보상 모델 학습과 온라인 샘플링이 필요하여 계산 비용이 높습니다. 이를 해결하기 위해 DCO를 제안합니다.

• DPO(Direct Preference Optimization) 에서 영감: 보상 모델을 명시적으로 학습하지 않고, 정책 (Policy) 을 직접 최적화합니다.
• 학습 데이터: 병렬 질문 - 답변 쌍 (Parallel Prompt-Response Pairs) 을 사용합니다. 여기서 '우승 (Winning)'과 '패배 (Losing)' 답변은 임의로 짝지어지며, 정답 (Gold Label) 이 필요하지 않습니다.
• 손실 함수: Bradley-Terry 모델을 변형하여, 두 언어 간의 보상 차이를 모델의 로그 확률 비율과 일치시키도록 학습합니다. 이를 통해 온라인 샘플링 없이도 RL 의 최적 정책과 동일한 결과를 도출할 수 있음을 이론적으로 증명했습니다.

3. 주요 기여 (Key Contributions)

1. 새로운 보상 함수 및 DCO 알고리즘 제안: 교차 언어 일관성을 위해 특화된 보상 함수를 설계하고, 이를 효율적으로 최적화하는 DCO 알고리즘을 개발했습니다. 이론적으로 일관성 향상과 작업 성능 유지가 보장됩니다.
2. 광범위한 실험적 검증: Qwen, Llama, Gemma, Aya 등 9 개의 다양한 최신 LLM 과 26 개 언어, 3 개의 벤치마크 (MMMLU, XCSQA, BMLAMA) 에서 DCO 의 효과성을 입증했습니다.
3. 유연한 제어 및 일반화:
   • 하이퍼파라미터 제어: $\gamma_1, \gamma_2$ 파라미터를 조절하여 특정 언어 (예: 영어) 의 성능을 유지하면서 저자원 언어의 성능을 높이는 등, 배포 요구사항에 맞는 정렬 방향을 제어할 수 있음을 보였습니다.
   • 도메인 일반화: 학습된 도메인 (예: 미시경제학) 과 다른 도메인 (예: 해부학, 수학) 에서도 일관성과 정확도가 향상되어 강력한 일반화 능력을 입증했습니다.

4. 실험 결과 (Results)

• 일관성 향상: DCO 를 적용한 모델은 기존 방법 (SFT, DPO, CALM) 대비 모든 모델에서 교차 언어 일관성 (RankC 점수) 을 크게 향상시켰습니다. 특히 저자원 언어와 고자원 언어 간의 일관성 격차를显著하게 줄였습니다.
• 정확도 유지 및 향상: 일관성을 높이는 과정에서 기존 언어 (주로 영어) 의 정확도가 유지되거나, 오히려 비영어권 언어의 정확도가 크게 개선되는 경우가 많았습니다.
• DPO 와의 시너지: 정답 (Gold Label) 이 있는 경우, DPO 로 먼저 학습한 후 DCO 로 미세 조정 (Refinement) 하는 하이브리드 방식이 가장 높은 성능을 보였습니다.
• 이중 언어 설정: 영어와 특정 지역 언어 (예: 스와힐리, 요루바) 간의 이중 언어 설정에서도 DCO 는 비영어권 언어의 정확도를 높이고 영어 성능을 안정화시키는 효과를 보였습니다.
• 오프-도메인 (Out-of-Domain): 학습 데이터와 다른 주제에서도 일관성과 정확도가 개선되어, DCO 가 특정 도메인에 과적합되지 않음을 확인했습니다.

5. 의의 및 결론 (Significance)

이 논문은 다국어 LLM 의 신뢰성을 높이는 핵심적인 해결책을 제시합니다.

• 효율성: 별도의 보상 모델 학습이나 복잡한 RL 파이프라인 없이, DPO 와 유사한 구조로 일관성을 최적화할 수 있어 계산 비용이 효율적입니다.
• 실용성: 정답 레이블이 없는 상황에서도 병렬 데이터만 있으면 적용 가능하여, 실제 다국어 서비스 환경에서 활용도가 높습니다.
• 확장성: 단순한 지식 일관성을 넘어, 문장 재구성 (Paraphrase) 이나 멀티모달 일관성 등 다른 형태의 일관성 문제에도 적용 가능한 구조를 가집니다.

결론적으로, DCO는 다국어 LLM 이 언어에 관계없이 일관되고 신뢰할 수 있는 지식을 제공할 수 있도록 하는 강력하고 효율적인 도구로 자리 잡았습니다.