MENLO: From Preferences to Proficiency -- Evaluating and Modeling Native-like Quality Across 47 Languages

이 논문은 47 개 언어에 걸친 6,423 개의 인간 주석 선호도 데이터셋과 청중 설계 원리를 기반으로 한 MENLO 평가 프레임워크를 제안하여, 다국어 LLM 의 원어민 수준의 품질을 평가하고 강화 학습 등을 통해 모델 성능을 향상시키는 방법을 제시합니다.

핵심

🌍 MENLO: 전 세계 47 개 언어의 '현지인' 같은 AI 를 만드는 비밀

이 논문은 **"AI 가 전 세계 다양한 언어로 대화할 때, 정말 현지인처럼 자연스러운가?"**라는 질문에 답하기 위해 Meta 의 연구팀이 개발한 MENLO라는 새로운 시스템을 소개합니다.

기존의 AI 평가는 "문법 맞냐?", "사실 맞냐?" 정도만 봤다면, MENLO 는 **"이 사람이 그 나라 사람이라면 이렇게 말했을까?"**라는 훨씬 더 섬세한 기준을 도입했습니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 문제: "외국인처럼 말하지 않는 AI"

지금까지의 AI 는 영어로 공부해서 다른 언어를 말할 때, 마치 외국인이 한국어를 배우는 과정과 비슷했습니다. 문법은 맞지만, 현지인들이 일상에서 쓰는 뉘앙스나 유머, 문화적 맥락이 어색한 경우가 많았죠.

• 비유: 한국 드라마를 번역할 때, "밥 먹었어?"를 "Did you eat?"라고 직역하면 문법상 틀리지 않지만, 한국인 친구에게 말하기엔 너무 딱딱하고 어색하죠. AI 도 마찬가지였습니다.

2. 해결책: MENLO (현지인 평가단)

연구팀은 MENLO라는 시스템을 만들었습니다. 이는 단순히 점수를 매기는 것이 아니라, 47 개 언어의 현지인 평가단을 고용하여 AI 의 답변을 꼼꼼히 검토하는 방식입니다.

평가 기준은 크게 4 가지로 나뉩니다.

1. 유창함 (Fluency): 문장이 매끄럽고 문법 오류가 없는가? (글쓰기 실력)
2. 톤 (Tone): 말투가 적절하고 도움이 되는가? (친절함)
3. 현지화된 톤 (Localized Tone): 그 나라의 문화, 유머, 존댓말/반말 사용이 적절한가? (현지인 같은 느낌)
4. 현지화된 사실성 (Localized Factuality): 그 나라의 상황이나 지리에 맞는 사실을 말하는가? (현실감)

💡 핵심 아이디어: "누구에게 말하는가?"를 정해줍니다.
예를 들어, "친구네 가족 모임에서 두 번째 접시를 요청하는 법"이라는 질문을 할 때, 미국인 친구에게 말하는지 일본인 친구에게 말하는지에 따라 답변의 톤이 완전히 달라져야 합니다. MENLO 는 이런 '상황'을 고려해 AI 를 평가합니다.

3. 실험: AI 심판 vs 인간 심판

연구팀은 6,400 개 이상의 질문과 답변 쌍을 47 개 언어로 만들어 인간 전문가들이 평가했습니다. 그 결과 놀라운 사실을 발견했습니다.

• 한 번에 하나만 보는 것보다, 두 개를 비교하면 훨씬 잘 봅니다.

  • 비유: 시험지를 볼 때, "이 답이 100 점인가?"라고 혼자 판단하는 것보다, **"A 와 B 중 어떤 답이 더 좋은가?"**라고 비교하면 훨씬 정확하게 판단할 수 있습니다.
  • AI 심판들도 두 개의 답변을 나란히 놓고 비교하게 하면, 인간 전문가의 수준에 훨씬 가까워졌습니다.

• AI 심판도 훈련이 필요합니다.

  • 처음에는 AI 심판이 인간보다 못 했지만, **강화 학습 (RL)**이라는 훈련을 시키니 인간과 거의 비슷한 수준으로 성장했습니다. 특히 여러 언어를 한꺼번에 배우게 하는 '멀티태스킹' 훈련이 효과적이었습니다.

4. 결과: AI 가 AI 를 가르치다 (상호작용)

가장 흥미로운 부분은, 이렇게 훈련된 AI 심판을 다시 **AI 학생 (정책 모델)**을 가르치는 '선생님'으로 쓰였다는 점입니다.

• 과정: 훈련된 AI 심판이 "이 답변이 더 현지인 같아!"라고 점수를 매겨주면, AI 학생은 그 피드백을 받아 더 자연스러운 답변을 만들도록 스스로를 수정합니다.
• 결과: AI 학생의 답변 품질이 눈에 띄게 향상되었습니다.
• 주의할 점: AI 심판은 인간보다 과대평가하는 경향이 있었습니다. "이게 정말 인간이 쓴 것 같아?"라고 생각할 때, AI 는 "완벽해!"라고 점수를 너무 높게 주는 경우가 있었죠. 이는 인간과 AI 의 기준 차이가 아직 완전히 좁혀지지 않았음을 보여줍니다.

5. 요약: 왜 이 연구가 중요할까요?

이 연구는 AI 가 전 세계 어디서나 현지인처럼 자연스럽게 대화할 수 있게 하는 길을 열었습니다.

• 기존: "문법만 맞으면 OK"
• MENLO: "문화, 유머, 상황까지 고려해서 현지인처럼 말해야 OK"

이제 AI 는 단순히 정보를 전달하는 기계가 아니라, 한국인에게는 한국인처럼, 브라질인에게는 브라질인처럼 정서적으로 공감할 수 있는 진정한 대화相棒이 될 수 있는 기반을 마련했습니다.

---

한 줄 요약:

"AI 가 전 세계 47 개 언어로 현지인처럼 자연스럽게 말하려면, 두 개의 답변을 비교하게 하고 현지인 평가단으로 훈련시켜야 한다!"

기술 요약

MENLO: 47 개 언어에 걸친 네이티브 수준의 품질 평가 및 모델링 기술 요약

이 논문은 대규모 언어 모델 (LLM) 의 다국어 응답 품질, 특히 **네이티브 수준의 자연스러움 **(Native-like Quality)을 평가하고 향상시키기 위한 새로운 프레임워크인 MENLO(Multilingual Evaluation of Native-Like Output) 를 제안합니다. Meta Superintelligence Labs 에서 발표한 이 연구는 47 개 언어 변이체를 대상으로 한 대규모 인간 주석 데이터셋과 이를 활용한 강화 학습 (RL) 기반 평가자 및 보상 모델 개발을 다룹니다.

1. 문제 정의 (Problem)

LLM 이 전 세계적으로 유용하기 위해서는 단순한 번역 수준을 넘어, 특정 언어와 문화적 맥락에 부합하는 네이티브 수준의 응답을 생성해야 합니다. 기존 평가 방식은 다음과 같은 한계가 있었습니다:

• 확장성 부족: 표준화된 언어 능력 시험은 LLM 평가에 적용하기 어렵고 확장성이 떨어집니다.
• 맥락 부재: 기존 벤치마크는 주로 영어 기반의 번역된 프롬프트를 사용하거나, 문화적 뉘앙스, 지역적 사실성 (Localized Factuality) 등을 충분히 반영하지 못했습니다.
• 평가의 주관성: "네이티브 같은 품질"은 청중 설계 (Audience Design) 이론에 따라 화자와 청자의 관계, 문화적 맥락에 따라 달라지므로, 이를 정량화하는 것이 어렵습니다.

2. 방법론 (Methodology)

2.1 MENLO 프레임워크 및 데이터셋 구축

저자들은 네이티브 수준의 응답 품질을 네 가지 핵심 차원으로 정의하고, 이를 평가하기 위한 체계적인 프레임워크를 구축했습니다.

• 4 가지 평가 차원:
  1. **유창성 **(Fluency) 문법, 일관성, 명확성, 오류 부재.
  2. **톤 **(Tone) 응답의 전체적인 스타일, 유익함, 통찰력, 공정성.
  3. **지역화된 톤 **(Localized Tone) 문화적, 지역적, 언어적 뉘앙스와의 정합성 (예: 공손함, 유머, 관용구).
  4. **지역화된 사실성 **(Localized Factuality) 현지 맥락에 기반한 사실적 정확성과 완전성.
• 데이터셋 구성:
  • 규모: 47 개 언어 변이체 (예: 스페인어/포르투갈어의 남미/유럽 변이체, 영어의 지역별 변이체 등) 를 포함하는 6,423 개의 프롬프트 - 응답 쌍.
  • 주석: 총 81,014 개의 인간 주석 (각 응답 쌍당 최소 3 명의 원어민 주석자).
  • 신뢰도: 크리펜도르프 알파 (Krippendorff's α) 평균 0.84로 높은 주석자 간 일치를 기록.
  • 프로세스: 영어 템플릿을 기반으로 현지화 (Localization) 를 수행하고, 전문적인 주석 가이드라인과 rubrics(평가 기준) 를 제공하여 주관성을 최소화했습니다.

2.2 LLM 평가자 (LLM-Judges) 평가 및 학습

• Zero-shot 평가: 다양한 오픈소스 및 API 모델 (Qwen3, Llama4, GPT-4 등) 을 평가자로 사용.
  • **점별 **(Pointwise) vs **쌍별 **(Pairwise) 비교: 두 응답을 동시에 비교하는 Pairwise 방식이 단일 응답을 평가하는 Pointwise 방식보다 훨씬 우수한 성능을 보임.
  • Rubrics 의 효과: 상세한 평가 기준 (Rubrics) 을 제공하면 평가 정확도가 크게 향상됨.
• 학습 전략:
  • **SFT **(Supervised Fine-Tuning) 교차 엔트로피 손실로 직접 점수 예측.
  • **RL **(Reinforcement Learning) GRPO 알고리즘 사용. Reward Shaping(정확도, 근접 점수 보정, 선호도 보너스)을 적용한 복합 보상 신호를 설계.
  • Multi-task Learning: 모든 차원을 동시에 학습하는 방식이 단일 차원 학습보다 효율적이고 성능이 우수함.

2.3 생성형 보상 모델 (Generative Reward Models)

학습된 LLM 평가자를 **보상 모델 **(Reward Model, RM)로 활용하여 정책 모델 (Policy Model) 을 직접 미세 조정 (Post-training) 하는 실험을 수행했습니다.

3. 주요 결과 (Key Results)

3.1 평가 성능

• Pairwise 평가의 우위: Zero-shot 설정에서 Pairwise 평가는 Pointwise 평가 대비 Macro-F1 에서 최대 +12.4%, 선호도 정확도 (Preference Accuracy) 에서 **+18.0%**까지 향상되었습니다.
• RL 기반 평가자의 성능:
  • RL 로 학습된 모델 (Qwen3-4B, Llama4-Scout) 은 SFT 모델보다 일관되게 우수했습니다.
  • 특히 Multi-task RL 과 Reward Shaping을 적용한 Llama4-Scout 모델은 47 개 언어에서 인간 주석자와 유사한 일치도 수준에 도달했으며, 최상위 API 모델 (gpt-4.1) 을 능가하는 성능을 보였습니다.
• 차원별 성능: 유창성, 톤, 지역화된 톤에서는 높은 성능을 보였으나, **지역화된 사실성 **(Localized Factuality)은 여전히 어려운 과제로 남아있었습니다 (검색/도구 사용 등의 추가 전략 필요).

3.2 정책 모델 개선 효과

• 학습된 평가자를 보상 모델로 사용하여 Qwen3-4B 를 후학습 (Post-training) 시켰을 때, 자동 평가자와 인간 평가자 모두 응답 품질이 향상됨을 확인했습니다.
• 과대평가 문제: LLM 평가자는 인간 평가자에 비해 개선 폭을 과대평가하는 경향이 있었습니다 (예: 인간 기준 +10.9% 개선 vs LLM 기준 +25.9% 개선). 이는 LLM 이 네이티브 품질의 미묘한 뉘앙스보다는 스타일적 특징에 편향될 수 있음을 시사합니다.

4. 주요 기여 (Contributions)

1. MENLO 프레임워크 개발: 청중 설계 (Audience Design) 이론을 기반으로 한 네이티브 품질 평가 체계와 4 가지 차원의 상세한 Rubrics 제시.
2. 대규모 다국어 데이터셋: 47 개 언어, 6,423 개의 프롬프트 - 응답 쌍으로 구성된 고품질 데이터셋 공개.
3. LLM 평가자 최적화: Pairwise 평가와 Rubrics 의 중요성 입증, RL 기반 학습을 통해 인간 수준에 근접한 평가자 개발.
4. 생성형 보상 모델 활용: 학습된 평가자를 통해 정책 모델의 다국어 능력을 직접 향상시키는 유효한 방법론 제시.
5. 확장 가능한 평가 체계: 다국어 LLM 의 품질 평가와 선호도 정렬 (Preference Alignment) 을 위한 실용적이고 확장 가능한 프레임워크 제공.

5. 의의 및 결론

이 연구는 LLM 의 다국어 능력을 단순한 번역 정확도가 아닌, 문화적 맥락과 네이티브 수준의 자연스러움으로 평가해야 함을 강조합니다. MENLO 프레임워크는 인간 주석의 비용과 확장성 문제를 해결하면서도 고품질 평가를 가능하게 하는 중요한 도구입니다. 특히 RL 기반의 Pairwise 평가와 보상 모델링은 다국어 LLM 의 성능을 극대화하는 핵심 기술로 부각되었습니다.

다만, LLM 평가자가 인간보다 개선 효과를 과대평가하는 경향은 여전히 해결해야 할 과제로, 향후 인간 - AI 협업 평가 시스템의 정교화가 필요함을 시사합니다. 연구팀은 데이터셋과 프레임워크를 오픈하여 다국어 LLM 평가 연구의 발전을 촉진하고 있습니다.