💬 NLP

$M^2PO$ : Multi-Perspective Multi-Pair Preference Optimization for Machine Translation

본 논문은 이중 관점 커리큘럼과 다중 쌍 선호도 목적 함수를 채택하여 품질 추정 모델이 충실도보다 유창성 쪽으로 편향되는 문제를 해결함으로써, 9B 모델이 선도적인 독점 시스템에 필적하는 번역 품질을 달성할 수 있게 하는 데이터 중심 프레임워크인 $M^2PO$ 를 제안한다.

원저자: Hao Wang, Linlong Xu, Heng Liu, Yangyang Liu, Xiaohu Zhao, Bo Zeng, Liangying Shao, Yichen Dong, Xinwei Wu, Jiang Zhou, Tianyu Dong, xiangxiang Zeng, Longyue Wang, Weihua Luo

게시일 2026-07-29

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Hao Wang, Linlong Xu, Heng Liu, Yangyang Liu, Xiaohu Zhao, Bo Zeng, Liangying Shao, Yichen Dong, Xinwei Wu, Jiang Zhou, Tianyu Dong, xiangxiang Zeng, Longyue Wang, Weihua Luo

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 아주 똑똑한 로봇에게 언어를 번역하는 법을 가르치고 있다고 상상해 보세요. 당신은 단순히 로봇이 유창하게 말하기만을 원하는 것이 아니라, '정직하게' 말하기를 원합니다. 인공지능의 세계에서 이것은 매끄럽게 말하는 거짓말쟁이와 진실을 말하는 이야기꾼 사이의 차이입니다. 오랫동안 과학자들은 "강화 학습(Reinforcement Learning)"이라 불리는 방법을 사용하여 이 거대한 언어 모델들을 인간의 선호도에 맞추기 위해 노력해 왔습니다. 이것은 마치 강아지를 훈련시키는 것과 같습니다. 로봇이 옳은 일을 했을 때는 보상(간식)을 주고, 실수를 했을 때는 부드럽게 "안 돼"라고 말하는 식이죠. 까다로운 점은 무엇이 정확히 "옳은" 것인지 결정하는 것입니다. 보통 우리는 로봇의 작업물을 채점하기 위해 자동화된 성적표를 사용합니다. 하지만 여기에는 함정이 있습니다. 이 성적표들은 때때로 쉽게 속을 수 있습니다. 어떤 번역은 매우 아름답고 완벽하게 흐르지만, 실제로는 사실을 지어내거나 중요한 세부 사항을 누락할 수도 있는데, 성적표는 여기에 높은 점수를 줄 수 있습니다. 이는 마치 예쁜 단어로 가득 찬 시를 썼지만 정작 시험 문제에 대한 답은 잊어버린 학생과 같습니다. 로봇은 스타일 덕분에 금메달을 받지만, 선생님은 그 의미가 틀렸다는 것을 알고 있습니다. 이것은 큰 문제입니다. 왜냐하면 로봇이 자신이 거짓말을 하고 있음에도 불구하고 잘하고 있다고 생각한다면, 계속해서 거짓말을 할 것이기 때문입니다.

이것이 바로 M2PO 논문의 연구자들이 해결하려고 하는 퍼즐입니다. 그들은 표준적으로 사용되는 번역 채점 방식들이 사각지대를 가지고 있다는 점을 발견했습니다. 이 성적표들은 명백한 재앙(예: 횡설수설)이나 완벽한 번역은 잘 잡아내지만, 중간 지대에서는 혼란을 겪습니다. 저자들이 **"불확실성의 구역(Zone of Uncertainty)"**이라고 부르는 이 중간 지대에서는, 번역이 몇 가지 핵심적인 세부 사항을 놓치거나 약간의 지어낸 정보를 추가할 수 있지만, 여전히 유창하게 들리기 때문에 성적표는 높은 등급을 부여합니다. 로봇은 이 높은 등급을 보고 "좋아, 잘하고 있어!"라고 생각하며 미묘한 실수들을 계속 저지르게 됩니다.

이를 해결하기 위해 팀은 M2PO(Multi-Perspective Multi-Pair Preference Optimization)라는 새로운 훈련 프레임워크를 발명했습니다. M2PO는 단순히 최종 등급을 보는 대신, 두 가지 영리한 방식으로 로봇이 학습하는 방식을 바꿉니다. 첫째, M2-PO는 문장이 잘 흐르는지만 확인하는 것이 아니라 이야기가 실제로 사실인지도 확인하는 엄격한 편집자처럼 행동합니다. 그들은 특수한 "진실 탐지기"(Semantic Alignment Classifier라고 불림)를 사용하여, 문장이 아무리 예쁘게 들리더라도 무언가를 지어내거나 누락하는 번ual에 대해 혹독한 벌칙을 부여합니다. 이를 통해 로봇은 유창함만으로는 충분하지 않으며, 반드시 원문 내용에 충실해야 한다는 것을 배우게 됩니다.

둘째, M2PO는 단순한 "최고 vs 최악"의 비교에서 완전한 토너먼트 방식으로 게임의 규칙을 바꿉니다. 보통 훈련은 단 하나의 최고의 번역과 단 하나의 최악의 번역만을 살펴봅니다. 하지만 연구자들은 가장 중요한 교훈이 중간 단계, 즉 거의 맞았지만 미묘하고 교활한 오류를 가진 번역들에 숨겨져 있다는 것을 깨달았습니다. M2PO는 가능한 모든 번역을 최고부터 최악까지 줄 세운 뒤, 로봇이 그것들을 서로 쌍으로 비교하도록 강제합니다. 이것은 코치가 선수에게 금메달리스트와 꼴찌만을 보여주는 것이 아니라, 작은 실수를 저지른 준우승자를 가리키며 "차이가 보이니? 저게 네가 고쳐야 할 부분이야"라고 말하는 것과 같습니다.

이 새로운 접근 방식의 결과는 인상적입니다. 연구진이 90억 개의 파라미터를 가진 모델(매우 크지만 세상에서 가장 큰 것은 아닌 수준)로 테스트했을 때, 로봇은 번역 능력이 매우 뛰어나져서 훨씬 더 큰 오픈 소스 모델들을 이겼고, 심지어 GPT-4o나 Gemini-2.0-Flash와 같은 값비싼 독점 시스템의 성능과도 대등한 수준을 보였습니다. 이 논문은 "성적표"의 편향성을 수정하고 로봇이 까다로운 중간 단계의 오류에 주의를 기울이도록 가르침으로써, 우리가 단순히 로봇을 더 크게 만드는 것만큼이나 똑똑한 훈련 방식이 강력할 수 있음을 보여줍니다. 저자들은 이 방법이 다양한 언어와 데이터셋 전반에서 작동한다는 것을 발견했으며, 이는 더 똑똑한 훈련 방식이 단순히 로봇을 키우는 것만큼이나 강력할 수 있음을 입증합니다.

기술 요약: M2PO (Multi-Perspective Multi-Pair Preference Optimization)

1. 문제 정의

본 논문은 기계 번역(MT)을 위한 대규모 언어 모델(LLM) 정렬 과정에서 발생하는 핵심적인 병목 현상, 즉 선호도 최적화(Preference Optimization, PO)에 사용되는 보상 신호의 불신뢰성 문제를 다룹다. 지도 미세 조정(SFT)과 인간 피드백 기반 강화 학습(RLHF)이 기계 번역 분야를 발전시켜 왔으나, 이들은 종-종 품질 추정(Quality Estimation, QE) 모델(예: XCOMET, COMET-KIWI)에 의존하여 보상 신호를 제공한다.

저자들은 이러한 QE 메트릭에서 나타나는 체계적인 "사각지대(blind spot)"를 식별하였다. 즉, QE 메트릭은 표면적인 유창성(fluency)에 강하게 편향되어 있어, 부분적 오류(특히 부분적 환각 및 누락)를 처벌하는 데 실패하는 경우가 많다. 이러한 오류는 번역문이 언어적으로는 유창하지만 의미론적으로는 충실하지 못한 결과를 초래한다. 저자들은 이러한 부분적 오류가 집중되는 "불확실성 영역(Zone of Uncertainty)"(커버리지 점수 30~80 사이)을 정의한다. 이 영역에서 표준 QE 메트릭은 충실도(faithfulness)와 단조적인 정렬(monotonic alignment)을 잃게 되며, 결함이 있는 후보군에 대해 기만적으로 높은 점수를 부여한다. 결과적으로, 일반적으로 단일 "최선 대 최악(best-versus-worst)" 쌍 비교에 의존하는 표준 PO 방식은 이러한 비극단적 샘플들을 배제하며, 이는 학습 과정에서 이들을 보이지 않게 만들어 보상 해킹(reward hacking)을 유발한다.

2. 방법론: M2PO 프레임워크

M2PO는 이러한 보상 편향을 교정하고 데이터 효율성을 개선하기 위해 설계된 데이터 중심 프레임워크이다. 이는 두 가지 주요 구성 요소인 **다각적 선호도 구축(Multi-Perspective Preference Construction)**과 **다중 쌍 공동 최적화(Multi-Pair Joint Optimization)**로 이루어진다.

A. 다각적 선호도 구축

표준 QE 메트릭의 한계를 완화하기 위해, M2PO는 하이브리드 접근 방식을 통해 견고한 보상 신호를 구축한다:

하이브리드 후보 생성: 각 소스 입력에 대해, 프레임워크는 강력한 외부 모델(예: GPT-4o-mini)에서 절반을, 기본 모델에서 절반을 샘플링하여 $K$ 개의 후보군(예: $K=8$ )을 생성한다. 이는 완벽한 충실도부터 유창하지만 불충실한 부분적 오류에 이르기까지 다양한 오류 스펙트럼을 보장한다.
의미론적 정렬 분류기 (Semantic Alignment Classifier, SAC): QE의 유창성 편향을 교정하기 위해, M2PO는 LLM 기반의 SAC를 도입한다. 단순히 연속적인 QE 점수에 의존하는 대신, SAC는 후보군을 전체 일치(Full Match), 높은 부분 일치(High Partial), 낮은 부분 일치(Low Partial), *불일치(No Match)*의 이산적 단계로 분류한다.
동적 보상 융합: 최종 보상은 정적 QE 점수(예: KIWI-XXL)와 SAC 계수의 융합이며, 이는 동적 커리큘럼에 의해 조절된다.
- 정적 보상은 $r_s = r_{qe} \cdot S_{align}$ 로 계산되며, 여기서 SAC는 고신뢰도이지만 불충실한 후보군을 억제하는 "심각도 인지적 거부권(severity-aware veto)" 역할을 한다.
- 이는 동적 가중치 스케마( $\alpha_t$ )를 사용하여 모델의 내재적 확신도(log-probability)와 융합된다. 커리큘럼은 학습 단계에 따라 외부 근거(low $\alpha_t$ )에 의존하는 단계에서 자기 정교화(high $\alpha_t$ ) 단계로 전환되며, 이를 통해 초기 편향을 교정하면서 보상 과최적화를 방지한다.

B. 다중 쌍 공동 최적화

미세한 오류를 포착하는 데 있어 표준 쌍별 비교의 비효율성을 해결하기 위해, M2PO는 목적 함수를 다중 쌍(Multi-Pair) 형식으로 확장한다:

계층적 쌍 구성: 후보군은 융합된 보상 점수에 따라 정렬된다. 단일한 최선( $y_w$ )과 최악( $y_l$ )의 쌍만을 선택하는 대신, 프레임워크는 상위- $i$ 와 하위- $i$ 후보를 결합하여 $M = K/2$ 개의 쌍을 구성한다. 이는 난이도의 구배(gradient)를 생성하며, 표준 방식이 무시하는 "어려운 부정 사례(hard negatives, 부분적 오류)"를 명시적으로 포함한다.
로컬 목적 함수 (Dynamic Multi-Pair CPO): 모델은 쌍 간의 정규화된 마진 갭(margin gap)에 의해 가중치가 부여된 공동 선호도 목적 함수를 최소화한다. 이는 뚜렷한 품질 차이를 강조하는 동시에, "불확실성 영역"에서의 과적합을 방지하기 위해 모호한 쌍의 영향력을 약화시킨다.
글로벌 정규화 (Listwise Ranking Loss): 전역적인 서수 일관성(ordinal consistency)을 보장하기 위해, Listwise Ranking Loss가 적용된다. 이는 모델의 출력 분포를 융합된 보상으로부터 도출된 타겟 분포에 대해 정규화하며, 충실도 저하에 대한 안전장치 역할을 한다.

최종 목적 함수는 가중치가 부여된 다중 쌍 CPO 손실과 랭킹 손실의 결합이다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 명시한다:

QE 사각지대 식별: 저자들은 현재의 QE 메트릭이 "불확실성 영역" 내에서 유창하지만 불충실한 번역을 구분하는 데 체계적으로 실패하며, 이로 인해 오도된 보상 신호를 생성한다는 것을 경험적으로 입증하였다.
M2PO 프레임워크: 이들은 다각적 정렬(이산적 의미론적 분류기와 연속적 QE의 통합)과 다중 쌍 최적화(전체 후보 스펙트럼 활용)를 융합하는 새로운 프레임워크를 제안한다. 이는 데이터 효율성을 극대화하고 미세한 오류 신호를 포착하기 위해 표준 쌍별 방식에서 벗어난다.
독점 모델과의 격차 해소: 이 프레임워크는 컴팩트한 오픈 소스 모델(예: 9B 파라미터)이 감독 노이즈를 교정하여, 데이터 생성기(예: GPT-4o-mini)를 능가하고 GPT-4o나 Gemini-2.0-Flash와 같은 강력한 독점 시스템과 대등하거나 때로는 이를 능가하는 성능을 달성할 수 있게 한다.

4. 실험 결과

저자들은 WMT23, WMT24, FLORES-200 벤치마크의 6개 번역 방향(En↔Zh, En↔De, En↔Ja)에 대해 M2PO를 평가하였다.

성능: 9B 파라미터 베이스 모델(GemmaX2-28-9B)을 사용하여, M2PO는 WMT23에서 97.87의 커버리지 점수와 89.67 XCOMET을 달성하였다. 이는 훨씬 더 큰 규모의 오픈 소스 베이스라인(예: Aya-expanse-32B)을 크게 앞질렀으며, 데이터 생성기인 GPT-4o-mini를 능가하였다.
충실도 vs 품질: M2PO는 "불확실성 영역"에서의 부분적 오류 비율을 기존 CPO의 약 6.2%에서 **3.0%**로 효과적으로 감소시키는 동시에 번역 품질을 향상시켰다.
일반화: 프레임워크는 서로 다른 베이스 모델(Qwen3-4B-Instruct 및 GemmaX2-28-9B)과 서로 다른 선호도 목적 함수(DPO, KTO, SimPO, ORP)에 대해 견고함을 입증하여 그 유연성을 확인하였다.
인간 평가: 블라인드 전문가 평가에서 M2PO는 89.11%의 충실도(Full Match)를 기록하였는데, 이는 베이스 모델(72.67%)과 데이터 생성기(87.11%)에 비해 상당한 개선이다.

5. 의의 및 주장

본 논문은 M2PO가 컴팩트한 오픈 소스 모델을 사용하여 고충실도 기계 번역으로 나아가는 견고한 경로를 제공한다고 주장한다. 의미론적 충실도를 유창성과 분리하고 전체 후보 스펙트럼을 활용함으로써, 이 프레임워크는 유창성 편향적 메트릭에 의한 "보상 해킹"을 극복한다.

저자들은 이들의 접근 방식이 모델의 파라미터 규모에 의존하지 않고도 오픈 소스 모델이 독점 시스템과 경쟁할 수 있게 한다고 강조한다. 이들은 M2PO를 단순한 최적화 알고리즘이 아니라, 기계 번역에서 선호도 데이터가 구성되고 활용되는 근본적인 결함을 교정하는 데이터 중심 솔루션으로 정의한다. 이 연구는 높은 충실도의 번역 능력을 끌어내는 열쇠는 규모 자체가 아니라 정밀한 선호도 정렬에 있음을 시사한다.

논문은 확장성에 대해 겸허한 태도를 유지하며, 더 큰 아키텍처(70B+) 및 저자원 언어에 대한 검증과, 신호 생성을 위한 상용 API 의존 없이 완전한 오픈 소스 배포를 위한 프레임워크 최적화에 대한 후속 연구가 필요함을 언급하고 있다.