Cross-Preference Learning for Sentence-Level and Context-Aware Machine Translation

1. 문제 정의 (Problem)

현대 기계 번역 (MT) 시스템은 단일 문장 기반 (Sentence-level) 번역과 문서 내 맥락을 활용한 문맥 인식 (Context-aware) 번역이라는 두 가지 입력 조건을 모두 처리해야 하는 요구를 받고 있습니다. 그러나 기존 연구와 실험 결과에서 다음과 같은 핵심적인 문제가 발견되었습니다.

• 맥락의 불일치한 효용성: 문맥 (Context) 정보가 항상 번역 품질을 향상시키는 것은 아닙니다. 일부 문장에서는 문맥이 번역을 크게 개선하지만, 다른 많은 문장에서는 문맥이 불필요하거나 오히려 노이즈가 되어 성능을 저하시키기도 합니다.
• 고정된 학습 목표의 한계: 기존 모델들은 특정 입력 조건 (문장만 또는 문맥 포함) 에 대해 고정적으로 학습되므로, "언제 문맥을 활용해야 하는지"를 명시적으로 판단하거나 적응적으로 조절하는 메커니즘이 부족합니다.
• 기존 선호도 최적화 (Preference Optimization) 의 제한: DPO, CPO, SimPO 와 같은 기존 선호도 학습 방법들은 단일 입력 조건 내에서만 선호도를 학습하도록 설계되어 있어, 서로 다른 입력 조건 (문장 vs 문맥) 간의 상호작용을 모델링하지 못합니다.

2. 제안 방법: Cross-Preference Learning (CPL)

이 논문은 이러한 문제를 해결하기 위해 **Cross-Preference Learning (CPL)**이라는 새로운 선호도 기반 학습 프레임워크를 제안합니다. CPL 은 단일 모델이 두 가지 입력 조건 모두에서 강건하게 작동하도록 하며, 구조적 변경 없이 학습 목적 함수 (Objective) 만을 확장합니다.

핵심 메커니즘

CPL 은 두 가지 유형의 선호도 학습을 통합합니다:

1. Intra-Condition Preference Learning (조건 내 선호도 학습):

   • 기존 CPO (Contrastive Preference Optimization) 를 확장하여, 문장 기반 조건과 문맥 기반 조건 각각 내에서 선호도 쌍 (우선 번역 vs 비선호 번역) 을 학습합니다.
   • 이는 각 조건 내에서 번역 품질을 개별적으로 최적화합니다.

2. Cross-Condition Preference Learning (조건 간 선호도 학습):

   • 핵심 기여: 동일한 소스 문장에 대해 문장 기반 번역과 문맥 기반 번역을 직접 비교하여 선호도를 학습합니다.
   • Winning Condition 식별: 자동 평가 지표 (COMET 등) 를 기반으로 두 조건 중 더 나은 번역을 생성한 조건을 '승자 조건 (Winning Condition)'으로 정의합니다.
   • 학습 쌍 구성:
     • $(y^+_w, y^+_l)$: 승자 조건의 최상 번역 vs 패자 조건의 최상 번역
     • $(y^+_w, y^-_l)$: 승자 조건의 최상 번역 vs 패자 조건의 최하 번역
   • 이를 통해 모델은 "어떤 상황에서 문맥이 도움이 되는지"와 "문맥이 해가 될 때는 문장 기반 번역을 선호해야 함"을 명시적으로 학습하게 됩니다.

최종 목적 함수

CPL 의 전체 목적 함수는 조건 내 손실 ($L_{intra}$) 과 조건 간 손실 ($L_{cross}$) 의 합으로 정의됩니다.
$$L_{CPL}(\theta) = L_{intra}(\theta) + L_{cross}(\theta)$$
이 접근법은 아키텍처 변경 없이 공유 파라미터를 가진 단일 모델이 두 가지 입력 조건 모두에서 적응적으로 작동하도록 합니다.

3. 주요 기여 (Key Contributions)

1. 다중 작업 선호도 학습 프레임워크: 문장 기반과 문맥 인식 번역을 통합적으로 지원하는 선호도 기반 최적화 프레임워크를 최초로 제안했습니다.
2. Cross-Condition Preference Optimization (Cross-CPO): 두 번역 조건 간의 상호작용을 명시적으로 모델링하는 새로운 손실 함수를 도입하여, 모델이 문맥을 상황에 따라 적응적으로 활용하도록 학습시켰습니다.
3. 구조 변경 없는 성능 향상: 아키텍처 수정 없이 학습 목적 함수만 변경하여, 다양한 모델 (Qwen3-4B/8B, Llama-3-8B) 에서 일관된 성능 향상을 입증했습니다.

4. 실험 결과 (Results)

논문은 WMT25 뉴스 코퍼스 (News Commentary v18.1) 를 기반으로 6 가지 언어 쌍 (En-De, Es, Fr, It, Nl, Ru) 에서 실험을 수행했습니다.

• 성능 향상: CPL 은 모든 베이스라인 (단순 미세 조정, 기존 CPO 적용 모델, 다중 조건 학습 모델) 보다 Sentence-level과 Context-aware 조건 모두에서 COMET 점수를 유의미하게 향상시켰습니다.
  • 예: Qwen3-8B 기준, 평균 COMET 점수가 약 0.84~1.12 포인트 향상되었습니다.
• 문맥 활용 능력 분석:
  • 유용한 문맥: 문맥이 번역에 도움이 되는 경우, CPL 은 문맥을 효과적으로 활용하여 성능을 높였습니다.
  • 노이즈가 있는 문맥: 문맥이 무작위로 치환되거나 해로운 경우, CPL 은 문장 기반 번역과 유사한 성능을 유지하며 **강건성 (Robustness)**을 입증했습니다. 이는 모델이 문맥의 유용성을 판단하여 적응적으로 선택한다는 것을 의미합니다.
• 추가 품질 지표: 일관성 (Coherence), 충실도 (Faithfulness, ALTI+), 유창성 (Fluency) 평가에서도 CPL 이 가장 높은 점수를 기록했습니다.
• GPT-as-Judge 평가: GPT-5 를 평가자로 사용한 인간 수준의 평가에서도 CPL 이 기존 모델보다 일관성, 유창성, 충실도 등 모든 측면에서 우월한 것으로 나타났습니다.

5. 의의 및 결론 (Significance)

이 연구는 기계 번역 분야에서 문맥의 활용이 항상 긍정적이지 않음을 재확인하고, 이를 해결하기 위한 새로운 패러다임을 제시했습니다.

• 적응형 번역: 단일 모델이 입력 조건 (문맥 유무) 에 관계없이 최적의 번역 전략을 선택할 수 있도록 하여, 실제 배포 환경에서의 신뢰성을 높였습니다.
• 간결한 솔루션: 복잡한 아키텍처 변경이나 별도의 모델 병합 없이, 학습 목적 함수의 확장만으로 문제를 해결했다는 점에서 실용성이 매우 높습니다.
• 향후 방향: 문서 수준의 기계 번역 (DocMT) 이나 긴 컨텍스트 처리 분야에서 선호도 학습을 적용하는 새로운 기준을 마련했다는 점에서 의의가 큽니다.

결론적으로, **Cross-Preference Learning (CPL)**은 문맥이 도움이 되는지 여부를 모델이 스스로 판단하고 적응적으로 활용함으로써, 기존 방식의 한계를 극복하고 번역 품질과 강건성을 동시에 향상시킨 혁신적인 방법론입니다.