기술 요약: CROCO – 자기 생성물을 활용한 교차 언어적 대비 선호도 튜닝

문제 제기

대형 언어 모델 (LLM) 을 인간의 선호도와 정렬하는 것은 사후 훈련의 결정적 최종 단계이며, 일반적으로 직접 선호도 최적화 (DPO) 를 통해 달성됩니다. 최근 발전은 DPO 가 인간 주석이 아닌 자기 생성 샘플 (정책의 자체 출력을 점수 매기기 위해 보상 모델을 사용하는) 에 적용될 수 있음을 입증했으나, 이러한 방법들은 영어에서만 확립되었습니다.

이를 다언어 환경으로 확장하는 것은 상당한 도전을 제시합니다. 이전의 다언어 선호도 정렬 작업은 번역 기반 신호에 의존하거나, 영어와 다른 언어 간의 능력 격차를 암시적 보상으로 활용하거나, 노이즈가 있는 쌍을 위해 손실을 재가중치했습니다. 그러나 자기 생성물에 대한 대비적 선호도 튜닝(상대적 보상 점수에 기반하여 선호도 쌍을 구성하는 메커니즘) 이 언어별 선호도 주석 없이도 언어 간에 전이될 수 있는지는 여전히 열린 질문으로 남아 있습니다. 또한, 영어 선호도만으로 훈련된 보상 모델 (RM) 이 다언어 정렬을 주도하기 위해 다른 언어의 응답을 효과적으로 순위 매길 수 있는지도 불분명합니다.

방법론: CROCO

저자들은 다언어로 "스위트 스팟 (sweet spot)" 선호도 구성 (Xiao et al., 2025) 을 확장하는 프레임워크인 CROCO(자기 생성물을 활용한 교차 언어적 대비 선호도 튜닝) 를 제안합니다.

핵심 메커니즘

1. 자기 생성: 목표 언어 $\ell$의 주어진 프롬프트 $x$에 대해, 정책 모델 $\pi_\theta$는 $K$개의 후보 응답 ($Y_x$) 을 생성합니다.
2. 보상 점수 매기기: 외부 오프더셸 (off-the-shelf) 보상 모델 (RM) 이 이러한 응답들을 점수 매깁니다. 중요한 점은 RM 이 영어 선호도로 훈련되었지만 다언어 기반 모델 (예: Qwen3-8B) 위에 구축되었다는 것입니다.
3. 대비 쌍 구성: 최고 점수 응답을 절대 최저 점수 응답과 짝짓는 대신, 이 방법은 통제된 대비성을 유도하기 위해 "스위트 스팟"을 선택합니다:
   • 선택된 ($y_c$): 최대 보상을 가진 응답.
   • 거부된 ($y_r$): 해당 프롬프트에 대한 보상 분포의 평균 ($\mu$) 과 표준 편차 ($\sigma$) 를 기준으로 $\mu_x - 2\sigma_x$에 가장 가까운 보상을 가진 응답.
4. 훈련: 모델은 이렇게 구성된 쌍을 사용하여 DPO 로 미세 조정됩니다. 저자들은 두 가지 방식을 평가합니다:
   • 단언어: 각 언어의 데이터에 대해 독립적으로 튜닝.
   • 다언어: 모든 언어에 걸친 데이터의 합집합에 대해 공동으로 튜닝.

실험 설정

• 모델: 서로 다른 규모의 두 모델이 테스트되었습니다: EuroLLM-9B(90 억 파라미터) 와 aya-3B(30 억 파라미터).
• 데이터: Dolci-Instruct-SFT 코퍼스에서 20,000 개의 지시 튜닝 인스턴스가 TranslateGemma-27B 를 사용하여 6 개 유럽 언어 (덴마크어, 네덜란드어, 프랑스어, 독일어, 이탈리아어, 스페인어) 로 번역되었습니다.
• 보상 모델: 다언어 기반을 가진 영어 선호도 훈련 RM 인 Skywork-Reward-V2-Qwen3-8B.
• 베이스라인: 번역된 데이터에 대한 표준 지도 미세 조정 (SFT), 최고 보상 응답만 사용한 SFT(Max-R), 그리고 기존 다언어 선호도 튜닝 방법 (ICR, MAPO).

주요 기여

1. 대비 튜닝의 교차 언어적 전이: 이 논문은 자기 생성물에 대한 대비적 선호도 튜닝이 언어 간에 효과적으로 전이됨을 입증합니다. 짝지어진 자기 생성물에 대한 DPO 는 SFT 베이스라인 및 기존 다언어 방법보다 우수하며, 번역된 데이터에 대한 표준 SFT 는 재앙적 망각을 초래합니다.
2. 언어별 주석의 제거: 이 연구는 다언어 선호도 튜닝이 언어별 선호도 주석을 필요로 하지 않음을 보여줍니다. 다언어 기반 위에 있는 영어 전용 RM 은 일관된 언어 내 순위 매기기를 생성하여 대부분의 언어에서 개선을 주도합니다.
3. 규모 및 작업 전반의 견고성: 이 방법은 구조화된 작업 (EuroEval) 과 개방형 생성 (m-ArenaHard 2.1) 모두에서 성능을 향상시킵니다. EuroLLM-9B 의 경우 7 개 언어 중 6 개 언어에서, aya-3B 의 경우 7 개 언어 중 4 개 언어에서 구조화된 작업에 대해 기본 모델을 맞먹거나 능가하며, 개방형 생성에서는 평가된 11 개 언어 모두에서 기본 모델보다 승리합니다.
4. 어블레이션 통찰:
   • 온-정책의 필요성: 개선은 온-정책 데이터를 필요로 합니다. 오프-정책 응답 (다른 모델이 생성한) 은 이점을 감소시키며, 외부 RM 을 사용할 때 온라인 선호도 최적화는 오프라인 변형보다 개선되지 않습니다.
   • 프롬프트 언어: 최적의 성능을 위해 프롬프트 언어는 선택된 응답 언어와 일치해야 합니다.
   • 번역의 유용성: SFT 는 번역된 데이터로 인해 저하되지만, DPO 의 대비 신호는 절대적 목표가 아닌 상대적 보상 격차에 의존하므로 번역이 노이즈를 추가하더라도 여전히 유익합니다.

결과

• EuroEval(구조화된 작업):
  • SFT 실패: 번역된 데이터에 대한 단언어 및 다언어 SFT 모두 재앙적 망각을 초래하여, 성능 저하가 0.1 에서 11.3 점까지 다양했습니다.
  • DPO 성공: 짝지어진 DPO 는 aya-3B 의 경우 14 개 설정 중 12 개에서 음수가 아니었으며, EuroLLM-9B 의 경우 14 개 설정 중 10 개에서 베이스라인을 개선했습니다. 가장 큰 개선은 이탈리아어 (단언어) 에서 EuroLLM-9B 가 +3.6 점이었습니다.
  • 비교: 짝지어진 DPO 는 모든 언어에서 평균적으로 음수가 아니었던 유일한 방법이었으며, 종종 성능을 저하시킨 ICR 및 MAPO 를 능가했습니다.
• m-ArenaHard 2.1(개방형 생성):
  • 짝지어진 DPO 는 모든 7 개 언어에서 EuroLLM-9B 기본 모델에 대해 길이 제어 (LC) 승률이 54.5% 에서 58.4% 사이를 기록했습니다.
  • aya-3B 의 경우, LC 승률은 55.5% 에서 66.3% 사이였으며 대부분의 언어에서 두 자릿수 개선을 보였습니다.
  • 이 방법은 대부분의 언어에서 기본 모델과 더 큰 참조 모델 (Gemma3-12B 및 Gemma3-4B) 간의 성능 격차를 성공적으로 좁혔습니다.
• 일반화: 이 방법은 EuroEval 에서 홀드아웃 언어 (노르웨이어, 포르투갈어, 스웨덴어) 에 긍정적으로 일반화되었으나, 다언어 SFT 는 모든 홀드아웃 데이터셋에서 성능을 저하시켰습니다.

중요성 및 주장

이 논문은 CROCO가 보상 모델이 영어 선호도만으로 훈련되었음에도 불구하고 상대적 보상 격차가 언어 간에 전이되는 견고한 신호임을 입증함으로써 다언어 선호도 튜닝을 위한 유망한 방향을 제시한다고 주장합니다.

저자들은 DPO 목적 함수가 절대적 보정보다 짝지어진 응답의 상대적 순서에 의존하기 때문에 번역 노이즈와 교차 언어적 오보정을 견딜 수 있다고 가정합니다. 이 발견은 온-정책 자기 생성물을 사용하여 대비 쌍을 구성한다면, 언어별 선호도 주석의 막대한 비용 없이 고품질 다언어 정렬을 달성할 수 있음을 시사합니다.

이 작업은 온-정책 데이터가 핵심 구성 요소임을 강조합니다. 왜냐하면 대비 신호는 짝지어진 응답이 정책의 자체 분포에서 비롯될 때만 유익하기 때문입니다. 또한, 고정된 보상 모델을 사용한 오프라인 DPO가 온라인 DPO 보다 이 설정에서 우월함을 확립합니다. 후자는 진정한 선호도를 학습하는 대신 보상 모델의 편향을 증폭시키는 피드백 루프를 생성하기 때문입니다.

궁극적으로 이 논문은 단일 영어 훈련 보상 모델이 대비 쌍 구성을 통해 자기 생성된 다언어 데이터에 적용될 때, 표준 지도 미세 조정과 관련된 재앙적 망각을 피하면서 다양한 언어와 모델 규모에 걸쳐 일관된 개선을 주도하기에 충분하다고 주장합니다.