Decomposing the Delta: What Do Models Actually Learn from Preference Pairs?

논문 요약: 선호도 쌍 (Preference Pairs) 에서 모델이 실제로 무엇을 학습하는가?

1. 문제 제기 (Problem)

선호도 최적화 (Preference Optimization, 예: DPO, KTO) 는 언어 모델을 인간 선호도에 정렬시키는 데 널리 사용되지만, 어떤 종류의 선호도 데이터 특성이 추론 (Reasoning) 능력 향상으로 이어지는지에 대한 이해는 부족합니다. 기존의 추론 태스크에서는 주로 '정답 유무 (Outcome Correctness)'를 기준으로 선호 쌍을 구성합니다. 최근 '델타 학습 (Delta Learning)' 가설은 두 개의 약한 모델 응답 간의 상대적 품질 차이 (델타) 만으로도 강력한 학생 모델을 개선할 수 있음을 보였으나, 이는 주로 오픈 엔디드 (open-ended) 태스크에 국한되었습니다.
이 논문은 추론 태스크 (수학, STEM, 코드) 에서 선호도 쌍의 어떤 속성이 모델의 성능을 결정하는지, 그리고 '품질 차이'가 어떻게 정의되고 측정되어야 하는지를 규명하고자 합니다.

2. 방법론 (Methodology)

저자들은 선호도 데이터의 '품질 차이 (Delta)'를 두 가지 차원으로 정의하고 분석했습니다.

• 두 가지 델타 개념:

  1. 생성기 수준 델타 (Generator-level Delta): 선호 쌍을 생성한 '선택된 (Chosen)' 모델과 '거부된 (Rejected)' 모델 간의 능력 차이 (모델 규모나 계열의 차이).
  2. 샘플 수준 델타 (Sample-level Delta): 단일 선호 쌍 내에서 '선택된' 응답과 '거부된' 응답 간의 구체적인 품질 차이. 이를 측정하기 위해 LLM-as-a-judge 를 활용하여 다음 5 가지 추론 품질 차원을 평가했습니다.
     • 사실성 (Factuality)
     • 전략적 일관성 (Strategy Coherence)
     • 단계적 일관성 (Step Coherence)
     • 계산 정밀도 (Computational Precision)
     • 신호 대 잡음비 (Signal-to-Noise Ratio)

• 실험 설정:

  • 기저 모델: Nemotron-8B 사용.
  • 데이터: OpenR1-Math-220k 데이터셋 기반. DeepSeek-R1(강력한 모델) 과 s1/Nemotron 계열의 다양한 규모 모델 (약한 모델) 로 생성된 추론 궤적 (Traces) 을 활용.
  • 실험 구성:
    1. 델타 학습의 전이 검증: 약한 모델 (s1-7B vs s1-3B) 로 생성된 데이터로 DPO/KTO 학습 수행.
    2. 스케일링 법칙 분석: 거부된 모델은 고정 (s1-3B) 하고 선택된 모델의 규모를 증가시켜 (s1-7B → s1-32B, Nemotron-4B → 49B) 도메인 내 (Math) 및 도메인 외 (STEM, Code) 성능 변화 관찰.
    3. 정답 유무의 영향 분석: 정답/오답 조합 (Correct-vs-Incorrect, Correct-vs-Correct 등 4 가지) 으로 선호 쌍을 구성하여 학습.
    4. 샘플 수준 델타 분석: 5 가지 품질 차원별 델타 크기가 큰 상위 k 개의 데이터만 선별하여 학습 효율성 및 어떤 차원이 가장 중요한지 분석.

3. 주요 기여 및 결과 (Key Contributions & Results)

가. 생성기 수준 델타의 스케일링 효과 (Scaling Law of Generator-level Delta)

• 도메인 내 (In-domain): 수학 추론 태스크에서는 기저 모델이 이미 높은 능력을 갖추고 있어, 선택된 모델의 규모를 키우더라도 성능 향상이 포화 상태 (Plateau) 에 도달했습니다.
• 도메인 외 (Out-of-domain): STEM 및 코드 생성 태스크에서는 선택된 모델과 거부된 모델 간의 능력 차이 (Generator-level Delta) 가 클수록 성능이 꾸준히 향상되었습니다.
• 원인 분석: 선택된 모델의 규모가 커질수록, 5 가지 추론 품질 차원 (특히 단계적 일관성 등) 에서 샘플 수준 델타 (Sample-level Delta) 가 확대되는 것이 확인되었습니다. 즉, 모델 간 능력 차이가 커질수록 학습 신호의 품질이 높아져 일반화 성능이 향상됩니다.

나. 정답 유무의 한계 (Limitations of Outcome Correctness)

• 놀라운 발견: 선호 쌍을 '정답 vs 오답' 기준으로만 구분하지 않고, '정답 vs 정답', '오답 vs 오답', '오답 vs 정답' 등 모든 조합으로 학습시켰을 때, 모든 조합이 기저 모델 대비 성능 향상을 보였습니다.
• 의미: 추론 태스크에서 DPO 의 학습 신호는 단순히 '정답을 맞추는 것'이 아니라, 추론 과정 (Reasoning Process) 자체의 질에 있음을 시사합니다. 특히 '오답 vs 오답' 쌍에서도 학습이 일어나는 것은 모델이 잘못된 추론을 피하는 법 (Pushing away) 을 학습하기 때문으로 해석됩니다.

다. 샘플 수준 델타와 데이터 효율성 (Sample-level Delta & Data Efficiency)

• 가장 중요한 지표: 5 가지 품질 차원 중 '단계적 일관성 (Step Coherence)' 이 가장 일관되게 효과적인 데이터 선별 기준임을 발견했습니다.
• 데이터 효율성: 전체 16.5k 개의 선호 쌍 중, 각 품질 차원에서 델타가 가장 큰 상위 5k 개의 데이터만으로도 전체 데이터셋을 사용한 학습과同等하거나 더 나은 성능을 달성했습니다.
• 결론: 무작위 데이터 확충보다는 고품질의 델타를 가진 소수의 데이터를 선별하는 것이 추론 능력 향상에 더 효율적입니다.

4. 의의 및 결론 (Significance & Conclusion)

이 논문은 선호도 최적화 (Preference Optimization) 를 통한 추론 능력 향상의 메커니즘을 다음과 같이 재정의합니다.

1. 학습의 핵심: 모델이 학습하는 것은 단순히 '정답'이 아니라, 추론 과정의 질적 차이 (특히 단계적 일관성) 입니다.
2. 실용적인 레시피:
   • 데이터 구성 시: 선택된 모델과 거부된 모델 간의 능력 차이 (Generator-level Delta) 를 극대화하여 넓은 품질 격차를 만드십시오.
   • 데이터 선별 시: 생성된 데이터 중 샘플 수준 델타 (특히 Step Coherence) 가 큰 고정보 (High-quality) 데이터만 선별하여 학습하면, 데이터 양을 줄이면서도 성능을 유지하거나 향상시킬 수 있습니다.

이 연구는 추론 모델 학습에 있어 '정답의 유무'보다 '추론 과정의 질적 차이'가 더 중요하며, 이를 체계적으로 분석하고 활용함으로써 계산 비용을 절감하면서도 효과적인 모델 정렬이 가능함을 증명했습니다.