기술 요약: 소형 모델 수학적 추론에서의 품질-효용 역설 (The Quality-Utility Paradox)

문제 정의

소형 언어 모델(SLM)의 수학적 추론 학습을 위한 지배적인 패러다임은 더 강력한 "오라클(Oracle)" 모델로부터의 지식 증류(knowledge distillation)에 의존한다. 표준적인 가정은 보상 모델(reward model) 점수가 높은(즉, 인지된 품질, 엄밀성 또는 정확성이 높은) 추론 궤적이 대상 SLM에 더 우수한 감독(supervision)을 제공한다는 것이다. 그러나 본 논문은 **품질-효용 역설(Quality-Utility Paradox)**이라 명명된 직관에 반하는 현상을 식별한다. 즉, 강력한 오라클에 의해 정제되거나 합성된 데이터는 비록 훨씬 높은 보상 점수를 달성함에도 불구하고, SLM 스스로 생성하고 거절 샘플링(RFT)을 통해 선택된 궤적보다 일관되게 낮은 성능을 보인다.

핵심 문제는 현재의 데이터 선택 기준이 두 가지 구별되는 효과를 혼동하고 있다는 점이다:

1. 논리적 수선(Logical Repair): 추론 단계와 정확성의 개선.
2. 분포 표류(Distributional Drift): 추론 궤적이 SLM의 고유한 추론 분포로부터 멀어지는 현상으로, 흔히 "구문 압축(Syntactic Compaction)"(예: 자연스러운 공백과 언어적 구분자를 밀집된 기호 연산자로 대체하는 것)으로 나타남.

이러러한 표류는 대상 모델의 적응 비용(adaptation cost)을 증가시키며, 이는 개선된 논리적 표현의 이점을 상쇄할 수 있다.

방법론

저자들은 데이터 표현의 영향을 문제 난이도로부터 분리하기 위해 통제된 실험 프레임워크를 구축한다.

• 데이터 구축: NuminaMath 데이터셋에서 유래한 고정된 문제 세트를 사용하여 네 가지 병렬 데이터 스트림을 구축한다:
  1. SLM-RFT: 대상 SLM(예: Qwen2.5-Math-1.5B)이 생성한 유효한 솔루션이며, 고유한 스타일을 보존하면서 아티팩트를 제거하기 위해 보수적인 과정을 통해 필터링됨.
  2. Oracle-Refined: 강력한 오라클(GPT-5.2)이 논리와 형식을 수정하여 다시 작성한 SLM-RFT 솔루션.
  3. Oracle-Synthesized: 오라클이 처음부터 생성한 솔루션.
  4. NuminaMath Subset: 역매칭(reverse matching)을 통해 검색된 정답(ground-truth) 솔루션.
• 학습 패러다임: 실험 결과가 특정 최적화 목적 함수의 부산물이 아님을 보장하기 위해 표준 지도 미세 조정(SFT)과 동적 미세 조정(DFT)을 모두 활용한다.
• 평가: MATH500, AIME24, AMC23, Minerva, OlympiadBench와 같은 수학 벤치마크 스펙트럼에서 Avg@16 정확도로 모델을 평가한다. 인지된 품질은 여러 보상 모델(Qwen2.5-Math-RM, Skywork-Reward, Nemotron-Reward)을 통해 측정된다.
• 메커니즘 분석:
  • 토큰 분포 변화(Token Distribution Shift): 유니그램 토큰 빈도 분석을 통해 오라클의 정제가 "고유 스캐폴딩(native scaffolding)" 토큰(예: 띄어쓰기가 포함된 백슬래시, "the"나 "of"와 같은 자연스러운 구분자)을 억제하고 밀집된 비공백 연산자를 선호함을 밝힌다.
  • 퍼플렉시티(Perplexity, PPL): 적응 비용의 대리 지표로 사용된다. 낮은 PPL은 훈련 데이터 분포와 대상 모델의 고유 분포 사이의 호환성이 높음을 나타낸다.
  • 의미론적 보존(Semantic Preservation): LLM-as-a-Judge 프로토콜을 사용하여 후보 솔루션이 형식과는 독립적으로 원래 궤적의 정보 원자(informational atoms)를 얼마나 잘 보존하는지 평가한다.
• 개입(Intervention): 저자들은 프롬프트 기반 개입인 **스타일 정렬 정제(Style-Aligned Refinement)**를 도입한다. 이는 오라클이 논리적 오류를 수정하되 SLM의 고유한 언어적 스타일과 공백을 엄격히 모방하도록 지시하는 방식이다.

주요 기여

1. 품질-효용 역설의 식별: 본 논문은 수학적 추론 증류에서 보상 모델 점수가 높은 데이터가 학습자 스스로 생성한 데이터보다 하위 성능이 낮을 수 있음을 입증한다.
2. 분포 표류의 메커니즘: 오라클의 정제가 논리적 수선과 표현 형태의 변화(구문 압축)를 결합하여 호환성 문제를 일으킨다는 것을 보여준다. 이는 높은 퍼플렉시티와 낮은 하위 유용성으로 입증되듯, 대상 SLM의 적응 비용을 증가시킨다.
3. 스타일 정렬 정제: 논리적 교정과 스타일 표류를 분리하는 개입 방법을 제안하고 검증한다. 이는 학습자의 고유 궤적을 보존하면서 논리적 수선을 유지함으로써 적응 비용을 낮추고 하위 유용성을 회복시킨다.

결과

• 성능 불일치: SFT와 DFT 모두에서 SLM-RFT 데이터(가장 낮은 보상 점수, 예: 1.47)가 Oracle-Refined(높은 점수, 예: 1.70) 및 Oracle-Synthesized(가장 높은 점수, 예: 1.88) 데이터보다 일관되게 우수한 성능을 보였다. 예를 들어, Qwen2.5-Math-1.5B 모델의 DFT에서 SLM-RFT는 37.06%의 Avg@16 정확도를 달성한 반면, Oracle-Refined는 34.06%, Oracle-Synthesized는 30.02%를 기록했다.
• 강건성: 이 역설은 다양한 모델 규모(1.5B, 3B, 7B), 모델 제품군(Qwen, LLaMA, DeepSeek), 그리고 훈련 하이퍼파라미터 전반에 걸쳐 유지되었다.
• 적응 비용: Oracle-Refined 데이터는 SLM-RFT(1.52)에 비해 현저히 높은 글로벌 퍼플렉시티(1.85)를 보였으며, 이는 새로운 분포에 적응해야 하는 부담이 더 크다는 것을 나타낸다. Q1(시작) 단계에서 오라클 데이터의 구문 마커(예: \( )와 SLM 데이터의 자연어 시작어(예: "To", "the") 사이의 손실 할당이 가장 두드렷하게 나타났다.
• 개입의 성공: Style-Aligned (Qwen) 정제는 가장 낮은 퍼플렉시티(1.46, 심지어 고유 SLM-RFT보다 낮음)와 가장 높은 하위 정확도(39.12%)를 달주하여 모든 베이스라인을 능가했다. 주목할 점은, 이 고성능 데이터가 가장 낮은 보상 점수(1.37)를 받았다는 것이며, 이는 보상 모델의 인지와 학습 가능성 사이의 단절을 강화한다.
• 교차 모델 검증: 역설은 세 가지 다른 보상 모델에서도 확인되었으며, 이는 고유 분포 궤적의 과소평가가 특정 평가자에 국한된 문제가 아니라 시스템적인 문제임을 시사한다.

의의 및 주장

본 논문은 SLM을 위한 효과적인 수학적 추론 증류는 인지된 솔루션 품질과 학습자-데이터 호환성을 동시에 최적화해야 한다고 주장한다. 단순히 보상 모델 점수에 의존하여 훈련 데이터를 선택하는 것은 불충분하며 잠재적으로 해로울 수 있다.

저자들은 "품질-효용 역설"이 강력한 모델들이 수선된 추론을 자신들에게 효율적이거나 보상 모델이 선호하는 표현(밀집되고 압축된 구문)을 통해 표현하기 때문에 발생한다고 주장한다. 그러나 이는 작은 대상 모델이 모방하고 내재화하기에는 비용이 많이 든다. 본 연구는 분포적 호환성, 특히 학습자의 고유한 추론 궤적을 보존하는 것이 증류 과정에서 간과되기 쉬운 중요한 요소임을 시사한다.

이러려 결과는 향다면의 증류 전략이 단순히 원시적인 논리적 품질이나 보상 점수를 극대화하는 것이 아니라, 교사(teacher)의 출력물에 대한 스타일 및 구문적 특성을 학생(student)의 고유 분포와 일치시키는 개입을 우선시해야 함을 의미한다. 본 연구는 SLM 체계 내의 수학적 추론에 초점을 맞추고 있으며, 더 큰 모델이나 비수학적 도메인으로의 일반화 가능성은 여전히 열린 과제로 남겨두고 있다.