기술 요약: 포화된 데이터로부터의 학습 (Learning from Saturated Data)

1. 문제 정의

대규모 언어 모델(LLM)의 급격한 발전은 많은 표준 벤치마크와 학습 데이터셋의 포화 상태를 초래했습니다. 이러한 "포화된(saturated)" 환경에서 모델은 훈련 질문에 대해 거의 완벽한 경험적 정확도를 달야하며, 이로 인해 전통적인 이진 정답 신호(정답/오답)는 추가적인 개선을 위한 데 활용하기에 무용지물이 됩니다. 주어진 문제에 대한 모든 샘플 생성물이 정답인 경우, 표준적인 지도 미세 조정(SFT)이나 강화 학습(RL)은 고품질 솔루션과 저품질 솔루션을 구분할 수 없으며, 모델이 이미 안정적으로 해결하는 데이터로부터 추가적인 학습 신호를 추출할 수도 없습니다.

중심 연구 질문은 다음과 같습니다: 모델이 경험적으로 완벽한 정확도로 해결하는 질문으로부터 어떻게 학습 신호를 추출하여 더 어려운 과업에 대한 다운스트림 성능을 향상시킬 수 있는가?

2. 방법론

저자들은 이진 정답 여부가 아닌 세밀한 품질 신호를 사용하여 정답 생성물들을 차별화하는 프레임워크를 제안합니다. 이 방법론은 세 가지 핵심 구성 요소로 이루어져 있습니다.

A. 난이도 분할 (Difficulty Partitioning)

학습 데이터는 모델의 경험적 해결율($\hat{p}(x)$)을 기준으로 분할됩니다.

• 포화 집합 ($D_{saturated}$): 모델이 샘플링된 생성물의 100%를 정답으로 맞히는 질문들.
• 엄격하게 더 쉬운 집합 ($D'_{strict}$): 모델이 역시 100%의 정확도를 보이는 더 단순한 분포에서의 질문들.
• 목표: 포화된 하위 집합($D_{saturated}$)의 데이터만을 사용하여 비포화 부분의 분포($D \setminus D_{saturated}$)에 대한 성능을 개선하는 것입니다.

B. 품질 신호 (Quality Signals)

정답 생성물들의 순위를 매기기 위해 두 가지 상호 보완적인 메커니즘이 도입됩니다.

1. LLM-as-a-Self-Judge (자기 평가로서의 LLM): 모델이 자신의 생성물들을 쌍체 비교(pairwise comparison)하여 각 솔루션에 대한 "승률(win rate)"을 결정합니다. 이는 외부 라벨 없이 선호도 순위를 생성합니다.
2. 역 토큰 레벨 엔트로피 (Inverse Token-Level Entropy): 모델의 불확실성을 출력 분포의 평균 토큰 레벨 엔트로피를 통해 측정합니다. 낮은 엔트로피(높은 확신도)는 높은 솔루션 품질의 대리 지표(proxy)로 간주됩니다. 점수는 $r_H = 1 / \max(\bar{H}, \epsilon)$로 정의됩니다.

C. 학습 알고리즘

이러한 품질 신호는 두 가지 학습 패러다임에 통합됩니다.

1. 직접 선호 최적화 (Direct Preference Optimization, DPO): 품질 순위(최선 vs 최악)를 기반으로 선택된-거절된(chosen-rejected) 쌍을 구성하고, 정책이 선택된 생성물을 선호하도록 최적화합니다.
2. 로지스틱 가중 RRHF ($\sigma$-RRHF): Rank Response to Align Language Models with Human Feedback(RRHF)의 변형입니다. 모든 쌍을 동일하게 취급하는 표준 RRHF와 달리, $\sigma$-RRHF는 랭크 손실(rank loss)에 로지스틱 가중 함수 $\sigma(r_j - r_i)$를 적용합니다. 이는 단순히 최선-최악의 쌍만을 사용하는 대신, 품질 격차가 큰 쌍에 더 높은 중요도를 부여하면서 모든 샘플을 활용합니다.

3. 실험 설정

• 기본 모델: Qwen3-1.7B-Base.
• 과업:
  • Chain Sum: 제어 가능한 난이도(항의 개수 및 자릿수)를 가진 ReasoningGym의 합성 산술 과업.
  • GSM8K: 표준 초등 수학 문장제 데이터셋.
• 베이스라인: 무작위 스코어링, 자기 평가(self-judging), 강력한 외부 평가자(Qwen3-30B), 그리고 역 엔트로피를 사용한 표준 SFT, DPO 및 RRHF.

4. 주요 결과

A. Chain Sum (합성 산술)

• 쉬운 문제에서 어려운 문제로의 전이 (Easy-to-Hard Transfer): 포화된 chain sum 질문들로만 학습했을 때, 더 어렵고 포화되지 않은 질문들에 대한 성능이 유의미하게 향상되었습니다.
• 역 엔트로피의 우수성: 포화된 하위 집합에서, 역 엔트로피로 학습된 $\sigma$-RRHF가 가장 강력한 결과를 얻었으며, 베이스 모델 대비 pass@1을 18.6% 향상시켰고 SFT를 상당한 차이로 앞질렀습니다.
• Self-Judge의 한계: Self-judge $\sigma$-RRHF 역시 베이스 모델보다는 성능이 높았으나, 일반적으로 엔트로피 기반 접근 방식에 비해 성능이 낮았습니다.
• 엄격하게 더 쉬운 문제로의 전이 (Strictly Easier Transfer): 평가 집합보다 엄격하게 더 쉬운 질문들($D'_{strict}$)로 학습했음에도 불구하고, 역 엔트로피 $\sigma$-RRHF는 베이스 모델 대비 **11.7%**의 개선을 보여주며 견고한 전이 능력을 입증했습니다.

B. GSM8K (실제 수학 문제)

• 완만한 성능 향상: GSM8K에서의 결과는 더 완만했으며 품질 신호에 크게 의존했습니다.
• 스코어러의 신뢰성이 핵심:
  • 역 엔트로피: DPO를 사용할 때 베이스 모델 대비 완만한 개선(+3.3% pass@1)을 제공했습니다.
  • Self-Judge의 실패: Self-judge 신호는 GSM8K에서 강력한 외부 평가자와 낮은 일치도(스피어만 상관계수 -0.2)를 보였습니다. 결과적으로 self-judge 신호로 학습하면 성능이 베이스 모델보다 저하되었습니다.
• 알고리즘 민감도: $\sigma$-RRHF는 GSM8K에서 일반적으로 DPO보다 성능이 낮았는데, 이는 $\sigma$-RRHF가 전체 랭킹을 맞추려는 특성상 노이즈가 있는 스코어러의 체계적 편향을 증폭시키는 반면, DPO의 KL 제약 조건은 발산을 제한하기 때문인 것으로 보입니다.

C. 인스트럭션 튜닝된 모델

이 모델을 인스트럭션 튜닝된 변형 모델에 적용했을 때, 역 엔트로피 DPO는 성능을 개선하지 못하고 오히려 저하시켰습니다. 이는 인스트럭션 튜닝이 이미 엔트로피를 최소화했음을 시사하며, 추가적인 엔트로피 감소가 품질의 좋은 대리 지표가 될 수 없음을 의미합니다.

5. 주요 기여

1. 포화된 학습의 식별: 본 논문은 포화된 질문(정확도가 완벽한 질문)을 유효한 학습 설정으로 식별함으로써, 이러한 데이터가 무용하다는 통념에 도전합니다.
2. 품질 기반 신호: 품질 기반 신호(특히 역 엔트로피 및 self-judging)가 포화된 데이터로부터 유용한 학습 신호를 추출하여 다운스트림 성능을 향상시킬 수 있음을 입증합니다.
3. 스코어러 신뢰성 병목 현상: 본 연구는 포화된 데이터로부터의 학습 효율이 품질 스코어러의 신뢰성에 전적으로 달려 있음을 강조합니다. 제약된 과업(chain sum)의 베이스 모델에 대해서는 역 엔트로피가 강력한 무감독(judge-free) 신호임을 보여주었으나, GSM8K와 같은 복잡한 자유 형식 추론 과업에서는 self-judging이 신뢰할 수 없음을 보여주었습니다.

6. 의의 및 주장

본 논문은 정답 생성물 간의 품질 차이가 모델의 학습을 포화 상태 너머로 확장할 수 있다고 주장하지만, 이는 스코어러의 신뢰성을 전제로 합니다.

• 주요 발견: 제약된 과업(chain sum 등)의 베이스 모델에 대해, 품질 순위 기반 학습(특히 역 엔트로피 사용)은 표준 SFT보다 성능이 뛰어날 수 있으며 더 어려운 문제로의 전이가 가능합니다.
• 주의 사항: 복잡하고 개방적인 과업(GSM8K 등)의 경우, 이 방법은 취약합니다. 만약 품질 신호(예: self-judge)가 노이즈가 많거나 실제 품질과 어긋나 있다면, 이는 성능을 오히려 해칠 수 있습니다.
• 결론: 포화된 데이터로부터 학습하는 데 있어 주요 병목은 데이터의 부재가 아니라 **품질 스코어러의 교정(calibration)**입니다. 저자들은 이 신호들이 오도하지 않도록 하기 위해서는 복잡한 과업에 적용하기 전 면밀한 검증과 추가 연구가 필요하다고 결론짓습니다.