기술 요약: 신뢰도 기반 자기 진화 (COSE)

문제 제기

자기 진화형 대규모 언어 모델 (LLM) 은 인간이 선별한 감독에 전적으로 의존하지 않고, 자체 학습 과제를 생성하고 이를 해결하며 자기 생성 피드백을 통해 학습함으로써 추론 능력을 향상시키는 것을 목표로 합니다. 그러나 실행 (예: 코드) 이나 정확한 일치 (예: 수학) 로 해결책을 검증할 수 없는 도메인에서는 중요한 병목 현상이 존재합니다. 이러한 "개방형 도메인" 환경에서 모델은 과제의 유효성을 판단하는 **검증자 (Validator)**이자 제안된 답안의 정확성을 평가하는 **심판자 (Judge)**로서 동시에 역할을 수행해야 합니다.

핵심 과제는 노이즈가 섞인 자기 생성 피드백입니다. 어려운 과제를 생성할 수 있는 모델이 반드시 해당 과제를 올바르게 검증하거나 제안된 답안의 정확성을 판단할 능력을 갖춘 것은 아닙니다. 모델이 결함이 있는 과제를 잘못 승인하거나 잘못된 답안을 정답으로 잘못 판단할 경우, 이러한 오류는 보상 신호로 변환됩니다. 표준 자기 진화 루프에서 이러한 오류 신호는 그릇된 추론 패턴을 강화하는 경사 업데이트를 유발하여 최적화 불안정성이나 성능 저하를 초래합니다. 기존 접근법은 외부 검증자에 의존하여 일반성을 제한하거나, 모든 자기 생성 피드백을 동등하게 신뢰할 수 있는 감독 데이터로 간주하여 피드백 생성 과정에 내재된 불확실성을 고려하지 못했습니다.

방법론: COSE

저자들은 LLM 의 내재적 신뢰도를 경량 불확실성 신호로 활용하여 학습 과정을 조절하는 COSE(신뢰도 기반 자기 진화, Confidence-Orchestrated Self-Evolution) 프레임워크를 제안합니다. COSE 는 단일 백본 모델 $\pi_\theta$를 사용하여 제안자 (Proposer, 질문 생성), 검증자 (Validator, 질문 품질 점수 매기기), 해결자 (Solver, 답안 생성), **심판자 (Judge, 답안 정확성 점수 매기기)**의 네 가지 역할을 수행하도록 프롬프트를 설정합니다.

핵심 혁신은 피드백을 ground-truth 라벨로 취급하는 대신, 피드백 생성 중 검증자와 심판자의 토큰 수준 출력 분포에서 직접 신뢰도를 추정하는 데 있습니다.

1. 신뢰도 추정

COSE 는 모델의 토큰 수준 출력 분포의 정규화 엔트로피를 기반으로 신뢰도 ($c$) 를 계산합니다. 어휘집 $\mathcal{V}$에 대한 확률 분포 $P_t$를 가진 생성된 토큰 $t$에 대해 다음과 같습니다:
$$c_t = 1 - \frac{H(P_t)}{\log |\mathcal{V}|}$$
시퀀스 수준 신뢰도 ($c_{seq}$) 는 토큰 수준 신뢰도의 평균입니다. 이 지표는 불확실성에 대한 휴리스틱으로 작용합니다: 낮은 엔트로피 (높은 신뢰도) 는 모델이 판단에 확신 있음을 의미하며, 높은 엔트로피 (낮은 신뢰도) 는 불확실성을 나타냅니다.

2. 신뢰도 가중 PPO

COSE 는 이러한 신뢰도 점수를 Proximal Policy Optimization (PPO) 목적 함수에 통합하여 각 샘플의 경기 기여도를 조절합니다.

• 제안자 가중치 ($w_P$): 질문 품질 ($v$) 과 검증자 신뢰도 ($c_V$) 를 기반으로 업데이트를 조절합니다:
  $$w_P(q) = \text{clip}(v(q) \cdot c_V(q), 0.1, 1.0)$$
• 해결자 가중치 ($w_S$): 질문 품질, 검증자 신뢰도, 그리고 심판자 신뢰도 ($c_J$) 를 기반으로 업데이트를 조절합니다:
  $$w_S(q, a) = \text{clip}(v(q) \cdot c_V(q) \cdot c_J(q, a), 0.1, 1.0)$$
  불확실한 샘플을 완전히 폐기하는 대신 하한값 0.1 로 가중치를 제한함으로써, COSE 는 탐색을 유지하면서도 고분산 저신뢰도 피드백이 최적화를 지배하는 것을 방지합니다.

3. 신뢰도 우선 재생

재생 버퍼는 유효할 뿐만 아니라 모델의 현재 능력 경계에 근접한 질문을 우선적으로 샘플링합니다. 우선순위는 다음과 같이 정의됩니다:
$$\text{priority}(q) \propto v(q) \cdot c_V(q) \cdot \max(4p(q)(1-p(q)), 0.1)$$
여기서 $p(q)$는 평균 해결률입니다. $4p(q)(1-p(q))$ 항은 $p(q) \approx 0.5$일 때 최대가 되어, 모델이 약 절반의 확률로 해결할 수 있는 질문 (학습 최전선) 에 학습을 집중시킵니다. 신뢰도 항은 검증이 불확실한 질문이 과도하게 샘플링되지 않도록 보장합니다.

주요 기여

1. 최적화 병목 현상 식별: 이 논문은 자기 진화형 LLM 의 핵심 최적화 병목 현상을 단순한 데이터 부족이 아닌, 노이즈가 섞인 자기 생성 피드백 (검증 및 판단 모두) 으로 식별합니다.
2. 학습 제어 공식화: 저자들은 피드백 신호가 학습에 미치는 영향을 그 내재적 신뢰도로 조절하는 샘플별 학습 제어 문제로 문제를 공식화합니다.
3. 실증적 검증: 19 개의 홀드아웃 벤치마크와 네 가지 모델 백본 (Qwen 및 Llama 계열, 0.6B–4B 파라미터) 에 걸친 광범위한 실험을 통해, 저자들은 COSE 가 기본 모델보다 일관되게 성능을 향상시키고 이전 자기 진화 베이스라인 (AZR, MAE, R-Zero) 보다 우수하거나 경쟁력 있음을 입증했습니다.

실험 결과

평가 범위는 일반 추론, 수학, 코드 생성을 포함합니다.

• 일반 추론: COSE 는 네 가지 백본 전체에서 가장 높은 평균 성능을 달성했습니다. 특히 더 약한 Qwen3-0.6B와 Llama-3.2-3B모델에서 COSE 는 상당한 향상을 보였습니다 (예: Qwen3-0.6B 에서 +28.5 점). 이는 약한 모델이 더 노이즈가 많은 피드백을 생성하기 때문이며, COSE 의 신뢰도 가중치는 이러한 오류의 영향을 효과적으로 감쇠시키는 반면, 베이스라인은 이를 강화하기 때문입니다.
• 수학: COSE 는 어려운 수학 벤치마크 (예: Olympiad-Bench, Minerva) 에서 가장 큰 개선을 보였습니다. 결과는 심판자가 그럴듯하지만 잘못된 유도를 구별해야 하는 상황에서 신뢰도 제어가 특히 중요함을 시사합니다. 이는 순진한 자기 판단이 종종 실패하는 시나리오입니다.
• 코드 생성: 실행 가능한 검증이 가능한 도메인 (코드) 에서 COSE 는 경쟁력을 유지합니다. 외부 검증자에 의존하는 방법 (AZR 등) 이 특정 백본에서 약간 더 나은 성능을 보일 때도 있지만, COSE 는 유의미한 후퇴를 겪지 않습니다. 이는 피드백이 이미 신뢰할 수 있는 도메인에서 신뢰도 가중치가 성능을 해치지 않음을 나타냅니다.
• 절대 실험: 신뢰도 가중 PPO 를 제거하면 특히 수학 분야에서 가장 큰 성능 저하가 발생하여, 경도 강도를 제어하는 것이 성공의 주요 동력임을 확인했습니다. 재생 우선순위를 제거하면 작지만 일관된 부정적인 영향이 있었습니다.

의의 및 주장

이 논문은 모델이 자신의 피드백에서 학습할 뿐만 아니라 불확실한 피드백이 학습에 미치는 영향을 얼마나 강하게 조절할지 통제할 때 자기 진화가 더 효과적이 된다고 주장합니다.

• 강건성: COSE 는 자기 진화 루프에서 오류가 증폭되는 것을 방지하는 메커니즘을 제공합니다. 검증자/심판자가 불완전하더라도 모델이 자신의 불확실성을 인식할 수 있다면, 자기 생성 데이터의 혜택을 얻을 수 있게 합니다.
• 일반성: 실행 가능 도메인으로 제한된 방법과 달리, COSE 는 외부 검증자가 없는 개방형 추론 작업에서 자기 진화를 가능하게 합니다.
• 겸손함: 저자들은 신뢰도가 정확성 보장이 아닌 휴리스틱 불확실성 신호임을 명시적으로 밝힙니다. 고신뢰도 출력도 특히 적대적이거나 분포 밖 (out-of-distribution) 문제에서 여전히 틀릴 수 있음을 인정합니다. 또한, 이 방법은 토큰 수준 확률 (logits) 에 대한 접근에 의존하므로 추가 샘플링 전략 없이는 블랙박스 API 에 직접 적용하는 데 제한이 있습니다. 실험은 상대적으로 작은 오픈 가중치 모델 (0.6B–4B) 에서 수행되었으며, 더 큰 모델로의 확장 행동은 향후 과제로 남아 있습니다.

요약하자면, COSE 는 자기 생성 피드백을 균일한 감독으로 취급하는 것에서 해당 신호를 생성하는 모델의 자체 신뢰도에 의해 결정된 가중 신호로 취급하는 것으로의 전환을 나타냅니다. 이 접근법은 특히 모델이 개선되고 있지만 자기 평가 능력이 여전히 노이즈가 섞인 어려운 중간 단계에서 자기 진화 과정을 안정화시킵니다.