기술 요약: 일반적인 LLM 추론을 위한 가능도 기반 보상 설계 (Likelihood-Based Reward Designs for General LLM Reasoning)

문제 정의

검증 가능한 정답(예: 수학적 답안)으로부터 도출되는 이진 보상 함수(0/1 정답 여부)에 의존하는 방식은 다음과 같은 두 가지 주요 한계에 직면합니다:

1. 보상 설계 의존성: 각 벤치마크마다 특정 검증기가 필요하며, 이는 긴 형식의 증명이나 개방형 생성과 같이 검증이 불가능한 도메인에서는 사용이 불가능합니다.
2. 보상의 희소성: 이진 보상은 희소한 신호를 제공하여, 특히 복잡한 추론 체인에서 효율적인 학습을 저해할 수 있습니다.

최근 연구들이 내재적 보상이나 자기 보상(self-rewarding) 메커니즘을 제안하기도 했으나, 이들은 정답 기반 학습을 능가하지 못하거나 보상 해킹(reward hacking) 및 다양성 붕괴(diversity collapse) 문제를 겪는 경우가 많습니다. 또한, 참조 정답의 확률(예: VeriFree, JEPO, RLPR)을 활용하는 기존 방식들은 특히 길고 정확한 일치 시퀀스의 확률이 소멸(vanishing)하는 비검증 설정에서 혼재된 결과를 보여주었습니다.

방법론

저자들은 생성된 사고 사슬(Chain-of-Thought, CoT)이 주어졌을 때 참조 정답(또는 데이터에 존재하는 임의의 프롬프트 연속)을 생성할 확률 또는 로그 확률(log-probability)로부터 직접 유도되는 **가능도 기반 보상(likelihood-based rewards)**을 조사합니다. 이 접근 방식은 외부 검증기를 피하고 대규모로 활용 가능한 신호를 활용합니다.

본 연구는 여러 보상 변형 모델을 표준 베이스라인(CoT 없는 SFT 및 표준 이진 보상 RL)과 체계적으로 비교합니다:

• Base RL: 정답과 일치하면 1, 그렇지 않으면 0을 주는 표준 이진 보상 RL.
• Probability (VeriFree): 보상이 원시 확률 $\pi_\theta(a^*|p, z)$와 같습니다.
• Log-prob: 보상이 로그 확률 $\log \pi_\theta(a^*|p, z)$와 같습니다.
• Average Log-prob: 로그 확률을 답변 길이로 정규화한 값($\frac{1}{|a^*|} \log \pi_\theta(a^*|p, z)$)입니다.
• JEPO: 그룹 수준의 보상을 사용하는 Jensen 기반 ELBO 손실 변형입니다.
• SFT: CoT 없이 정답을 직접 예측하는 표준 지도 학습 미세 조정입니다.

실험에는 어드밴티지 추정(advantage estimation)을 위해 RLOO(Reinforce Leave-One-Out) 알고리 Algorithim을 사용합니다. 평가는 다음을 포함합니다:

• 검증 가능한 도메인: MATH 및 DeepScaleR 벤치마크 (단답형 문제).
• 비검증 도메인: Alpaca 및 NuminaProof (긴 형식의 답변 및 정리 증명).
• 모델: Llama-3.2-3B-Instruct 및 Qwen-2.5-3B-Instruct.

주요 기여 및 발견

1. 로그 확률 보상의 보편성

핵심적인 발견은 **로그 확률 보상(log-probability rewards)**만이 모든 설정에서 견고하게 작동하는 유일한 변형이라는 점입니다.

• 검증 가능한 도메인에서: 로그 확률 보상은 표준 이진 RL 베이스라인과 대등하거나 더 나은 성공률을 달amel합니다. 결정적으로, 이들은 이진 RL보다 훨씬 더 나은 **퍼플렉시티(perplexity)**를 달성하여, 훈련 목적 함수를 사전 학습 기준(다음 토큰 예측)과 일치시킵니다.
• 비검증 도메인에서: 확률 기반 보상(예: VeriFree)과 표준 RL은 긴 형태의 정답을 정확히 생성할 확률이 소멸함에 따라 무너지는 반면, 로그 확률 보상은 여전히 유효합니다. 로그 확률 방식은 SFT와 대등한 성능을 보이는 반면, 다른 확률 기반 방법들은 베이스 모델보다 개선된 모습을 보여주지 못합니다.

2. "CoT 붕괴(CoT Collapse)" 현상

학습 중 CoT 길이의 변화에 대한 중요한 관찰 결과는 다음과 같습니다:

• 검증 가능한 설정: 로그 확률 보상은 초기에 CoT 길이를 단축시키지만, 학습이 진행됨에 따라 길이가 회복됩니다.
• 비검증 설정: 로그 확률 보상은 CoT의 영구적인 "붕괴"를 초래하여, 추론 궤적을 최소 길이(약 10개 토큰)로 줄입니다. 이 상태에서 로그 확률 방식은 사실상 SFT처럼 동작합니다.
• 메커니즘: 저자들은 학습 초기 단계에서 짧은 CoT가 정답의 로그 확률과 양의 상관관계를 갖기 때문(아마도 베이스 모델이 아직 긴 추론 궤적에 적응하지 못했기 때문)이라고 가설을 세웁니다. 이 부정적인 상관관계가 RL 에이전트가 CoT를 단축하도록 유도합니다. KL 정규화나 길이 페널티를 통해 이를 완화하려는 시도는 붕괴를 막았으나 성능 저하를 초래했습니다. 이는 비검증 도메인에서 로그 확률 RL이 현재 CoT를 제거함으로써 SFT 성능과 일치하게 된다는 것을 시사합니다.

3. 타 방법론과의 비교

• 확률 vs 로그 확률: 원시 확률 보상(VeriFree)은 긴 답변에 대한 정확한 일치 확률이 0에 가깝기 때문에 비검증 설정에서 학습 신호를 제공하지 못해 실패합니다. 토큰들의 합인 로그 확률은 이보다 덜 급격히 소멸하는 밀도 높은 신호를 제공합니다.
• 퍼플렉시티 vs 성공률: 검증 가능한 도메인에서 이진 RL은 성공률을 최적화하지만 퍼플렉시티를 악화시킵니다(모델이 오답 경로에 대해 "확신에 찬 오답"을 내놓게 됨). 로그 확률 보상은 둘 다 최적화하여, 오답에 대해 덜 확신하는 분포를 유지함으로써 전반적인 언어 모델링 품질을 보존합니다.

의의

본 논문은 외부의 정답 레이블 없이도 검증 가능한 작업과 비검증 추론 작업을 연결할 수 있는 통합된 훈련 신호로서 로그 확률 보상을 확립합니다.

• 단답형 수학 문제부터 긴 형식의 증명에 이르기까지, 모든 유형의 답변에 걸쳐 적용 가능한 단일 기준(CoT가 주어졌을 때 참조 정답의 로그 가능도를 최대화하는 것)을 입증했습니다.
• 하나의 트레이드오프를 강조합니다: 로그 확률 보상은 퍼플렉시티와 일반화 능력을 향상시키지만, CoT가 보존되지 않는 한 현재로서는 비검증 도메인에서 SFT를 능가하지 못합니다(이는 훈련 역학이나 컴퓨팅 스케일링에 대한 추가 조사가 필요함을 의미합니다).
• 본 연구는 비검증 도메인의 경우, 현재의 훈련 예산 하에서 로그 확률 RL의 "신용 할당 문제(credit assignment problem)"가 긴 CoT에 대해 너무 가혹할 수 있으며, 이러한 설정에서의 CoT 이점은 훨씬 더 긴 훈련이나 다른 초기화 전략(예: 웜 스타트)을 필요로 할 수 있음을 시사합니다.

저자들은 로그 확률 보상이 다양한 답변 유형에 유효한 포스트 트레이닝 추론 LLM을 위한 단순하고 일반적인 레시피를 제공하지만, 비검증 설정에서 긴 CoT를 유지하는 메커니즘은 여전히 해결해야 할 과제로 남아 있다고 결론짓습니다.