기술 요약: CARE-RFT

문제 정의

강화 미세 조정(Reinforcement Finetuning, RFT)은 DeepSeek-R1-Zero와 같은 모델에서 볼 수 있듯이, 대규모 언어 모델(LLM)의 창발적 추론 능력을 끌어내는 데 핵심적인 패러다임으로 부상했습니다. 그러나 저자들은 추론 성능과 모델 신뢰성 사이의 결정적인 트레이드오프를 지적합니다:

1. 제약 없는 RFT (Unconstrained RFT): 제약이 없는 GRPO(Group Relative Policy Optimization)와 같은 알고리즘은 우수한 추론 정확도를 달봉하지만, 모델의 신뢰성을 심각하게 훼손합니다. 제약이 제거되면 "무차별적 강화(indiscriminate reinforcement)"가 발생하는데, 이는 최종 결과가 정답일 경우 모델이 (논리적으로 결함이 있는 중간 단계들을 포함한) 전체 사고 체인(Chain of Thought)을 통째로 강화하게 만듭니다. 이는 환각(hallucination) 비율의 증가, 검색 벤치마크에서의 사실성 저하, 그리고 낮은 보정 성능(높은 기대 보정 오차, ECE)으로 이어집니다.
2. RKL 제약형 RFT (RKL-Constrained RFT): 환각을 완화하기 위해, 표준적인 접근 방식은 훈련된 정책($\pi_\theta$)이 참조 모델($\pi_{ref}$)과 가깝게 유지되도록 역 쿨백-라이블러(Reverse Kullback–Leibler, RKL) 발산 페널티를 부과합니다. 이는 보정 성능과 사실성을 보존하지만, RKL 페널티는 유계가 아닙니다(unbounded). 즉, 참조 모델이 낮은 확률을 할당하는 토큰에 대해 무한한 페널티를 부과함으로써, 베이스 모델에서 벗어난 새롭고 높은 보상을 가진 추론 경로를 탐색하는 것을 효과적으로 억제합니다. 결과적으로, 제약 없는 RFT에 비해 추론 이득이 제한됩니다.

핵심 과제는 추론에 필요한 탐색을 허용하면서도, 환각과 미보정을 유발하는 통제되지 않은 이탈을 방지할 수 있는 정규화 방법을 설계하는 것입니다.

방법론: CARE-RFT

저자들은 표준 RKL 페널티를 SKW 역 쿨백-라이블러(Skew Reverse KL, SRKL) 발산으로 대체하는 CARE-RFT(Confidence-Anchored Regularized Reinforcement Finetuning)를 제안합니다.

이론적 기초

표준 RKL 발산($D_{RKL}$)은 $\pi_\theta$가 $\pi_{ref}$가 낮게 평가하는 토큰에 확률을 할당할 때 페널티를 부여합니다. 이 페널티는 $\pi_{ref}(o_t) \to 0$일 때 무한히 커지며, 모델이 낮지만 잠재적으로 올바른 추론 전략을 탐색하는 것을 방해합니다.

CARE-RFT는 혼합 분포를 정의하기 위해 스큐(skew) 파라미터 $\alpha \in (0, 1)$를 도입합니다. SRKL 발산은 다음과 같이 정의됩니다:
$$D_{SRKL}^\alpha (\pi_{ref} \| \pi_\theta) = \sum_{o_t \in V} \pi_\theta(o_t) \log \frac{\pi_\theta(o_t)}{\alpha \pi_\theta(o_t) + (1-\alpha)\pi_{ref}(o_t)}$$

주요 메커니즘

1. 신뢰도 고정 페널티 (Confidence-Anchored Penalty): SRKL 페널티는 신뢰도에 민감하게 반응합니다.
   • 상향 이탈 (탐색): 모델이 확신을 갖고($\pi_\theta$가 높음) 일관되게 보상을 받는 경우, 특정 토큰에 대한 확률을 높이는 것에 대한 페널티는 **유계(bounded)**입니다. $\log(1/\alpha)$ 항이 유한한 상한선 역할을 합니다. 이를 통해 모델은 참조 모델의 낮은 확률에 의해 억제되지 않고, 새롭고 높은 보상을 주는 추론 패턴에 확률 질량을 축적할 수 있습니다.
   • 하향 이탈 (보존): 모델이 참조 모델이 선호하는 토큰의 확률을 낮추려 하거나(또는 모델이 불확실할 때), 페널티는 유계가 아닙니다 (비율이 0에 접근함에 따라 $-\infty$로 발산). 이는 모델이 베이스 모델의 잘 보정된 사전 확률(priors)로부터 벗어나지 않도록 하여 사실적 근거를 보존하도록 보장합니다.
2. 그래디언트 안정성: SRKL의 그래디언트 계수는 상향 이동 시 유계되어 있어, 참조 모델이 샘플링된 토큰에 거의 0에 가까운 확률을 할당할 때 발생하는 표준 RKL의 "그래디언트 폭발(gradient blow-up)"과 추정량 분산을 완화합니다.

실험 설정

저자들은 CARE-RFT를 여러 모델 규모(Qwen2.5-3B 및 7B)와 세 가지 distinct RFT 알고리즘에 대해 평가했습니다:

• GRPO: 기초가 되는 그룹 상대 정책 최적화.
• DAPO: 공격적인 제약 없는 변형 모델.
• GSPO: 최근의 시퀀스 레벨 최적화 접근 방식.

벤치마크:

• 추론: MATH 및 GSM8K (Pass@4로 측정).
• 신뢰성/사실성: TruthfulQA 및 SelfAware (Pass@1로 측정).
• 보정(Calibration): TruthfulQA에서의 기대 보정 오차(ECE).

주요 결과

실험 결과, CARE-RFT는 정확도-보정 트레이드오프를 성공적으로 깨뜨리는 것으로 나타났습니다:

1. 추론 성능: CARE-RFT는 제약 없는 RFT의 추론 성능과 일치하는 수준을 보여줍니다. 예를 들어, Qwen2.5-3B를 사용한 GRPO에서 CARE-RFT는 MATH 점수 0.600을 달성하여, 제약 없는 버전(0.610)과 거의 동일했으며, RKL 제약형 GRPO(0.510)보다는 현저히 높았습니다.
2. 신뢰성 및 보정: 제약 없는 RFT가 TruthfulQA 정확도의 심각한 하락과 높은 ECE를 겪은 것과 달리, CARE-RFT는 베이스 모델의 신뢰성을 회복했습니다.
   • TruthfulQA: CARE-GRPO는 0.465를 기록하여 베이스 모델(0.489) 및 RKL-GRPO(0.480)에 근접했으나, 제약 없는 GRPO는 0.350으로 떨어졌습니다.
   • ECE: CARE-RFT는 RKL 제약 방식(0.125)과 유사한 낮은 ECE(0.132)를 유지했으며, 제약 없는 방식(0.210)보다 훨씬 뛰어난 성능을 보였습니다.
3. 훈련 역학 (Training Dynamics): 토큰 엔트로피 분석 결과, 제약 없는 RFT는 엔트로피의 파괴적인 붕괴(과잉 확신)를 초래하는 반면, RKL은 높은 엔트로피를 유지하지만 날카로워지는 것을 제한합니다. CARE-RFT는 제어된 엔트로피 감소를 달려, 모델이 과잉 확신으로 붕괴하지 않으면서도 추론을 위해 분포를 날카롭게 만들 수 있게 합니다.

의의 및 주장

본 논문은 신중하고 신뢰도를 고려한 정규화가 유능하면서도 신뢰할 수 있는 추론 모델을 구축하는 핵심이라고 주장합니다.

• 트레이드오프 해결: CARE-RFT는 일방향적이고 유계된 페널티를 도입함으로써, 탐색의 필요성(추론을 깨우기 위함)과 제약의 필요성(환각을 방지하기 위함) 사이의 긴장을 해결합니다.
• 일반화 가능성: 이 방법은 다양한 RFT 알고리즘(GRPO, DAPO, GSPO) 및 모델 규모에 호환되는 "드롭인(drop-in)" 정규화 레이어로 제시됩니다.
• 메커니즘적 통찰: 이 연구는 제약 없는 RFT의 실패가 단순히 제약의 부재 때문이 아니라, 특히 결과 중심적 보상의 무차별적인 특성 때문임을 밝힙니다. 토큰 레벨의 신뢰도 기반 제약으로 전환함으로써, 모델은 베이스 모델의 사실적 사전 확률을 희생하지 않고도 복잡한 추론 패턴을 학습할 수 있습니다.

저자들은 자신들의 접근 방식이 전통적인 RKL 제약형 RFT에서 학습을 저해하는 무한한 페널티 없이도, 모델이 고위험 애플리케이션에 필요한 신뢰성을 유지하면서 추론의 "아하 모먼트(aha moment)"를 달성할 수 있게 한다고 결론짓습니다.