기술 요약: 내재적 그라디언트 노름 보상을 통한 LLM 의 검증자 없는 RL(VIGOR)

1. 문제 제기

검증 가능한 보상을 활용한 강화 학습 (RLVR) 은 수학 및 코딩과 같은 추론 작업에서 대규모 언어 모델 (LLM) 을 위한 강력한 사후 훈련 패러다임으로 부상했습니다. 그러나 RLVR 은 수학 정답에 대한 정확한 일치 확인기나 코드에 대한 단위 테스트와 같은 외부 도메인별 검증자에 크게 의존합니다. 이러한 의존성은 이러한 검증자가 없거나 구축하기 어려운 새로운 작업이나 도메인으로의 확장성을 제한합니다.

기존의 검증자 없는 대안들은 다음과 같은 중대한 과제에 직면해 있습니다:

• 다수결 투표 방법: 여러 샘플 간의 합의에서 가짜 라벨을 도출합니다. 이는 종종 최종 답변을 신뢰성 있게 추출하고 정규화할 수 있다고 가정하여, 개방형 생성에는 적용 범위가 제한됩니다.
• 내재적 신호 방법: 엔트로피나 자기 확신과 같은 내부 모델 신호를 사용합니다. 유망하지만 훈련이 진행됨에 따라 취약해져 보상 퇴화, 불안정성, 성능 붕괴를 초래할 수 있습니다.

핵심적인 과제는 자유 형식 출력에 광범위하게 적용 가능하고, 강화 학습 중 안정적이며, 보조 구성 요소 없이 정책 모델 자체에만 의존하는 검증자 없는 보상 신호를 개발하는 것입니다.

2. 방법론: VIGOR

저자들은 정책 모델의 내부 훈련 역학만을 사용하여 보상을 계산하는 VIGOR(검증자 없는 내재적 그라디언트 노름 보상) 방법을 제안합니다.

핵심 직관

이 방법은 1 차 최적화 이론에 기반합니다. 손실 지형에서 작은 그라디언트 노름은 현재 매개변수가 정상 영역 근처에 있음을 나타내며, 이는 온화한 업데이트와 더 부드러운 훈련 역학을 의미합니다. VIGOR 는 교사 강제 (teacher-forced) 음의 로그 가능도 (NLL) 그라디언트의 $\ell_2$ 노름을 유발하는 완성이 현재 정책과 더 잘 정렬되어 있으며 더 높은 보상을 받아야 한다고 가정합니다.

알고리즘 단계

주어진 프롬프트 $x$에 대해, 정책 $\pi_\theta$는 $G$개의 완성 $\{y_i\}_{i=1}^G$ 그룹을 샘플링합니다. 보상 계산은 다음과 같이 진행됩니다:

1. 그라디언트 노름 계산: 각 완성 $y$에 대해 평균 토큰 수준 NLL $\ell_{mean}(x, y)$을 계산합니다. 그라디언트 $g(x, y) = \nabla_\theta \ell_{mean}(x, y)$를 현재 매개변수 $\theta$에 대해 계산합니다 (모델 업데이트 없이). 그라디언트는 스칼라 신호로 작용하기 위해 계산 그래프에서 분리됩니다.
2. 길이 보정 ($\sqrt{T}$ 스케일링): 원시 그라디언트 노름 $\|g\|_2$는 품질이 향상되지 않더라도 시퀀스 길이 $T$가 증가함에 따라 축소되는 체계적인 편향을 보입니다. 이러한 "길이 해킹"을 상쇄하기 위해 신호를 $\sqrt{T}$로 스케일링합니다:
   $$S_{GN}(x, y) = -\sqrt{T} \|g(x, y)\|_2$$
   음의 부호는 그라디언트 노름의 최소화를 보상 최대화 목표로 변환합니다.
3. 순위 기반 정규화: 다양한 프롬프트에 걸쳐 보상 규모를 안정화하고 비교 가능성을 보장하기 위해, 그룹 내 원시 신호를 정렬하여 순위 기반 보상 $R_{GN} \in [-1, +1]$으로 매핑합니다. 가장 나쁜 완성 (가장 높은 그라디언트 노름) 은 $-1$을, 가장 좋은 완성 (가장 낮은 그라디언트 노름) 은$+1$을 받습니다.
4. 정책 최적화: 이러한 순위 정규화된 보상은 그룹 상대 정책 최적화 (GRPO) 프레임워크 내에서 그룹 상대적 이점 $\hat{A}_i$를 계산하는 데 사용됩니다. 정책은 목표를 최대화하도록 업데이트되어 더 낮은 그라디언트 노름을 가진 완성을 장려합니다.

3. 주요 기여

• VIGOR 프레임워크: 정책 정렬 및 훈련 안정성의 대리 변수로 교사 강제 그라디언트의 $\ell_2$ 노름을 활용하는 새로운 검증자 없는 내재적 보상 메커니즘.
• 길이 보정: 평균 토큰 수준 그라디언트 노름에 내재된 체계적인 길이 편향을 중립화하여 모델이 보상 최대화를 위해 길이 인플레이션을 악용하는 것을 방지하는 $\sqrt{T}$ 스케일링 인자 도입.
• 순위 기반 형성: 절대 그라디언트 크기 대신 그룹 내 상대적 순서에 의존하여 프롬프트 간 보상 규모를 안정화하는 정규화 기법.
• 실증적 검증: 수학 추론 및 코드 생성 벤치마크에서 VIGOR 이 최첨단 검증자 없는 베이스라인 (특히 RLIF/INTUITOR) 을 능가하면서도 안정적인 훈련 역학을 유지함을 보여주는 광범위한 실험.

4. 실험 결과

실험은 MATH 데이터셋에서 훈련된 Qwen2.5-3B-Base 모델과 CodeContests 데이터셋에서 훈련된 Qwen2.5-7B-Base 모델에서 수행되었습니다.

수학 성능 (MATH 에서 훈련)

• Qwen2.5-7B: VIGOR 는 INTUITOR 베이스라인 대비 평균 수학 정확도를 +3.31% 향상시켰습니다. 구체적으로 MATH500 에서 76.20%, AMC 에서 **44.42%**를 달성했습니다.
• 교차 도메인 전이: 수학 데이터만으로 훈련되었을 때, VIGOR 는 INTUITOR 베이스라인 대비 평균 코드 정확도를 +1.91% 향상시켜 효과적인 교차 도메인 전이를 입증했습니다.
• 안정성: 후기 단계에서 정확도 회귀를 보인 INTUITOR 와 달리, VIGOR 는 훈련 내내 안정적인 개선을 유지했습니다.

코드 성능 (CodeContests 에서 훈련)

• Qwen2.5-3B: VIGOR 는 평균 코드 성능을 16.98% 에서 **23.64%**로 향상시켰습니다.
• 교차 도메인 전이: 코드 데이터로 훈련하면 수학 평균이 48.34% 에서 **56.57%**로 향상되었습니다.
• 참고: CodeAvg 지표에서 VIGOR(23.64%) 는 특히 CRUX 벤치마크에서 INTUITOR(25.43%) 보다 약간 낮은 성능을 보였습니다. 저자들은 경쟁적 프로그래밍의 특성상 정확도가 그라디언트 부드러움으로 완전히 포착되지 않는 이산적 알고리즘 선택에 종종 의존하기 때문이라고 설명합니다.

훈련 역학 분석

• 안정성: VIGOR 는 시간이 지남에 따라 고보상 샘플이 정확성과의 정렬이 약해지는 보상 퇴화에 시달린 INTUITOR 에 비해 더 안정적인 훈련 역학을 보였습니다.
• 길이 제어: VIGOR 는 길이 인플레이션을 효과적으로 억제했습니다. INTUITOR 는 생성 길이가 현저히 증가한 반면, VIGOR 는 길이를 해킹하는 대신 추론 품질에 초점을 맞춰 훨씬 짧은 출력을 생성했습니다.
• 순위 - 정확도 단조성: 분석은 그라디언트 노름 순위와 작업 정확도 사이에 강한 단조 관계를 확인했습니다. VIGOR 에 의해 더 높은 순위를 받은 완성은 일관되게 더 높은 정확도를 달성했습니다.

제거 실험 (Ablation Studies)

• $\sqrt{T}$ 보정 제거: 이 구성 요소를 제거하면 특히 3B 모델에서 치명적인 저하를 초래하여 거의 0 에 가까운 정확도와 심각한 길이 해킹을 야기했습니다.
• 순위 형성 제거: 순위 정규화를 제거하면 특히 7B 모델에서 불안정성이 발생하여 원시 그라디언트 크기의 극단적 이상치의 영향으로 MMLU-Pro 성능이 8.90% 크게 하락했습니다.

5. 중요성 및 한계

중요성:
본 논문은 VIGOR 가 외부 레이블이나 보조 모델에 의존하지 않는 견고한 검증자 없는 RL 사후 훈련 대안을 제공한다고 주장합니다. 손실 지형의 내재적 기하학 (그라디언트 노름) 을 활용함으로써, 이는 다른 내재적 방법이 실패하는 곳에서 훈련 안정성을 유지하고 도메인 간 (수학에서 코드로, 그 반대로) 일반화되는 정책 최적화를 위한 안정적인 신호를 제공합니다.

한계:

• 작업 범위: 이 연구는 주로 검증 가능한 추론 작업을 대상으로 합니다. 저자들은 추가적인 제약 없이 더 개방형 생성 설정 (예: 장문 작성 또는 대화) 으로 VIGOR 가 얼마나 잘 전이될지는 불분명하다고 지적합니다.
• 계산 비용: VIGOR 는 자동 미분을 통한 샘플별 그라디언트 노름 계산을 필요로 하므로, 가능성이나 엔트로피와 같은 순방향 신호에 비해 상당한 오버헤드를 초래합니다.
• 대리 변수 성격: 그라디언트 노름은 대리 목적 함수입니다. 저자들은 이것이 하류 유틸리티를 일관되게 추적하지 못할 수 있으며, 잠재적 정렬 불일치나 보상 악용의 여지가 있음을 인정합니다.