기술 요약: 언어 모델 일반 추론을 위한 결합 변분 강화 학습

문제 정의

검증 가능한 보상을 활용한 강화 학습 (RLVR) 은 수학적 영역과 같이 규칙 기반 프로그램으로 최종 답을 검증할 수 있는 분야에서 대규모 언어 모델 (LLM) 의 추론 능력을 향상시키는 데 상당한 성공을 거두었습니다. 그러나 이 패러다임은 검증 가능한 보상이 필요하다는 제약으로 인해, 형식적 검증이 어렵거나 불가능한 일반 추론 작업 (예: 화학, 개방형 질문) 에는 적용 범위가 제한됩니다.

최근의 "검증기 없는 (verifier-free)" 접근법들은 LLM 이 올바른 참조 답을 생성할 확률을 보상 신호로 사용하여 이 제약을 우회하려 시도합니다. 효과적이기는 하나, 이러한 방법들은 일반적으로 **질문만 기반 생성 (question-only generation)**에 의존합니다. 즉, 모델이 입력 질문에만 조건부로 추론 경로를 샘플링합니다. 저자들은 이 설계에 두 가지 근본적인 한계가 있음을 지적합니다:

1. 낮은 샘플 효율성: 가이드가 없으면 모델은 어려운 질문에 대해 유용한 추론 경로를 생성하는 데 어려움을 겪어, 추론 공간의 탐색이 비효율적입니다.
2. 경로 - 답 불일치: 목표 답에 접근하지 않고 샘플링하면, 논리적으로 타당하지만 정답의 특정 형식이나 표현과 일치하지 않는 추론 경로가 생성될 수 있어, 올바른 추론이 낮은 보상을 받게 됩니다.

방법론: 결합 변분 강화 학습 (CoVRL)

본 논문은 질문만 기반 훈련의 한계를 해결하기 위해 변분 추론과 강화 학습을 연결하는 프레임워크인 CoVRL을 제안합니다. 핵심 혁신은 사전 (prior) 분포와 사후 (posterior) 분포를 하이브리드 샘플링 전략을 통해 결합하는 것입니다.

1. 변분 공식화

추론 과정을 잠재 변수 문제로 설정하여, 질문 ($x$) 과 답 ($y$) 사이를 추론 경로 ($z$) 가 매개하도록 합니다. 목표는 주변 가능도 $p(y|x) = \int p(y|z, x)p(z|x) dz$를 최적화하는 것입니다.

• 사전 분포 ($p_\phi(z|x)$): 답을 알 수 없는 실제 추론 조건을 반영하는 질문만 기반 생성을 나타냅니다.
• 사후 분포 ($q_\psi(z|x, y)$): 질문과 올바른 답 모두에 조건부로 경로를 샘플링하여 일관성을 보장하는 답 기반 생성을 나타냅니다.

기존 접근법은 비효율적인 사전 분포 또는 훈련 - 추론 불일치를 초래하는 사후 분포 중 하나를 최적화합니다. CoVRL 은 이 두 가지를 결합하는 복합 분포 (Composite Distribution) $p'(z|x, y)$를 도입합니다:
$$p'(z_t|z_{<t}, x, y) = \frac{1}{2}p_\phi(z_t|z_{<t}, x) + \frac{1}{2}q_\psi(z_t|z_{<t}, x, y)$$
이 복합 분포를 통해 모델은 답 기반 신호로부터 학습하면서도 추론 시 조건과 정렬을 유지할 수 있습니다.

2. 하이브리드 샘플링 전략

토큰 수준의 복합 분포에서 직접 샘플링하는 것은 계산적으로 복잡합니다. 대신 CoVRL 은 오프-폴리시 하이브리드 샘플링 전략을 사용합니다:

• 각 훈련 예제에 대해 모델은 확률 $\alpha$로 사전 분포에서, 또는 확률 $1-\alpha$로 사후 분포에서 무작위 샘플링을 수행합니다.
• 중요도 가중치 (Importance Weighting): 하이브리드 분포에서 샘플을 사용하여 목표 복합 분포를 최적화하기 위해, 정책 경량 업데이트에 중요도 가중치를 적용합니다.
• 프롬프트 엔지니어링: 사전과 사후는 서로 다른 프롬프트 템플릿을 사용하는 단일 LLM 으로 구현됩니다:
  • 사전: 질문 $\to$ 추론 $\to$ 답.
  • 사후: 질문 $\to$ 답 $\to$ 추론 (추론 생성을 위한 맥락으로 답을 제공).

3. 최적화 목적 함수

훈련 목적 함수는 다음으로 구성된 증거 하한 (ELBO) 을 최대화합니다:

• 재구성 항: 올바른 답으로 이어지는 경로를 생성하도록 장려합니다. 이는 외부 검증기 없이 모델의 자체 답 예측 확률에서 유도된 보상을 사용하는 그룹 상대 정책 최적화 (GRPO) 로 최적화됩니다.
• 정규화 항: KL 발산 항 $D_{KL}(p'(z|x, y) \| p_\phi(z|x))$은 복합 분포가 사전 분포에 가깝게 유지되도록 제약합니다. 이는 훈련 중 (답 가이드를 사용할 수 있음) 에 학습된 추론 패턴이 답을 사용할 수 없는 추론 시에도 효과적으로 전이되도록 보장합니다.
• KL 추정: 논문은 하이브리드 샘플링과 목표 복합 분포 간의 분포 불일치를 처리하기 위해 Bregman 발산 기반 제어 변수를 사용한 저분산, 비음수 KL 추정기를 유도합니다.

주요 기여

1. 추론의 변분 공식화: 저자들은 추론 최적화를 변분 추론 문제로 공식화하여, 계산 가능한 프레임워크 내에서 사전 (질문만 기반) 과 사후 (답 기반) 생성 모드를 이론적으로 통합했습니다.
2. 하이브리드 샘플링 전략: 효율성과 일관성을 위한 답 기반 학습과 추론 시 전이 가능성 (사전 분포를 통해) 을 균형 있게 조절하는 메커니즘을 제안하여, 샘플 효율성과 경로 - 답 정렬 간의 트레이드오프를 해결했습니다.
3. 복합 분포 최적화: 복합 분포를 구성하고 최적화함으로써 CoVRL 은 강력한 사고 - 답 일관성을 유지하면서 효율적인 탐색을 가능하게 하여, 사후 분포만 기반 훈련의 커버리지 문제를 피합니다.

실험 결과

저자들은 Qwen2.5-7B-Base 및 Qwen3 모델을 사용하여 일반 추론 (MMLU-Pro, GPQA, TheoremQA) 과 수학적 추론 (AIME'24, MATH-500 등) 을 포함한 포괄적인 벤치마크에서 CoVRL 을 평가했습니다.

• 성능 향상: CoVRL 은 베이스 모델 대비 12.4% 향상을, 그리고 VeriFree, RLPR, LaTRO 와 같은 가장 강력한 검증기 없는 RL 베이스라인 대비 평균 2.3% 향상을 달성했습니다.
• 일반화: 주로 비수학적 질문으로 훈련되었음에도 불구하고, 모델은 수학적 벤치마크에서 상당한 향상을 보였으며, 이는 학습된 추론 능력이 영역 간에 일반화 가능함을 시사합니다.
• 훈련 역학: 실험은 사후 분포가 보상 향상을 위한 효과적인 가이드를 제공하는 반면, 사전 분포는 꾸준히 향상되어 가이드가 추론 시 전이됨을 확인했습니다.
• 애블레이션 연구:
  • 샘플링 비율 ($\alpha$): 균형 잡힌 샘플링 비율 ($\alpha=0.5$) 이 극단적인 설정보다 우월하여, 두 분포의 결합이 필수적임을 확인했습니다.
  • 강건성: 이 방법은 다양한 모델 크기 (7B 에서 14B) 및 아키텍처에서 일관된 개선을 보여주었습니다.
  • 추론 품질: 인간 및 LLM-as-a-judge 평가는 중간 추론 경로의 사실성, 타당성, 일관성 및 유용성이 향상되었음을 나타냈습니다.

중요성 및 주장

본 논문은 CoVRL 이 외부 검증기에 의존하지 않고 언어 모델의 일반 추론 능력을 향상시키는 원칙적인 프레임워크를 제공한다고 주장합니다. 사전과 사후 분포를 명시적으로 결합함으로써, 이 방법은 질문만 기반 샘플링의 비효율성과 답 기반 훈련의 추론 불일치를 극복합니다.

저자들은 이 접근법이 견고한 도메인별 검증 엔진에 대한 의존성을 제거함으로써 고급 AI 추론에 대한 접근을 민주화한다고 강조합니다. 오용 가능성 (예: 정교한 허위 정보 생성) 을 인정하면서도, 이 작업은 형식적 검증이 현재 불가능한 영역에서 LLM 의 더 강건하고 일반화 가능한 추론을 향한 한 걸음으로 자리매김합니다. 결과는 도메인별 솔루션을 최적화하는 것보다 결합 변분 접근법을 통해 근본적인 추론 패턴을 개발하는 것이 더 효과적임을 시사합니다.