논문 요약: Reaching Beyond the Mode: RL for Distributional Reasoning in Language Models

이 논문은 대규모 언어 모델 (LLM) 이 단일 정답을 생성하는 기존 강화학습 (RL) 의 한계를 극복하고, 불확실성이 존재하거나 여러 정답이 유효한 상황에서 분포 (distribution) 기반 추론을 수행할 수 있도록 하는 새로운 강화학습 기법인 **Multi-Answer RL(다중 답변 강화학습)**을 제안합니다.

1. 문제 정의 (Problem)

기존 LLM 의 강화학습 (RLVR 등) 은 주로 단일 정답을 최적화하도록 훈련됩니다. 이는 벤치마크 평가에는 적합하지만, 다음과 같은 실제 세계의 복잡한 상황에서는 한계를 보입니다.

• 불완전한 정보와 모호성: 의료 진단, 모호한 질문 답변, 불완전한 정보 기반의 코딩 작업 등에서는 여러 가지 유효한 가설이 공존할 수 있습니다.
• 엔트로피 붕괴 (Entropy Collapse): RL 로 훈련된 모델은 가장 확률이 높은 단일 답변 (Mode) 으로 수렴하는 경향이 있어, 다른 유효한 대안들을 무시하게 됩니다.
• 비효율적인 추론: 현재는 'Best-of-K'와 같이 추론 시 (Inference-time) 여러 번 샘플링하여 다양한 답변을 얻는 방식이 사용되지만, 이는 계산 비용이 매우 높고 모델이 본질적으로 단일 답변에 집중하도록 훈련된 점과 모순됩니다.

따라서, 모델이 추론 시 별도의 샘플링 없이 **단일 프론트패스 (single forward pass) 로 여러 개의 유효한 가설과 각 가설에 대한 신뢰도 (confidence)**를 명시적으로 생성할 수 있어야 합니다.

2. 방법론 (Methodology)

저자들은 Multi-Answer RL을 제안하며, 이는 모델이 단일 체인 오브 씽킹 (Chain-of-Thought) 내에서 여러 후보 답변 집합을 생성하고 이를 최적화하도록 합니다.

2.1 Multi-Answer RLVR (Verifiable Rewards)

• 목표: 주어진 프롬프트에 대해 $K$개의 서로 다른 후보 답변 집합 $A = \{a_1, ..., a_K\}$을 생성하고, 이 중 지면 정답 집합 $Y^*$에 포함된 답변의 수를 최대화합니다.
• 보상 함수: 생성된 답변 집합 내의 정답 개수를 기반으로 한 집합 레벨 (Set-level) 보상을 사용합니다.
  $$R_{RLVR}^{multi}(A, Y^*) = \sum_{i=1}^{K} \mathbb{1}[a_i \in Y^*]$$
• 특징: 단일 정답 ($N=1$) 인 경우에도 $K>1$로 설정하여 Pass@K 성능을 최적화하며, 여러 정답 ($N>1$) 이 있는 경우 (예: 의료 진단) 모든 정답을 커버하도록 유도합니다.

2.2 Multi-Answer RLCR (Calibration Rewards)

• 목표: 답변의 정확성뿐만 아니라 각 답변에 대한 **신뢰도 (Confidence)**를 함께 학습하여 보정된 확률 분포를 생성합니다.
• 출력 형식: 모델은 $K$개의 답변과 각각에 대응하는 신뢰도 $Q = \{q_1, ..., q_K\}$를 출력합니다.
• 보상 함수: 정확성 보상과 Multi-Brier Score (신뢰도와 실제 정답 여부의 제곱 오차) 를 결합합니다.
  $$R_{RLCR}^{multi} = R_{RLVR}^{multi} - R_{Brier}^{multi}$$
• 의미: 이 방식은 모델이 단순히 정답을 맞추는 것을 넘어, "이 답변이 맞을 확률이 얼마나 되는가"를 올바르게 예측하도록 훈련시킵니다.

3. 주요 기여 (Key Contributions)

1. 분포 추론을 위한 새로운 RL 프레임워크: 추론 시 외부 샘플링 없이 모델 내부에서 직접 유효한 답변 집합과 확률 분포를 생성하도록 훈련하는 Multi-Answer RL 을 제안했습니다.
2. 계산 효율성 증대: 기존 'Best-of-K' 방식 (여러 번 샘플링) 에 비해, Multi-Answer RL 은 단일 생성으로 여러 답변을 얻으므로 토큰 사용량을 획기적으로 줄입니다 (의료 데이터셋 기준 약 44% 감소).
3. 다양성과 정확성 동시 달성: 단일 답변 훈련 모델이 겪는 '답변 붕괴 (Answer Collapse)' 현상을 해결하여, 다양한 유효한 가설을 탐색하면서도 정답 커버리지 (Coverage) 를 높였습니다.
4. 보정된 불확실성 추정: RLCR 변형을 통해 모델이 생성한 답변 집합에 대해 통계적으로 보정된 (Calibrated) 신뢰도를 제공할 수 있음을 입증했습니다.

4. 실험 결과 (Results)

의료 진단 (DDXPlus), 모호한 질문 답변 (HotPotQA-Modified), 코딩 (MBPP) 세 가지 벤치마크에서 평가되었습니다.

• 정확도 및 커버리지:
  • DDXPlus (의료): Multi-Answer RL 은 단일 답변 모델 대비 평균 정답 수 (Coverage) 를 크게 향상시켰습니다 (예: RLVR Single 0.62 → Multi 0.79).
  • MBPP (코딩): 단일 정답이 아닌 다양한 알고리즘 구현이 가능한 경우, Multi-Answer RL 은 더 다양한 정답을 생성하여 Top-1 정확도를 50% 이상 향상시키고 토큰 사용량은 절반으로 줄였습니다.
  • HotPotQA: 정보가 부족한 상황에서도 Multi-Answer RL 은 단일 모델이 놓치는 정답을 포함할 확률 (Pass@K) 을 높였습니다.
• 다양성 (Diversity):
  • 동일한 토큰 예산 (30 개 생성) 하에서, Multi-Answer 모델은 단일 샘플링 모델보다 약 2 배 더 많은 고유한 (Unique) 답변을 생성했습니다. 이는 모델이 동일한 추론 경로를 반복하지 않고 다양한 가설을 탐색함을 의미합니다.
• 계산 효율성 (Efficiency):
  • Multi-Answer RL 은 여러 답변을 한 번에 생성하므로, 단일 모델을 여러 번 실행하는 것보다 토큰 사용량이 현저히 적습니다.
• 보정 (Calibration):
  • RLCR Multi 모델은 생성된 답변 집합에 대해 더 잘 보정된 (Calibrated) 신뢰도를 제공했습니다. 특히 RLVR Multi 가 과도하게 자신 있는 (Overconfident) 경향을 보이는 것과 대조적으로, RLCR Multi 는 실제 정확도와 신뢰도 간의 오차를 줄였습니다.

5. 의의 및 결론 (Significance)

이 연구는 언어 모델이 단일 정답에 매몰되는 것을 넘어, 불확실성이 내재된 복잡한 문제 해결에 적합한 분포 기반 추론 능력을 갖추도록 하는 중요한 전환점을 제시합니다.

• 실용적 가치: 의료 진단, 법률, 과학적 추론 등 여러 정답이 공존하거나 불확실성이 중요한 고위험 (High-stakes) 분야에서 모델의 신뢰성과 활용도를 높일 수 있습니다.
• 효율성: 추론 시 발생하는 계산 비용을 줄이면서 동시에 모델의 다양성과 정확성을 개선하는 계산 효율적인 대안을 제공합니다.
• 미래 방향: 단일 답변 최적화에서 벗어나 모델이 내부 분포를 명시적으로 표현하고 탐색할 수 있는 새로운 RL 패러다임을 제시하며, 향후 더 복잡한 추론 작업과 불확실성 관리 연구의 기초를 마련했습니다.

결론적으로, Multi-Answer RL은 언어 모델이 "가장 그럴듯한 하나의 답"이 아닌 "모든 유효한 가능성과 그 확률"을 이해하고 생성할 수 있도록 하는 강력한 프레임워크입니다.