기술 요약: 의미 수준 보상을 통한 LLM 보정

문제 제기

대형 언어 모델 (LLM) 이 의료 질문 응답 및 법적 추론과 같은 고위험 분야에서 배포됨에 따라, 출력이 정확할 가능성을 언제 추정할 수 있는지는 매우 중요합니다. 표준 검증 가능 보상 강화 학습 (RLVR) 은 이진 정확도를 최적화하지만 모델의 확신도를 고려하지 못합니다. 이러한 이진 보상 구조는 확신 수준에 무관하며, 확신을 표현하는 데 어떤 패널티도 부과하지 않기 때문에 과도한 확신을 가진 추측을 구조적으로 장려합니다. 그 결과, RL 로 훈련된 모델들은 종종 환각 발생률이 증가하고 보정이 불량한 모습을 보입니다.

이를 해결하려는 최근 시도는 모델이 답변과 함께 구두화된 확신 점수(예: "저는 80% 확신합니다") 를 생성하도록 훈련하는 것입니다. 그러나 본 논문은 구두화된 확신이 불확실성의 신뢰할 수 없는 대리 변수라고 주장합니다. 실증 분석에 따르면 이러한 점수는 근본적인 의미적 의미가 동일하더라도 프롬프트 문구와 답변 텍스트의 변형에 매우 민감하게 반응합니다. 구두화된 확신은 종종 모델이 생성한 실제 의미 분포를 추적하지 못하고, 모델의 진정한 의미적 불확실성이 아닌 보고 인터페이스를 보정합니다.

방법론: 의미 보상을 통한 보정 (CSR)

저자들은 명시적인 확신 보고 인터페이스의 필요성을 우회하여 의미 공간에서 직접 LLM 을 보정하는 의미 보상을 통한 보정 (CSR) 프레임워크를 제안합니다.

핵심 개념

CSR 은 의미 수준 불확실성, 즉 동일한 질문에서 반복적으로 샘플링될 때 모델이 생성하는 의미의 분포를 기준으로 보정을 구성합니다. 모델은 다음 조건을 충족할 때 잘 보정된 것으로 간주됩니다:

1. 정확한 예측은 집중된 의미 군집 (높은 의미 일치도) 을 형성합니다.
2. 부정확한 예측은 분산되고 의미적으로 다양한 출력을 산출합니다 (낮은 의미 일치도).

불확실성은 모델이 확신 토큰을 생성할 필요 없이 의미 엔트로피를 사용하여 답변 분포에서 사후적으로 추정됩니다.

보상 구조

CSR 은 그룹 상대 정책 최적화 (GRPO) 를 통해 최적화되는 이중 보상 시스템을 활용합니다:

1. 검증 가능 정확도 보상 ($r_{RLVR}$): 표준 이진 보상 (롤아웃이 정답과 일치하면 1, 그렇지 않으면 0). 이는 확률 질량을 정확한 의미 모드로 이동시킵니다.
2. 의미 보정 보상 ($r_{calibration}$): 쌍별 의미 일치도를 정확도와 정렬시키는 새로운 보상입니다.
   • $K$개의 롤아웃 그룹에 대해, 이 보상은 다른 롤아웃 $C^{(i)}$와의 일치도가 정답에 대한 정확도와 일치하지 않는 경우 롤아웃 $C^{(j)}$에 패널티를 부과합니다.
   • 구체적으로, 쌍별 일치 지표 $J(C^{(j)}, C^{(i)})$와 정확도 지표 $J(C^{(j)}, C^*)$ 사이의 이진 교차 엔트로피를 최소화합니다.
   • 효과: 이는 정확한 롤아웃들이 서로 일치하도록 (단단한 군집 형성) 장려하고, 부정확한 롤아웃들이 불일치하도록 (잘못된 모드에서 벗어나 탐구 촉진) 유도합니다.

훈련 목표

저자들은 보정 보상만 단독으로 최적화하면 단일 부정확한 답변으로 수렴하거나 최대한 다양한 부정확한 답변을 생성하는 퇴화된 실패 모드로 이어진다고 관찰합니다. 이를 방지하기 위해 커리큘럼 학습 일정을 사용합니다:
$$r_{CSR}^{(j)}(t) = r_{RLVR}^{(j)} + \lambda(t) r_{calibration}^{(j)}$$
여기서 $\lambda(t)$는 비감소 함수입니다 (실험에서는 선형 일정 사용). 이는 보정 신호가 분포 구조를 형성하기 전에 모델이 먼저 $r_{RLVR}$을 통해 0 이 아닌 정확도를 확립하도록 보장합니다.

통합

CSR 은 GRPO 와 원활하게 통합됩니다. GRPO 가 이미 이점을 계산하기 위해 롤아웃 그룹을 샘플링하므로, CSR 은 동일한 그룹을 사용하여 쌍별 의미 일치를 평가하며 추가적인 샘플링 오버헤드가 발생하지 않습니다.

주요 기여

1. 의미 보정 공식화: 프롬프트 의존적 확신 인터페이스에 대한 원칙적인 대안으로, 구두화된 확신에서 의미 수준 불확실성으로의 전환.
2. CSR 프레임워크: 쌍별 의미 일치도를 정확도와 정렬시키는 강화 학습 방법으로, 명시적인 확신 감독 없이 모델이 보정된 불확실성을 학습하도록 함.
3. 실증적 검증: 세 가지 모델 계열 (Llama, Qwen, Mistral) 과 네 가지 QA 데이터셋 (HotpotQA, TriviaQA, MSMARCO, NQ-Open) 에서 입증됨.

실험 결과

10,000 개의 HotpotQA 훈련 예제에서 실험을 수행했으며, 각 데이터셋 (분포 외 데이터셋 포함) 의 1,000 개 예제에 대해 평가했습니다.

• 보정 성능: CSR 은 거의 모든 설정에서 일관되게 가장 낮은 기대 보정 오차 (ECE) 와 가장 높은 ROC 곡선 아래 면적 (AUROC) 을 달성했습니다.
  • ECE 감소: 구두화된 확신 기준 (RD, RLCR) 대비 최대 40% 감소.
  • AUROC 개선: 구두화된 확신 기준 대비 최대 31% 개선.
  • 일반화: CSR 은 분포 외 (OOD) 데이터셋에서 강력한 보정 성능을 유지한 반면, 구두화된 방법은 일관되지 않은 향상을 보였습니다.
• 정확도: CSR 은 보정 보상을 단독으로 최적화할 때 발생하는 정확도 붕괴를 피하면서 표준 RLVR 과 경쟁력 있는 정확도를 유지했습니다.
• 효율성:
  • 토큰 비용: CSR 의 토큰 비용은 Base 및 RLVR 모델과 유사했으며, 순차적 추론과 확신 생성이 필요한 RLCR 보다 현저히 낮았습니다 (2.7 배~5.7 배).
  • 판정자 효율성: 저자들은 LLM 기반 의미 판정자를 경량 토큰 수준 F1 임계값으로 대체하는 것을 탐구했습니다. LLM 판정자가 더 강력했지만, F1 대용량은 CSR 의 보정 이점 대부분을 유지하여 계산 효율적인 대안을 제공했습니다.
• 강건성: 보정 이점은 다양한 롤아웃 예산 ($K$) 에서 지속되었으며 커리큘럼 일정 선택에 대해 강건했습니다.

중요성과 주장

본 논문은 CSR 이 구두화된 확신 방법의 근본적인 한계를 해결한다고 주장합니다: 표면 형태와 프롬프트 변형에 민감한 보고 인터페이스에 대한 의존성입니다. 모델의 의미 분포를 직접 보정함으로써 CSR 은 다음을 달성합니다:

• 강건한 일반화: 보정 행동은 다른 어휘 내용이지만 유사한 의미 불확실성 구조를 가진 새로운 데이터셋으로 효과적으로 전이됩니다.
• 신뢰성: 고위험 환경의 하류 의사결정을 위한 더 신뢰할 수 있는 불확실성 신호를 제공합니다.
• 실용성: 구두화된 확신과 관련된 파싱 실패 및 형식 제약 (예: RLCR 의 추론 흔적 또는 RD 의 정수 구간) 을 피하여 모든 테스트 구성에서 100% 파싱률을 달성합니다.

저자들은 의미 수준 보정이 신뢰할 수 있는 불확실성 추정을 위한 유망한 방향을 나타낸다고 결론지었으나, 현재 제한 사항으로 의미 동등성 판정의 계산 오버헤드를 인정하고 규칙 기반 일관성 지표에 대한 향후 연구를 제안했습니다.