기술 요약: 스택켈버그 게임 관점에서의 (추론 시점) 정렬을 위한 보상 형성 (Reward Shaping)

1. 문제 정의

현재의 대규모 언어 모델(LLM) 정렬 파이프라인은 일반적으로 사용자 선호 데이터로부터 보상 모델($r_U$)을 학습하고, 이를 사용하여 LLM 정책을 최적화하는 과정을 포함한다. 이 최적화 과정은 기본 모델($\rho_{base}$)과 가깝게 유지하여 유창성과 언어 능력을 보존하기 위해 쿨백-라이블러(KL) 발산 정규화 항에 의해 제약된다.

저자들은 이 표준 파이프라인의 근본적인 한계를 지적한다: KL 제약 조건 하에서 학습된 보상($r_U$)을 직접 최적화하는 것은 사용자 효용(user utility)을 극대화하는 데 있어 차선책(suboptimal)이다. 기본 모델이 강한 편향(예: 정치적 성향)을 가지고 있어 사용자 선호와 충돌할 경우, KL 제약 조건은 보상 모델이 선호도를 정확하게 식별하더라도 정책이 선호되는 분포로 충분히 이동하는 것을 방해한다.

반대로, 강제로 이동시키기 위해 단순히 보상을 증폭시키는 것은 **보상 해킹(reward hacking)**의 위험을 초래한다. 즉, 모델이 KL 제약 조건의 의도를 위반하면서도 보상 신호를 극대화하기 위해 일관성이 없거나 퇴보적인 출력을 생성할 위험이 있다. 해결하고자 하는 핵심 문제는 사용자 효용을 극대화하는 동시에 KL 정규화 하에서의 보상 해킹 위험 사이의 균형을 맞추기 위해 정렬에 사용되는 보상 모델을 어떻게 최적으로 설계(형성)할 것인가이다.

2. 방법론: 스택켈버그 게임 공식화

저자들은 보상 설계 문제를 다음과 같은 두 플레이어의 순차적 게임인 **스택켈버그 게임(Stackelberg game)**으로 공식화한다:

• 리더 (보상 모델 제공자): LLM의 반응을 예측하면서, 사용자의 기대 효용(진정한 효용 함수 $r_U$ 기반)을 극대화하기 위해 보상 모델 $r$을 선택한다. 리더는 반드시 $r_U$를 직접 사용할 필요는 없으며, $B$에 의해 경계가 정해진 임의의 보상 함수 $r: \mathcal{X} \times \mathcal{Y} \to \mathbb{R}$를 선택할 수 있다.
• 팔로워 (LLM): 보상 모델 $r$을 관찰하고, 베이스 정책으로부터의 KL 발산을 뺀 기대 보상을 극대화하도록 자신의 정책 $\rho_r$을 최적화한다:
  $$\rho_r(\cdot|x) = \arg\max_{\rho} \left( \mathbb{E}_{y \sim \rho}[r(x, y)] - \beta \cdot D_{KL}(\rho(\cdot|x) \parallel \rho_{base}(\cdot|x)) \right)$$

이론적 특성 규명

저자들은 최적의 보상 모델 $r^*$에 대한 폐쇄형(closed-form) 특성을 도출한다:

1. 임계값 구조 (Threshold Structure): 최적의 보상 모델은 **임계값 보상(threshold reward)**이다. 주어진 프롬프트 $x$에 대해, 응답들은 진정한 효용 $r_U(x, y)$가 특정 임계값 $m^*(x)$보다 높은지 낮은지에 따라 분할된다.
   • 만약 $r_U(x, y) > m^*(x)$ 이면, 보상은 상한값 $B$로 설정된다.
   • 만약 $r_U(x, y) < m^*(x)$ 이면, 보상은 $0$으로 설정된다.
   • 만약 $r_U(x, y) = m^*(x)$ 이면, 보상은 $[0, B]$ 범위 내에 존재한다.
2. 자기 일관성 조건 (Self-Consistency Condition): 최적의 임계값 $m^*(x)$는 결과적으로 생성된 정책의 기대 효용이 임계값 자체와 같다는 조건을 만족한다:
   $$m^*(x) = \mathbb{E}_{y \sim \rho_{r^*}(\cdot|x)} [r_U(x, y)]$$
3. 계산: 정확한 기댓값을 구하는 것은 계산적으로 불가능하므로, 저자들은 베이스 정책으로부터 **몬테카를로 샘플링(Monte Carlo sampling)**을 사용하여 임계값을 계산하는 방법을 제안한다. 이들은 최적의 임계값에 대응하는 유일한 근(root)을 갖는 헬퍼 함수 $F_x(m)$을 정의하며, 이 근은 이분법 알고리즘(bisection algorithm)을 통해 효율적으로 찾을 수 있다.

실제 구현: 소프트 임계값 처리 (SRS)

이론적으로 최적인 하드 임계값(hard threshold)은 불연속적이며 작은 섭동에도 민나한 특성을 보인다. 이에 저자들은 시그모이드 함수를 사용하는 소프트 임계값 변형 방식인 **스택켈버그 보상 형성(Stackelberg Reward Shaping, SRS)**을 도입한다:
$$r_{\hat{m}^*, \alpha}(x, y) = B \cdot \sigma(\alpha \cdot (r_U(x, y) - \hat{m}^*(x)))$$
여기서 $\hat{m}^*(x)$는 추정된 임계값이며, $\alpha$는 전이의 날카로움(sharpness)을 조절한다. 이는 이 방법이 정렬 효과가 없는 상태($\alpha=0$)와 이론적 최적 상태($\alpha \to \infty$) 사이를 보간할 수 있게 한다.

추론 시점 정렬과의 통합

이 프레임워크는 기존의 추론 시점 정렬 방법(특히 제어 디코딩(Controlled Decoding, CD) 및 보상 가이드 탐색으로서의 정렬(Alignment as Reward-Guided Search, ARGS))에 통합된다:

1. 오프라인 단계: 데이터셋의 프롬프트들에 대해 베이스 모델로부터 $M$개의 응답을 샘플링한다. 이 샘플들에 대해 $r_U$를 계산한다. 이분법을 통해 임계값 $\hat{m}^*(x)$를 추정한다. 형성된 보상 데이터셋을 생성하기 위해 SRS 변환을 적용한다. 형성된 데이터에 대해 Q-값 추정기(Q-value estimator)를 학습시킨다.
2. 추론 단계: 학습된 Q-값 추정기(형성된 보상 하에서의 기대 보상을 포착함)를 사용하여 디코딩 중에 베이스 모델의 토큰 확률을 재가중(reweight)한다.

3. 주요 기여

1. 표준 파이프라인의 차선성 입증: 선호도로부터 학습된 보상 모델을 KL 정규화 목적 함수 하에서 직접 사용하는 것이, 특히 베이스 모델의 편향이 사용자 선호와 충돌할 때 최선이 아님을 입증하였다.
2. 스택켈버그 게임 공식화: 보상 모델 최적화를 스택켈버그 게임으로 공식화하여, 최적의 보상 모델이 임계값 구조를 따른다는 폐쇄형 솔루션을 도출하였다.
3. 효율적인 근사법 개발: 베이스 정책으로부터의 몬테카를로 샘플링을 사용하여 최적의 임계값을 근사하는 알고리즘을 개발하였으며, 이를 통해 최소한의 오버헤드로 기존 방법론에 통합할 수 있게 하였다.
4. 실험적 검증: 제안된 SRS 방법이 추론 시점 설정에서 베이스라인들에 비해 평균 보상을 일관되게 향상시키고 높은 승-무(win-tie) 비율을 달성함을 보여주었다.

4. 실험 결과

본 방법은 Qwen3-8B 및 Llama3-8B 백본을 사용하여 HH-RLHF 및 SHP 데이터셋에서 평가되었다.

• 보상 극대화: SRS가 통합된 방법들(SRS-CD 및 SRS-ARGS)은 일반적인 베이스라인 및 휴리스틱 보상 형성 방식(Minmax, Meanstd)에 비해 모든 평가 설정에서 일관되게 가장 높은 평균 보상을 달ach했다.
• 품질 지표: 해당 방법들은 베이스라인과 유사한 다양성과 일관성을 유지하였으며, 이는 언어 품질의 저하가 없음을 나타낸다.
• GPT-4 평가: 헤드 투 헤드(head-to-head) 비교에서, SRS 방법은 모든 베이스라인(Vanilla, Minmax, Meanstd)을 상대로 평균 66% 이상의 승-무(Win-Tie) 비율을 기록하였으며, 이는 개선 사항이 보상 해킹에 의한 것이 아님을 시사한다.
• 강건성:
  • 일반화: SRS는 하나의 분포(SHP)에서 학습되고 다른 분포(HH-RLHF 및 HarmfulQA)에서 평가되었을 때 우수한 성능을 보였다.
  • 절제 연구(Ablation): SRS의 특정 임계값 구조는 단순한 보상 캡핑(capping)이나 평균 기반 임계값 처리를 능가하였으며, 이는 게임 이론적 공식화에서 도출된 자기 일관적 임계값의 중요성을 확인시켜 준다.
• 오버헤드: SRS-CD의 경우, 보상 형성은 오프라인에서 이루어지므로 추론 시점의 오버헤드가 없다. SRS-ARGS의 경우, 오버헤드는 미미하다 (128-토큰 응답당 약 0.03초).

5. 의의 및 주장

본 논문은 보상 형성이 단순한 휴리스틱이 아니라 체계적으로 해결할 수 있는 최적화 문제라고 주장한다. 정렬 과정을 게임 이론적 관점에서 바라봄으로써, 저자들은 LLM을 유도하는 데 사용되는 보상 모델이 반드시 사용자의 효용을 직접적으로 대변할 필요는 없으며(혹은 대변해서는 안 되며), 오히려 베이스 모델에 의해 부과되는 제약(KL 발산)을 고려하여 "형성"되어야 함을 입증하였다.

이 연구의 의의는 보상 해킹을 유발하지 않으면서 베이스 모델의 편향에 대응할 수 있는 원칙적인 프레임워크를 제공한다는 점에 있다. 저자들은 이 접근 방식이 가볍고, 기존의 추론 시점 정렬 방법과 원활하게 통합되며, 고정된 모델을 다양한 사용자 선호에 적응시키기 위한 강력한 솔루션을 제공한다고 강조한다.

저자들이 언급한 한계점:

• 본 프레임워크는 사용자 선호가 인간의 가치와 일치한다는 선의의 사용자를 가정한다. 만약 보상 모델이 악의적인 선호를 반영한다면, 결과적인 정책은 정렬이 어긋날 수 있다.
• 이 방법은 보상 모델의 가용성과 베이스 정책으로부터의 몬테카를로 샘플링에 의존한다.
• 현재의 실험적 초점은 추론 시점 정렬에 맞춰져 있으나, 저자들은 이를 향후 연구로서 학습 시점 알고리즘(예: GRPO)으로 확장할 가능성을 언급하였다.