Utilizing and Calibrating Hindsight Process Rewards via Reinforcement with Mutual Information Self-Evaluation

논문 개요

이 논문은 대규모 언어 모델 (LLM) 기반 에이전트의 강화 학습 (RL) 에서 발생하는 희소 보상 (Sparse Reward) 문제를 해결하기 위해 제안된 새로운 강화 학습 패러다임인 상호 정보 자기 평가 (Mutual Information Self-Evaluation, MISE) 를 소개합니다. MISE 는 에이전트가 스스로 생성한 행동에 대한 '망후 (hindsight)' 자기 평가를 밀집 보상 (Dense Reward) 으로 활용하면서, 동시에 환경의 실제 피드백과 이를 보정 (Calibrate) 하여 편향을 방지하는 메커니즘을 도입합니다.

1. 문제 정의 (Problem)

• 희소 보상 문제: 텍스트 기반 에이전트 작업 (예: 텍스트 월드, 웹 쇼핑) 에서 환경이 제공하는 외부 보상 ($r_E$) 은 매우 희소합니다. 대부분의 중간 행동은 보상이 0 이며, 오직 작업의 일부 완료나 최종 성공 시에만 보상이 주어집니다. 이로 인해 에이전트는 전략적으로 가치 있는 행동 (예: 요리책을 확인하거나 칼을 집는 행동) 을 제대로 학습하지 못해 샘플 효율성이 낮아집니다.
• 자기 평가의 편향: 기존 연구에서 LLM 을 이용한 생성형 보상 모델 (GRM) 이나 프로세스 보상 모델 (PRM) 은 희소 보상을 보완할 수 있지만, 추가 학습 데이터 없이 사용할 경우 심각한 편향을 보입니다. 예를 들어, 에이전트가 실제 진행 상황과 무관하게 '물건 확인 (Inventory)'과 같은 행동을 과도하게 긍정적으로 평가하여 에이전트가 실제 목표 달성에 도움이 되지 않는 행동을 반복하게 만듭니다.
• 이론적 기반 부재: 기존 자기 보상 (Self-rewarding) 접근법은 경험적 효과는 입증되었으나, 이를 뒷받침하는 엄밀한 이론적 근거가 부족했습니다.

2. 방법론 (Methodology)

가. 망후 프로세스 보상 (Hindsight Process Reward)

• 에이전트가 전체 궤적 (미래 포함) 을 알 수 있는 상태에서 각 행동의 전략적 가치를 평가하는 보상 $r_P$를 도입합니다.
• 이는 에이전트가 현재 행동이 미래 궤적에 어떤 영향을 미치는지 평가하게 하여, 희소한 외부 보상을 보완하는 밀집 보상을 생성합니다.

나. 이론적 해석 (상호 정보와 KL 발산)

• 저자들은 망후 자기 평가 보상을 최적화하는 것이 행동과 미래 궤적 사이의 상호 정보 (Mutual Information, MI) 를 최소화하는 것과 동치임을 수학적으로 증명했습니다.
• 또한, 이는 현재 정책 ($\pi$) 과 가상의 보상 정책 ($\pi_P$) 사이의 KL 발산 (KL Divergence) 항을 포함하는 목적 함수와 동일함을 보였습니다.
  • 상호 정보 최소화: 에이전트가 미래 전체 궤적을 명시적으로 검색하지 않아도 최적의 행동을 선택할 수 있도록 함.
  • KL 발산 항: 자기 평가가 실제 최적 정책에 편향되지 않도록 보정 (Calibration) 이 필요함을 시사함.

다. MISE 프레임워크

MISE 는 세 가지 보상을 결합하여 최적화 목표 함수를 구성합니다:

1. 환경 보상 ($r_E$): 희소한 외부 보상.
2. 망후 프로세스 자기 평가 보상 ($r_P$): LLM 이 전체 궤적을 바탕으로 각 행동에 대해 $\{-1, 1\}$ 점수를 부여하는 밀집 보상.
3. 보정 보상 ($r_C$): 자기 평가의 신뢰성을 높이기 위해 설계된 보상.
   • 동작 원리: LLM 의 자기 평가 점수 ($p_{self-eval}$) 와 실제 환경 점수 ($p_{real}$) 간의 차이를 계산하여 보정합니다.
   • 수식: $r_C = \text{clip}(1.2 - 2 \times |p_{real} - p_{self-eval}|, 0, 1) \times 2 - 1$
   • 목적: 자기 평가가 실제 수행 결과와 일관되도록 하여, 편향된 자기 평가 (예: 불필요한 행동에 과도한 점수 부여) 로 인한 과적합을 방지합니다.

최종 목적 함수는 다음과 같습니다:
$$J(\theta) = \mathbb{E}_{\tau \sim \pi_\theta} \left[ \sum_{t=1}^T \frac{r_E + r_P}{2} + r_C \right] - \beta D_{KL}$$

3. 주요 기여 (Key Contributions)

1. 이론적 정립: 망후 자기 평가 보상을 상호 정보 (Mutual Information) 최소화 관점에서 이론적으로 정립하여, 생성형 자기 보상 패러다임에 대한 최초의 이론적 기반을 마련했습니다.
2. MISE 제안: 희소 보상 문제를 해결하기 위해 LLM 의 자기 평가를 밀집 보상으로 활용하면서, 동시에 보정 보상 ($r_C$) 을 통해 평가 편향을 제거하는 새로운 RL 패러다임을 제시했습니다.
3. 상호 증진 효과 입증: 실험을 통해 에이전트의 '행동 선택 (Action Selection)'과 '자기 평가 (Self-Evaluation)'가 서로를 향상시키는 상호 증진 (Mutual Assistance) 효과를 입증했습니다.

4. 실험 결과 (Results)

• 데이터셋: First TextWorld Problems (FTWP), ScienceWorld, WebShop 등 다양한 텍스트 에이전트 태스크에서 실험 수행.
• 모델: LLaMA3-8B, Qwen2-7B, Gemma2-9B 등 오픈소스 모델 (약 7B~9B 파라미터) 과 GPT-4o, GPT-4o-mini 비교.
• 성능:
  • 전문가 감독 없이: MISE 는 RFT, Online DPO, PPO, PRM 등 기존 강력한 베이스라인을 크게 앞섰습니다.
  • GPT-4o 대비: 7B 파라미터 크기의 오픈소스 모델이 MISE 를 적용했을 때, 검증 세트 (Validation) 에서 GPT-4o 와 유사한 성능을 달성하거나 GPT-4o-mini 를 능가했습니다.
  • SFT 모델과의 결합: MISE 는 SFT(지도 미세 조정) 된 모델의 후속 학습 (Post-tuning) 에도 적용되어, GPT-4o 를 능가하는 성능을 보여주었습니다.
• 분석:
  • 보정 보상 ($r_C$) 이 없을 경우 (기존 PRM 방식), 에이전트는 '재고 확인'과 같은 행동을 과도하게 선호하며 성능이 저하되는 편향이 발생했습니다.
  • $r_C$를 도입함으로써 자기 평가의 정확도가 향상되었고, 이는 행동 선택 성능의 향상으로 이어졌습니다.

5. 의의 (Significance)

• 자율 적응성 달성: 전문가의 레이블이나 추가 데이터 없이도 LLM 에이전트가 환경과 상호작용하며 스스로 학습하고 적응할 수 있는 길을 열었습니다.
• 편향 해결: LLM 의 자기 평가가 가진 본질적인 편향 (Overconfidence, 특정 행동 편향) 을 이론적 근거와 보정 메커니즘을 통해 효과적으로 제어하는 방법을 제시했습니다.
• 확장성: 이론적 근거가 탄탄하여 다양한 크기의 LLM 과 다양한 텍스트 기반 에이전트 태스크에 적용 가능한 범용적인 프레임워크를 제공합니다.

결론적으로, 이 논문은 LLM 에이전트의 강화 학습에서 발생하는 희소 보상 문제를 해결하기 위해 자기 평가의 힘을 활용하되, 그 편향을 이론적으로 보정하는 새로운 접근법을 제시함으로써 에이전트의 자율적 적응 능력을 획기적으로 향상시켰습니다.