기술 요약: Gated-BEPO

문제 정의

장기적 호라이즌(long-horizon) 환경에서 대규모 언어 모델(LLM) 에이전트를 학습시키기 위해서는 효과적인 신용 할당(credit assignment)이 필요합니다. 즉, 희소한 종단 보상(성공/실패)을 궤적(trajectory) 동안 수행된 개별 행동에 매핑해야 합니다. GRPO와 같은 기존의 크리틱 프리(critic-free) 방식은 일반적으로 궤적 수준의 결과적 이점(outcome advantage)을 모든 단계에 동일하게 할당합니다. 이러한 거친 귀속 방식은 성공적인 궤적 내의 비효율적인 행동을 강화하고, 실패한 궤적 내의 유용한 행동을 저해하여 학습 속도를 늦추고 최종 성능을 제한합니다.

최근의 단계별(step-level) 방법들은 상태 또는 히스토리 매칭(예: GiGPO, HGPO)을 통해 단계 그룹을 구성하거나, 그래프 기반 거리 메트릭(예: GraphGPO)을 사용하여 이를 정교화하려고 시도합니다. 그러나 이러한 접근 방식들은 다음과 같은 구체적인 한계에 직면해 있습니다:

1. 적응형 메커니즘 없이 단계별 크레딧과 에피소드 크레딧을 고정된 가중치로 융합하는 경우가 많습니다.
2. 그래프 기반 방식은 동일한 관측치가 서로 다른 잠재적 은닉 상태(hidden state)에 대응할 수 있는 지각적 별칭(perceptual aliasing) 문제로 인해 취약한 가치 추정치를 가질 수 있습니다.
3. 로컬 단계별 비교가 거친 궤적 결과를 대체하거나 보완할 만큼 충분히 신뢰할 수 있는지 결정하는 근거 기반 메커니즘이 부족합니다.

방법론: Gated-BEPO

Gated-BEPO(Confidence-Gated Bellman Credit Assignment)는 경험적 롤아웃 그래프로부터 단계별 크레딧을 도출하고, 로컬 신뢰도에 따라 이를 궤적 수준의 크레딧과 적응적으로 융합하는 크리틱 프리 방식입니다.

1. 경험적 그래프 구축 (Empirical Graph Construction)

각 롤아웃 그룹(동일한 초기 태스크로부터 생성된 궤적 집합)에 대해, 이 방법은 동일하게 관측된 상태들을 공유 상태 그래프로 병합합니다. 이 그래프는 관측된 전이(edges)의 다중성(multiplicities)을 유지합니다. 종단 상태(성공, 실패, 중단)는 가치가 0인 흡수 상태(absorbing states)로 취급됩니다.

2. 벨만 고정점 가치 추정 (Bellman Fixed-Point Value Estimation)

별도의 크리틱 네트워크를 학습하는 대신, Gated-BEPO는 **평균 백업 벨만 고정점(mean-backup Bellman fixed point)**을 사용하여 경험적 그래프로부터 상태 가치를 직접 추정합니다.

• 초기화: 가치는 몬테카를로 리턴(Monte-Carlo returns)으로 초기화됩니다.
• 업데이트: 비종단 상태 $s$의 가치는 관측된 출력 전이들의 평균을 통해 업데이트됩니다:
  $$V^{(k+1)}(s) = \frac{1}{|E(s)|} \sum_{(r, s') \in E(s)} [r + \gamma V^{(k)}(s')]$$
  여기서 $E(s)$는 출력 전이들의 멀티셋(multiset)입니다. 이 연산자는 수축 사상(contraction)이며, 현재 정책의 경험적 행동 분포를 반영하는 유일한 고정점을 보장합니다.
• 시간차(Temporal-Difference, TD) 잔차: 고정점에 도달하면, 이 방법은 각 전이에 대해 TD 잔차를 계산합니다: $\delta_i = r_i + \gamma V(s'_i) - V(s_i)$. 이 잔차는 특정 전이가 해당 상태에서 발생하는 출력 엣지들의 경험적 평균보다 나은지 혹은 못한지를 측정합니다.

3. 일반화 어드밴티지 추정 (Generalized Advantage Estimation, GAE)

TD 잔차는 즉각적인 효과와 다운스트림 효과를 모두 포착하기 위해 GAE를 사용하여 원래의 궤적을 따라 역방향으로 전파됩니다:
$$\hat{A}^{FP}_i = \delta_i + \gamma \lambda \hat{A}^{FP}_{next(i)}$$
이를 통해 롤아웃 그룹 전체에서 표준화된 고정점 단계 어드밴티지($\hat{A}^{FP}$)가 산출됩니다.

4. 신뢰 게이트 기반 크레딧 혼합 (Confidence-Gated Credit Mixing)

핵심 혁신은 로컬 벨만 신호와 글로벌 궤적 결과 사이의 신뢰도를 결정하는 적응형 게이팅 메커니즘입니다.

• 게이트 정의: 이진 게이트 $\rho(s)$는 상태 $s$가 충분한 로컬 증거를 가질 때만 활성화됩니다:
  1. 반복 방문 횟수 ($n(s) \ge n_{min}$).
  2. 관측된 분기 ($|Succ(s)| \ge b_{min}$, 즉 여러 개의 서로 다른 후속 상태 존재).
• 혼합 규칙: 최종 어드밴티 $\hat{A}_i$는 결과적 어드밴티($\hat{A}^{out}$)와 고정점 어드밴티($\hat{A}^{FP}$)의 가중 합입니다:
  $$\hat{A}_i = \eta_i \hat{A}^{out}_i + w \rho(s_i) \hat{A}^{FP}_i$$
  • 신뢰할 수 없는 상태 ($\rho=0$): 이 방법은 결과적 어드밴티에 전적으로 의존합니다 ($\eta_i = 1$).
  • 신뢰할 수 있는 상태 ($\rho=1$): 고정점 어드밴티가 활성화되며, 결과적 어드밴티가 더 정보가 풍부한 단계 신호를 압도하지 않도록 가중치가 낮아집니다 ($\eta_i = \eta_{min}$).

주요 기여

1. 크리틱 프리 벨만 고정점 추정기: 별도의 가치 네트워크를 학습하지 않고 경험적 롤아웃 그래프로부터 상태 가치와 단계별 어드밴티지를 도출하는 방법으로, 그래프 거리 기반 방식에 비해 노이즈와 지각적 별칭에 대한 민감도를 줄입니다.
2. 신뢰 게이트 기반 혼합: 로컬 그래프 증거(분기 및 반복)를 사용하여 단계별 크레딧 적용을 제어하는 메커 메커니즘입니다. 이는 지원되지 않는 로컬 추정이 정책 업데이트를 오염시키는 것을 방지하는 동시에, 신뢰할 수 있는 단계 신호가 거친 궤적 결과에 의해 묻히지 않도록 보장합니다.
3. 경험적 검증: 다양한 LLM 백본(Qwen2.5, Qwen3)을 사용하여 텍스트 기반(WebShop, ALFWorld) 및 시각-언어(Sokoban) 환경에서 일관된 개선을 입증했습니다.

실험 결과

실험은 Qwen2.5 (1.5B, 7B) 및 Qwen3 (1.7B) 모델을 사용하여 WebShop, ALFWorld, Visual Sokoban에서 수행되었습니다.

• 성능 향상: Gated-BEPO는 GRPO, GiGPO, HGPO, GAGPO를 포함한 강력한 베이스라인들을 일관되게 능가했습니다.
  • ALFWorld (1.5B)에서 HGPO 대비 성공률을 2.78% 향상시켰습니다.
  • WebShop (1.5B)에서 HGPO 대비 성공률을 3.51%, GRPO 대비 태스크 점수를 6.9% 향상시켰습니다.
  • Visual Sokoban에서 80.03%의 성공률을 달 기록하며 GRPO와 GiGPO를 상당한 차이로 앞섰습니다.
• 학습 속도: 학습 곡선은 궤적 수준 방법들과 비교하여 더 빠른 수렴과 더 높은 최종 성공률을 보여줍니다.
• 별칭(Aliasing)에 대한 강건성: 증강된 상태 정보 없이 원시 관측값만을 사용한 ALFWorld 제어 실험에서, GraphGPO는 지각적 별칭으로 인해 학습에 실패했으나 Gated-BEPO는 여전히 효과적이었습니다. 이는 이 방법이 병합된 그래프 상의 최단 경로 거리가 아닌 전이 특화적 TD 잔차를 사용하기 때문입니다.
• 절제 연구(Ablation Studies):
  • 세 가지 구성 요소(고정점 크레딧, 신뢰 게이트, 결과 가중치 감소) 모두 성능에 긍정적으로 기여했습니다.
  • "Mean" 벨만 백업이 "Max" 또는 "Softmax" 백업보다 우수함이 밝혀졌는데, 후자는 드문 전이를 증폭시키는 경향이 있었습니다.
  • 서로 다른 후속 상태를 요구하는 이진 게이트가 연속적인 신뢰도 점수나 단순 반복 기반 게이트보다 더 효과적이었습니다.

의의

본 논문은 Gated-BEPO가 크리틱 프리 RL의 근본적인 트레이드오프, 즉 궤적 수준 결과의 안정성과 단계 수준 학습의 세밀함 사이의 균형을 해결한다고 주장합니다. 경험적 그래프로부터 가치를 도출하고 로컬 증거에 따라 그 적용을 게이팅함으로써, 이 방법은 장기적 태스크에서 정책 최적화를 위한 더 신뢰할 수 있는 신호를 제공합니다. 이는 시스템이 로컬 비교가 경험적으로 뒷받침되는 상태와 그렇지 않은 상태를 구분할 수 있다면, 학습된 크리틱의 계산 비용이나 불안정성 없이도 미세한 크레딧 할당이 가능하다는 것을 보여줍니다.