기술 요약: 일반화된 이점 그룹화 정책 최적화 (GAGPO)

문제 정의

강화 학습 (RL) 은 특히 다턴 상호작용을 위한 대규모 언어 모델 (LLM) 에이전트의 사후 학습을 위한 지배적인 패러다임으로 자리 잡았습니다. 그러나 중요한 병목 현상이 여전히 존재합니다: 다턴 환경에서의 신용 할당 (credit assignment). 이러한 환경에서 에이전트는 일반적으로 에피소드 종료 시에만 희소하고 궤적 수준의 보상을 받습니다. 이로 인해 어떤 구체적인 중간 행동이 성공이나 실패로 이어졌는지 판단하기 어렵습니다.

기존 솔루션들은 다음과 같은 트레이드오프에 직면해 있습니다:

1. 비평가 기반 방법 (Critic-based methods): 보조 가치 추정기나 프로세스 보상 모델을 도입하여 더 밀도 높은 단계 수준의 피드백을 제공합니다. 효과적이지만, 이러한 접근법은 상당한 학습 복잡성과 추정 오차를 추가합니다.
2. 비평가 없는 방법 (Critic-free methods): 궤적 상대적 또는 몬테카를로 스타일의 그룹화 최적화 (예: GRPO, GiGPO) 에 의존합니다. 구조적으로 단순하지만, 종종 높은 분산 신호와 약하게 전파되는 감독을 초래하여, 신용 할당을 토큰 생성이 아닌 에이전트의 실제 의사결정 경계 (환경 단계) 와 정렬시키지 못합니다.

핵심적인 과제는 학습된 비평가나 특수한 탐색 절차에 의존하지 않고 다턴 에이전트 학습에서 시간적으로 전파되고 단계에 정렬된 신용 할당을 달성하는 것입니다.

방법론: GAGPO

저자들은 학습된 비평가가 없는 RL 방법인 **일반화된 이점 그룹화 정책 최적화 (GAGPO)**를 제안합니다. 이는 정밀하고 단계에 정렬된 시간적 신용 할당을 가능하게 하도록 설계되었습니다. GAGPO 는 세 가지 주요 단계로 작동합니다:

1. 롤아웃 그룹화 및 상태 집계

표준 토큰 수준 업데이트와 달리, GAGPO 는 각 환경 단계를 신용 할당의 기본 단위로 취급합니다. 단일 에이전트 행동 (토큰 시퀀스) 내의 모든 토큰은 단일 단계 수준 이점을 공유합니다.

• 그룹화 가치 대리 변수 (Grouped Value Proxy): 이 방법은 샘플링된 궤적 전반에 걸쳐 동일한 환경 상태 $s$의 모든 발생을 그룹화하여 비모수적 가치 대리 변수를 구성합니다. 상태 $s$에 대해 그룹 $G(s)$는 상태가 일치하는 모든 단계 $(i, t)$를 수집합니다.
• 가치 추정: 가치 대리 변수 $\bar{V}(s)$는 $G(s)$ 내의 모든 단계의 할인된 반환 평균으로 계산됩니다:
  $$\bar{V}(s) = \frac{1}{|G(s)|} \sum_{(j,u) \in G(s)} \hat{R}^{(j)}_u$$
  이 집합화는 수집된 롤아웃만으로 수행되며, 추가 학습 비용이나 학습된 비평가가 필요하지 않습니다.

2. 단계 수준 시간적 신용 할당

GAGPO 는 학습된 가치 함수 대신 비모수적 대리 변수 $\bar{V}$를 사용하여 일반화된 이점 추정 (GAE) 을 모방하는 방식으로 시간적 이점을 재귀적으로 계산합니다.

• TD 잔차: 단계 $(i, t)$에 대한 시간 차 잔차는 다음과 같습니다:
  $$\delta^{(i)}_t = r^{(i)}_t + \gamma \bar{V}(s^{(i)}_{t+1}) - \bar{V}(s^{(i)}_t)$$
  (여기서 $\bar{V}$는 종료 상태에 대해 0 입니다).
• 재귀적 전파: 단계 수준 이점 $\hat{A}^{(i)}_t$는 편차 - 분산 트레이드오프 매개변수 $\lambda$를 사용하여 재귀적으로 계산됩니다:
  $$\hat{A}^{(i)}_t = \delta^{(i)}_t + \gamma \lambda \hat{A}^{(i)}_{t+1}$$
  이를 통해 지연된 보상에 기반하여 중간 의사결정에 보상을 부여하면서 결과 감독이 시간을 거슬러 전파될 수 있습니다.

3. 그룹 정규화 PPO 업데이트

안정성과 국소적 최적화를 보장하기 위해:

• 그룹 정규화: 전체 배치에 걸쳐 정규화하는 대신 (이질적인 작업을 혼합함), 각 롤아웃 그룹 $B$ 내에서 이점을 표준화합니다:
  $$A^{(i)}_t = \frac{\hat{A}^{(i)}_t - \mu_B}{\sigma_B + \epsilon}$$
• 시퀀스 수준 중요도 비율: 행동 $a_t$가 여러 토큰으로 구성되므로, GAGPO 는 개별 토큰의 로그 비율을 평균화하여 전체 행동 시퀀스에 대한 단일 중요도 비율을 계산하며, 토큰별 비율을 독립적으로 클리핑하지 않습니다. 이는 단일 행동 내에서 "기울기 찢어짐 (gradient tearing)"을 방지합니다.
• 목적 함수: 최종 목적 함수는 이러한 그룹 정규화 및 시퀀스 정렬 이점을 사용하는 클리핑된 PPO 손실입니다.

주요 기여

1. 비평가 없는 시간적 전파: GAGPO 는 학습된 비평가가 없이 롤아웃 데이터에서 유래된 비모수적 그룹화 가치 대리 변수를 활용하여 TD/GAE 스타일의 시간적 이점을 계산하는 방법을 도입합니다.
2. 단계 정렬된 신용 할당: 최적화의 단위를 토큰에서 환경 단계로 전환하여, 신용이 에이전트의 실제 의사결정 경계에 할당되도록 보장합니다.
3. 안정적인 최적화 역학: 시간적 재귀와 그룹별 정규화 및 시퀀스 수준 중요도 비율을 결합함으로써, GAGPO 는 다턴 궤적에서 직접 안정적이고 낮은 분산의 최적화 신호를 추출합니다.
4. 실증적 우위성: 이 방법은 복잡한 다턴 벤치마크에서 강력한 RL 베이스라인 (PPO, RLOO, GRPO, GiGPO) 보다 일관된 개선을 보여줍니다.

실험 결과

저자들은 Qwen2.5-1.5B-Instruct 및 Qwen2.5-7B-Instruct 백본을 사용하여 ALFWorld(구체화된 가사 작업) 와 WebShop(온라인 쇼핑) 에서 GAGPO 를 평가했습니다.

• 성능 향상: GAGPO 는 모든 베이스라인을 일관되게 능가했습니다.
  • ALFWorld(7B 모델) 에서 전체 점수 95.6을 달성하여 가장 강력한 베이스라인 (GiGPO, 88.8) 보다 6.8 점 앞섰습니다.
  • WebShop(7B 모델) 에서 점수를 86.3에서 90.3으로, 성공률을 **66.4%**에서 **77.5%**로 향상시켰습니다.
• 학습 역학: 처음 120 학습 단계에 대한 분석은 GAGPO 가 초기 단계에서 더 빠르게 학습하며 GiGPO 및 GRPO 와 비교하여 학습 전반에 걸쳐 성능 격차를 유지함을 보여주었습니다.
• 상호작용 효율성: GAGPO 에이전트는 평균적으로 더 적은 상호작용 단계 (더 짧은 에피소드 길이) 에서 성공적인 작업 완수를 달성했습니다.
• 최적화 안정성:
  • 기울기 노름 (Gradient Norm): GAGPO 는 GiGPO 에서 관찰된 높은 진폭의 변동에 비해 더 매끄럽고 덜 변동적인 기울기 역학을 보여주었습니다.
  • 이점 분산: GAGPO 의 단계 수준 이점 분포는 GiGPO 보다 훨씬 더 집중되어 있었습니다 (낮은 사분위 범위와 극단적인 값이 적음). 이는 낮은 분산의 학습 신호를 나타냅니다.

중요성 및 주장

이 논문은 GAGPO 가 다턴 에이전트 RL 을 위한 간단하지만 매우 효과적인 프레임워크를 제공한다고 주장합니다. 그 주요 중요성은 다음을 입증하는 데 있습니다:

1. 비평가 없는 방법의 효과적 확장: 신용이 토큰 수준이 아닌 환경 단계 수준에서 할당된다면, 비평가 없는 방법을 상호작용 LLM 에이전트로 효과적으로 확장할 수 있습니다.
2. 희소 보상의 시간적 전파: 비모수적 대리 변수를 통한 희소 보상의 시간적 전파는 보조 가치 모델 학습의 오버헤드 없이 신용 할당 문제를 극복하기에 충분합니다.
3. 그룹별 정규화 및 시퀀스 수준 정렬: 다턴 정책의 최적화를 안정화하는 데 결정적이며, 몬테카를로 스타일 그룹화 업데이트와 종종 관련된 높은 분산과 불안정성을 방지합니다.

저자들은 GAGPO 가 단계 정렬되고 시간적으로 일관되며 안정적인 학습 신호를 제공하여 LLM 에이전트가 탐색과 상호작용을 통해 더 효율적으로 개선할 수 있게 한다고 결론지었습니다. 그들은 결정적인 텍스트 환경에서는 작동하지만 확률적이거나 연속적인 설정에서는 근사가 필요할 수 있는 정확한 상태 매칭에 대한 의존성과, 특정 벤치마크 및 모델 크기로 제한된 평가 범위에 대한 한계를 지적합니다.