기술 요약: PlanPO – 멀티턴 에이전트 LLM을 위한 그룹 계획 인지 정책 최적화

문제 정의

멀티턴 에이전트 거대 언어 모델(LLM) 영역에서, 그룹 상대적 정책 최적화(GRPO)는 검증 가능한 결과 보상을 사용하여 에이전트를 학습시키는 표준 패러다임으로 부상했습니다. 그러나 GRPO가 **성공적인 롤아웃 이질성(successful rollout heterogeneity)**을 처리하는 방식에는 결정적인 한계가 존재합니다.

기존의 변형 모델들은 작업에 성공적으로 완료된 모든 궤적(trajectory)에 대해 상호작용의 효율성과 관계없이 동일한 결과 보상을 할당하는 경례가 있습니다. 이는 다음과 같은 "어드밴티지 붕괴(advantage collapse)"를 초래합니다:

1. 우회적 성공(중복된 상태 전이, 루프 또는 막다른 길을 포함하는 궤적)이 최적의 성공과 동일하게 취급됩니다.
2. 성공적인 응답 내의 장황하거나 논리적으로 결함이 있는 추론이 간결하고 일관된 추론과 동일한 가치를 부여받습니다.
3. 성공적인 궤적 간의 차별화가 결여됨으로써, 에이전트가 일반화 가능한 계획 능력을 학습하는 대신 단순히 특정 고품질 패턴을 모방하는 데 그치게 만듭니다.

이를 해결하려는 기존 솔루션들은 가치 모델(critic)이나 프로세스 보상 모델(PRM)에 의존하는 경우가 많으나, 이는 추정 편향, 프록시 오류 및 상당한 메모리 오버헤드를 유발합니다. 다른 방법들은 일반성이 부족한 노동 집약적인 수동 설계나 경험적 휴리스틱에 의존합니다.

방법론: PlanPO

저자들은 자연스럽게 가용한 길이 프로필(length profiles)을 활용하여 조대-세밀(coarse-to-fine) 어드밴티스 신호를 구축하는 단순하면서도 효과적인 강화 학습 방법인 **그룹 계획 인지 정책 최적화(PlanPO)**를 제안합니다. 핵심 혁신은 그룹 내의 성공적인 궤적에 대해서만 길이 정규화를 조건화함으로써, 표준적인 길이 최소화의 함정을 피하는 것입니다.

1. 성공 조건부 길이 정규화 (Success-Conditioned Length Normalization)

PlanPO는 표준적인 그룹 상대적 프레임워크 내에서 작동하지만, 궤적이 작업 목표를 달성함($R(\tau) = 1$)을 조건으로 하는 두 가지 뚜렷한 수준의 어드밴티스 계산을 도입합니다.

• 궤적 수준 어드밴티스 ($A^E$):
  동일한 작업에 대해 샘플링된 $N$개의 궤적 그룹에 대해, PlanPO는 성공적인 궤적에 대해서만 궤적 길이(상호작용 턴 수, $T_i$)로 결과 보상을 정규화합니다.
  $$R^E(\tau^i) = \mathbb{1}[\tau^i \in G^U_x] \cdot \frac{R(\tau^i)}{T_i}$$
  어드밴티스 $A^E$는 이러한 길이 정규화된 보상의 그룹 상대적 정규화(평균 및 분산)를 통해 계산됩니다. 이 신호는 에이전트가 성공적인 롤아웃 중에서 더 짧고 직접적인 상호작용 경로를 찾도록 장려합니다.

• 응답 수준 어드밴티스 ($A^S$):
  턴 레벨에서, PlanPO는 동일한 작업에 대해 생성된 모든 성공적인 응답을 하나의 그룹으로 평탄화합니다. 각 턴에 대해 응답 토큰 길이($L_{i,t}$)로 결과 보상을 정규화합니다.
  $$R^S(a_{i,t}) = \mathbb{1}[\tau^i \in G^U_x] \cdot \frac{R(\tau^i)}{L_{i,t}}$$
  어드밴티스 $A^S$는 이 활성 응답 그룹 내에서 계산됩니다. 이는 미세한 수준의 감독을 제공하여, 성공적인 상호작용 내에서 간결하고 일관된 추론 흔적을 갖도록 독려합니다.

2. 조대-세밀 정책 최적화 (Coarse-to-Fine Policy Optimization)

궤적 $\tau^i$ 내의 토큰 $a_{i,t}$에 대한 최종 어드밴티스는 궤적 수준과 응답 수준 어드밴티스의 가중 결합입니다:
$$A^{\text{PlanPO}}(a_{i,t}) = A^E(\tau^i) + \alpha(k) A^S(a_{i,t})$$

• 가중치 감쇠: 계수 $\alpha(k)$는 훈련 중에 선형적으로 감쇠됩니다. 이 설계는 초기에는 궤적 수준의 계획 신호(조대)를 우선시하고, 점진적으로 응답 수준의 신호(세밀)를 통해 이를 정교화합니다.
• 편향-분산 트레이드오프: 이론적 분석(Theorem 1)은 $\alpha(k)$가 편향-분산 트레이드오프를 조절함을 보여줍니다. 큰 $\alpha$는 턴 수준의 정교함을 유지하지만 샘플링 분산을 증가시키고, 작은 $\alpha$는 축소 편향(shrinkage bias)을 대가로 분산을 줄입니다.

정책은 참조 정책에 대한 KL-다이버전스 페널티를 포함하는 클리핑된 그룹 상대적 목적 함수를 사용하여 최적화됩니다.

주요 기여

1. 병목 현상 식별: 본 논문은 성공적 롤아웃의 이질성(성공적인 궤적 내의 중복 턴 및 장황한 추론)이 롤아웃 품질을 가리고 정책 학습을 제한하는 그룹 상대적 최적화의 결정적인 병목임을 식별했습니다.
2. PlanPO 제안: 성공 조건부 길이 정규화 어드밴티스를 구축하는 참신한 방법을 제안합니다. 일반적인 길이 기반 보상 셰이핑과 달리, PlanPO는 성공적인 롤아웃 그룹 내에서만 길이 정규화를 적용하여 에이전트가 단순히 길이를 최소화하는 것이 아니라 계획 인지 행동을 학습하도록 보장합니다.
3. 경험적 검증: 광범ful한 실험을 통해 PlanPO가 추가적인 훈련 비용 없이 여러 벤치마크(GRPO, GiGPO, PPO 포함)에서 일관되게 우수한 성능을 보임을 입증했습니다.

실험 결과

저자들은 Qwen2.5-1.5B-Instruct와 Qwen2.5-7B-Instruct를 사용하여 세 가지 도전적인 멀티턴 벤치마크인 ALFWorld, WebShop, SciWorld에서 PlanPO를 평가했습니다.

• 성능 향상:

  • 평균적으로 PlanPO는 벤치마크 전반에서 GRPO 대비 27.2% 개선되었습니다.
  • ALFWorld(1.5B 모델)에서 PlanPO는 **91.3%**의 전체 성공률을 달연했으며, 이는 GRPO보다 +18.5 포인트 향상된 수치입니다.
  • ALFWorld의 분포 외(OOD) 작업에서 PlanPO는 **87.1%**의 성공률을 달성하여, GRPO를 +17.0 포인트, GiGPO를 +4.7 포인트 앞서며 강력한 일반화 능력을 보여주었습니다.
  • SciWorld에서 PlanPO-7B는 68.46의 전체 점수를 기록하며, 이전의 최고 RL 베이스라인인 ScalingInter-7B(57.00)를 크게 앞질렀습니다.

• 효율성 및 동작:

  • 상호작용 효율성: PlanPO 에이전트는 평균 상호작용 턴 수를 26.1(GRPO)에서 13.8로 줄였습니다.
  • 응답 간결성: 평균 응답 토큰 길이가 95.1(GRPO)에서 56.3으로 감소했습니다.
  • 비용: 이 방법은 LLM의 순전파/역전파 과정에 비해 길이 정규화 및 어드밴티스 계산이 매우 가볍기 때문에 무시할 만한 추가 훈련 비용만을 발생시킵니다.

• 절제 연구 (Ablation Studies):

  • 궤적 수준($A^E$) 또는 응답 수준($A^S$) 어드밴티스 중 하나라도 제거하면 성능이 크게 저하되었습니다.
  • 무조건적인 길이 셰이핑(성공 조건 없이)은 성능 붕괴를 일으켰으며, 이는 길이 최소화 단독으로는 해롭다는 것을 확인시켜 줍니다.
  • 성공 조건부 길이 셰이핑만으로는 불충분했으며, 이득을 얻기 위해서는 그룹 상대적 최적화와의 결합이 필수적이었습니다.

의의 및 주장

본 논문은 PlanPO가 에이전트 RL의 어드밴티지 붕괴 문제에 대한 단순하고 확장 가능하며 태스크 일반적인 솔루션을 제공한다고 주장합니다. 성공적인 롤아웃 내의 이질성(특히 상호작용 및 응답 길이)을 감독 신호로 활용함으로써, PlanPO는 에이전트가 특정 고품질 행동 패턴에 과적합되는 대신 일반화 가능한 계획 능력을 학습할 수 있도록 합니다.

저자들은 이 접근 방식이 값 비싼 가치 모델, 수동 보상 엔지니어링 또는 복잡한 휴리스틱을 요구하지 않는다는 점을 강조합니다. 대신, 성공적인 그룹 내의 길이 프로필이라는 "자연적으로 가용하지만 충분히 활용되지 못한" 신호를 사용하여 에이전트가 더 직접적이고 효율적이며 일관된 상호작용을 하도록 유도합니다. 결과는 성공적 롤아웃의 이질성이 계획 인지 에이전트 LLM을 훈련하기 위한 유효하고 강력한 신호임을 시사합니다.