1. 문제 정의 (Problem Definition)

대규모 언어 모델 (LLM) 기반의 범용 에이전트 (예: OpenClaw, Claude Code) 가 복잡한 다단계 작업을 수행함에 따라, 기존 강화학습 (RL) 패러다임의 한계가 드러나고 있습니다.

• 기존 접근법의 한계: 기존의 RLHF(인간 피드백 기반 강화학습) 나 RLVR(검증 가능한 보상 강화학습) 은 주로 단일 턴 (single-turn) 의 토큰 (token) 단위 생성에 초점을 맞추거나, 전체 궤적 (trajectory) 단위로 보상을 할당합니다.
• 에이전트 RL 의 특수성: 에이전트는 도구 사용, 환경 상호작용, 장기적 계획 등 다단계 (multi-turn) 상호작용을 수행합니다. 이 과정에서 보상은 지연되고 희소하며 (delayed and sparse rewards), 문맥이 길고 가변적입니다.
• 불일치 (Mismatch) 문제:
  • MDP(마르코프 의사결정 과정) 정의의 불일치: 기존 LLM RL 은 토큰 단위를 행동 (action) 으로 간주하지만, 에이전트의 실제 의사결정 단위는 토큰이 아닌 '상호작용 단계 (interaction step)'입니다.
  • 데이터 표현의 불일치: 토큰 단위로 생성된 롤아웃 (rollout) 을 텍스트로 디코딩했다가 다시 토큰화하는 과정에서 발생하는 재토큰화 드리프트 (retokenization drift) 로 인해 학습과 추론 간의 일관성이 깨집니다.
  • 신호 할당의 불일치: 토큰 단위의 크레딧 할당은 너무 세분화되어 노이즈가 많고, 전체 궤적 단위는 너무 거칠어 중간 결정의 기여도를 파악하기 어렵습니다.

2. 방법론 (Methodology)

논문은 에이전트 RL 을 토큰 중심 (token-centric) 에서 단계 중심 (step-aligned) 패러다임으로 전환해야 한다고 주장하며, 이를 실현하기 위한 StepPO 프레임워크를 제안합니다.

가. 단계 수준 MDP 재정의 (Step-Level MDP Formulation)

• 핵심 개념: 에이전트의 기본 행동 단위를 '단일 토큰'이 아닌 '완전한 상호작용 단계 (interaction step)'로 정의합니다.
• 구조: 각 단계 $t$ 는 관찰 ($s_t$), 행동 ($a_t$, 토큰 시퀀스 또는 도구 호출 포함), 보상 ($r_t$), 다음 관찰 ($s_{t+1}$) 로 구성됩니다.
• 효과: 에이전트가 환경과 상호작용하는 인과적 구조 (관찰 $\to$ 행동 $\to$ 환경 변화 $\to$ 다음 관찰) 를 자연스럽게 반영하며, 정책 (Policy) 과 환경의 역할을 명확히 분리합니다.

나. 구조화된 단계 기반 궤적 표현 (Structured Step-Level Representation)

• 문제 해결: 텍스트 기반 메시지 기록이나 평탄한 토큰 스트림 저장의 한계를 극복합니다.
• 방식: 각 상호작용 단계를 독립적인 구조화된 단위 (State, Action, Reward, Metadata) 로 저장합니다.
• 이점: 토큰 공간의 일관성 (token-space consistency) 을 유지하면서, 단계 단위로 컨텍스트를 관리 (잘라내기, 요약 등) 할 수 있어 재토큰화 드리프트를 방지합니다.

다. 단계 정렬 크레딧 할당 (Step-Aligned Credit Assignment)

• StepPO 알고리즘: 기존 PPO(Proximal Policy Optimization) 를 단계 수준으로 재정의합니다.
• 보상 전파: 지연된 보상을 개별 토큰이 아닌, 해당 상호작용 단계에 할당합니다.
• 수식적 접근:
  • 단계별 가치 함수 $V(s_t)$ 와 TD 오차 $\delta_t = r_t + \gamma V(s_{t+1}) - V(s_t)$ 를 정의합니다.
  • Step-Level GAE: 토큰 단위가 아닌 단계 단위로 일반화 이점 추정 (Generalized Advantage Estimation) 을 수행합니다.
  • 목적 함수: 정책 비율 (policy ratio) 은 토큰 내부에서 분해되지만, 크레딧 (보상 신호) 은 전체 단계 단위로 전파됩니다.

라. 시스템 아키텍처 (Training Systems)

• Step-Native 데이터: 각 단계의 프롬프트, 응답, 보상 메타데이터를 통합 저장합니다.
• 비동기 학습: 롤아웃 (생성) 엔진과 학습 엔진을 분리하여, 에이전트별 지연 시간 차이를 극복하고 처리량을 높입니다.
• 효율성 최적화: 공유 접두사 (shared prefix) 재사용 및 프리픽스 트리 병합을 통해 긴 문맥에서의 불필요한 연산을 줄입니다.

3. 주요 기여 (Key Contributions)

1. StepPO 프레임워크 제안: 에이전트 RL 을 위한 단계 정렬 (step-aligned) 정책 최적화 프레임워크를 최초로 체계적으로 제시했습니다.
2. 이론적 전환점: 에이전트 RL 의 핵심을 토큰 단위에서 상호작용 단계 단위로 전환해야 함을 이론적으로 증명하고, MDP 정의, 궤적 표현, 크레딧 할당, 시스템 설계의 일관성을 요구했습니다.
3. 시스템 아키텍처 통합: Agent-R1(학습 추상화) 과 Claw-R1(데이터 관리 및 이기종 에이전트 지원) 의 경험을 바탕으로, 단계 기반 RL 을 실현하기 위한 데이터 파이프라인 및 시스템 설계를 구체화했습니다.
4. 실험적 검증: HotpotQA 데이터셋을 이용한 실험을 통해 StepPO 가 기존 토큰 단위 PPO 보다 장기적 에이전트 행동 학습에서 우월함을 입증했습니다.

4. 실험 결과 (Results)

• 실험 설정: HotpotQA(복합 추론 질문) 작업에서 Qwen2.5-3B-Instruct 모델을 기반으로 StepPO 와 토큰 단위 PPO 를 비교했습니다. 두 방법은 동일한 모델, 데이터, 롤아웃 파이프라인을 사용하며 알고리즘만 다릅니다.
• 성능:
  • StepPO 는 학습 전반에 걸쳐 토큰 단위 PPO 보다 일관되게 높은 점수를 기록했습니다.
  • 특히 학습 중후반부에 더 높은 피크 성능을 달성하고 안정적인 수렴을 보였습니다.
• 의미: 다단계 증거 수집과 추론이 필요한 작업에서, 상호작용 단계에 정렬된 최적화 신호가 토큰 단위의 분산 신호보다 학습에 더 효과적임을 입증했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 패러다임의 전환: LLM 에이전트 학습이 단순한 토큰 생성 최적화를 넘어, 에이전트의 실제 의사결정 단위인 '단계 (Step)'에 맞춰 재설계되어야 함을 강조합니다.
• 실용적 확장성: Agent-R1 과 Claw-R1 의 사례를 통해, 알고리즘적 개선만으로는 부족하며 데이터 관리, 비동기 시스템, 이기종 에이전트 지원이 결합된 전체 시스템의 전환이 필요함을 보여줍니다.
• 미래 전망: StepPO 는 에이전트 RL 커뮤니티에게 에이전트 행동을 이해하고 최적화하기 위한 새로운 렌즈를 제공하며, 더 강력하고 일반적인 에이전트 능력을 갖춘 LLM 개발의 중요한 이정표가 될 것입니다.

이 논문은 에이전트 RL 의 핵심 과제를 해결하기 위해 모델링 (MDP), 데이터 표현, 최적화 알고리즘, 시스템 인프라가 모두 '단계 (Step)' 단위로 정렬되어야 함을 종합적으로 제시한 중요한 연구입니다.