기술 요약: 장기 계획 언어 에이전트를 위한 마일스톤 기반 정책 학습 (BEACON)

문제 정의

강화 학습 (RL) 을 통해 수십 개의 순차적 의사결정이 필요한 장기 계획 과제를 수행하도록 언어 에이전트를 학습시키는 것은, GRPO 와 같은 궤적 수준 최적화 방법의 고유한 두 가지 근본적 한계에 직면해 있습니다:

1. 신용 오할당 (Credit Misattribution): 현재 방법들은 최종 결과에만 기반하여 신용을 할당합니다. 따라서 초기의 올바른 행동이 이후의 행동으로 인해 실패로 이어지면, 이러한 초기 행동에 대해 불이익이 부과됩니다. 이는 하류의 확률적 요소에 따라 동일한 상태 - 행동 쌍에 대해 모순된 기울기 신호를 생성하여, 작업 범위가 길어질수록 기울기 충돌과 학습 붕괴를 초래합니다.
2. 샘플 비효율성: 작업 범위가 길어질수록 성공적인 궤적은 희소해집니다. 특히, 중요한 하위 목표를 달성했으나 최종 목표는 실패한 궤적은 완전한 실패와 동일한 영 (zero) 보상을 받습니다. 이는 "부분적 성공"으로부터의 귀중한 학습 신호를 폐기하여, 유용한 기울기를 제공하지 않는 샘플의 비율이 높아지게 만듭니다.

프로세스 보상 모델 (PRM) 이나 몬테카를로 가치 추정과 같은 신용 할당 밀도 증가 시도는 막대한 주석 비용이나 계산 오버헤드를 초래하거나, 장기 계획 환경에서 그 효과가 감소하는 상태 반복 패턴에 의존하는 문제가 있습니다.

방법론: BEACON 프레임워크

저자들은 장기 계획 과제의 구성적 구조를 활용하여 단계별 신용 할당을 분리하는 프레임워크인 BEACON(Benchmarking Environment for Action-Oriented Navigation) 을 제안합니다. 핵심 가정은 마일스톤 마르코프 성질입니다: 즉, 의미론적 하위 목표 (마일스톤) 가 달성되면, 미래 궤적 분포는 전체 실행 이력이 아닌 남은 하위 목표에 주로 의존합니다.

BEACON 은 세 가지 통합 메커니즘을 통해 작동합니다:

1. 마일스톤 경계에서의 궤적 분할

궤적을 평탄한 시퀀스로 취급하는 대신, BEACON 은 하위 목표 완료를 나타내는 관측 가능한 상태 전이 (예: 물체 집기, 웹페이지 도달) 를 기반으로 궤적을 세그먼트로 분할합니다. 마일스톤 감지기 $\Phi$는 학습된 모델이나 수동 주석이 필요 없이 환경 피드백으로부터 이러한 전이를 식별합니다.

• 결과: 궤적은 마일스톤 $M_k$에 의해 경계 지어진 세그먼트 $Seg_k$로 나뉩니다.

2. 시간적 보상 형성 (Temporal Reward Shaping)

샘플 비효율성을 해결하기 위해, BEACON 은 세그먼트 내에서 부분적 진행에 대한 신용을 부여하기 위해 보상을 형성합니다.

• 메커니즘: 마일스톤에 성공적으로 도달하는 세그먼트 내의 행동에는 시간적 감쇠 ($\gamma^{t_k - t}$) 를 적용한 양의 보상이 부여됩니다. 마일스톤에 도달하지 못한 세그먼트 내의 행동에는 영 보상이 부여됩니다.
• 효과: 이는 희소한 최종 신호를 밀도 있는 피드백으로 변환하여, 에이전트가 최종 작업이 실패하더라도 하위 목표를 완료한 궤적으로부터 학습할 수 있도록 합니다.

3. 이중 스케일 이점 추정 (Dual-Scale Advantage Estimation)

신용 오할당을 해결하기 위해, BEACON 은 두 가지 스케일에서 이점을 추정합니다:

• 궤적 수준 이점 ($A_{traj}$): 전체 작업 성공과의 정렬을 유지하기 위해 (GRPO 와 유사하게) 최종 결과에 기반하여 전역적으로 계산됩니다.
• 세그먼트 수준 이점 ($A_{seg}$): 동일한 마일스톤에 도달한 다른 궤적들과만 비교하여 해당 세그먼트의 회수 (return) 를 국소적으로 계산합니다.
• 분산 격리: 비교 그룹을 동일한 마일스톤 이력을 공유하는 궤적으로 제한함으로써, $A_{seg}$는 하류 세그먼트에서 발생하는 분산으로부터 국소적 행동의 품질을 격리합니다. 이는 초기의 올바른 행동이 후속 실패로 인해 불이익을 받는 것을 방지합니다.
• 결합: 최종 이점은 가중 합으로 계산됩니다: $\hat{A} = A_{traj} + \lambda \cdot A_{seg}$.

주요 기여

1. 한계 진단: 본 논문은 경험적으로 신용 오할당 (장기 작업에서 기울기 업데이트의 40% 이상이 모순된 신호를 포함) 과 샘플 비효율성 (영 보상을 받는 부분적 성공) 을 장기 계획 RL 의 성능 붕괴 근본 원인으로 식별하고 정량화합니다.
2. BEACON 프레임워크: 궤적을 분할하고, 시간적 보상 형성을 적용하며, 이중 스케일 이점 추정을 활용하여 국소적 행동 품질을 하류 분산으로부터 분리하는 마일스톤 기반 정책 학습 프레임워크를 도입합니다.
3. 이론적 보장: 마일스톤 마르코프 성질 하에서 세그먼트 수준 이점이 하류 분산으로부터 국소적 행동 품질을 격리하여 신용 오할당을 직접 해결함을 증명합니다.
4. 경험적 검증: ALFWorld, WebShop, ScienceWorld 세 가지 다양한 벤치마크에 대한 포괄적 평가를 통해, 기존 베이스라인과 달리 BEACON 이 작업 범위에 따라 효과적으로 확장됨을 입증합니다.

실험 결과

Qwen2.5-1.5B 및 Qwen2.5-7B 모델을 사용하여 ALFWorld, WebShop, ScienceWorld 에서 실험을 수행했습니다.

• 장기 계획 과제 수행: ALFWorld 에서 BEACON 은 장기 과제에서 **92.9%**의 성공률을 달성하여, GRPO 가 달성한 **53.5%**의 거의 두 배에 달합니다. 반면, GRPO 는 단기 과제에서 76.7% 에서 장기 과제로 갈수록 53.5% 로 급격히 저하됩니다.
• 샘플 효율성: BEACON 은 다른 방법들이 폐기하는 부분적 성공으로부터 학습 신호를 성공적으로 추출하여 유효 샘플 활용도를 GRPO 의 **23.7%**에서 **82.0%**로 향상시킵니다.
• 기울기 품질: 영 (zero) 이점에 가까운 샘플 비율 (Zero-Advantage Ratio) 이 GRPO 의 약 55% 에서 BEACON 의 약 10% 로 감소하며, 모순된 행동 비율도 크게 줄어듭니다.
• SFT 와의 비교: BEACON 은 오라클 궤적에 대한 지도 미세 조정 (SFT) 을 능가합니다 (91.4% 대 43%). 이는 성장이 단순 모방이 아닌, 정책 최적화를 통해 오라클보다 우수한 전략을 발견한 결과임을 확인시켜 줍니다.
• 강건성: BEACON 은 단기, 중기, 장기 범위 전반에 걸쳐 강건한 성능을 유지하는 반면, GRPO 및 GiGPO 와 같은 베이스라인은 작업 길이가 증가함에 따라 성능이 크게 저하됩니다.

중요성 및 주장

본 논문은 마일스톤 기반 신용 할당이 장기 계획 언어 에이전트 학습을 위한 효과적인 패러다임임을 주장합니다. 에이전트 작업의 고유한 구성적 구조를 활용함으로써 BEACON 은 증가하는 의사결정 시퀀스와 관련된 체계적인 성능 붕괴를 극복합니다.

저자들은 그들의 방법이 값비싼 프로세스 보상 모델이나 추가 학습된 비평가 (critics) 를 필요로 하지 않는다고 강조합니다. 대신, 관측 가능한 상태 전이를 활용하여 정밀한 신용 할당을 제공함으로써, 에이전트가 부분적 성공으로부터 효율적으로 학습하고 기울기 충돌을 해결할 수 있게 합니다. 이러한 결과는 구조적 사전 지식 (마일스톤) 이 언어 에이전트에서 RL 을 확장하는 데 필수적임을 시사하며, 웹 탐색, 구체적 제어, 과학적 실험과 같은 복잡하고 다단계 작업을 위한 더 능력 있는 자율 시스템으로 나아가는 길을 제시합니다.