A Subgoal-driven Framework for Improving Long-Horizon LLM Agents

이 논문은 "A Subgoal-driven Framework for Improving Long-Horizon LLM Agents" (장기적 계획이 필요한 LLM 에이전트 개선을 위한 하위 목표 주도 프레임워크) 로, Google DeepMind 에서 제안한 연구입니다. 웹 탐색과 같은 복잡한 디지털 환경에서 대형 언어 모델 (LLM) 기반 에이전트가 장기적인 작업 (Long-Horizon Tasks) 을 수행할 때 발생하는 계획 실패 문제를 해결하기 위한 새로운 프레임워크를 제시합니다.

주요 내용은 다음과 같습니다.

1. 문제 정의 (Problem)

현재 LLM 기반 에이전트 (웹 브라우저 제어, OS 조작 등) 는 단기 작업에서는 뛰어난 성능을 보이지만, 복잡한 장기 작업에서는 다음과 같은 한계를 겪습니다.

• 실시간 계획 상실: 새로운 정보가 유입될 때 최종 목표를 잊어버리거나, 적응적인 경로를 잃고 비생산적인 행동 루프에 빠집니다.
• 희소 보상 (Sparse Reward) 문제: 강화학습 (RL) 미세 조정 시, 성공 여부는 작업 종료 시에만 확인되므로 중간 단계의 올바른 행동을 식별하기 어렵습니다. 이로 인해 에이전트는 장기적인 추론을 유지하지 못합니다.
• 실패 원인 분석: 저자들은 자동화된 분석 도구를 통해 기존 에이전트 실패의 주원인이 '중간 단계에서 멈춤 (Get Stuck Midway)' (행동 반복, 루프에 갇힘) 이며, 이는 명확한 하위 목표 (Subgoal) 와 계획 부재에서 기인함을 규명했습니다.

2. 방법론 (Methodology)

저자는 추론 시 (Inference-time) 와 학습 시 (Training-time) 모두에서 하위 목표 (Subgoal) 를 활용하는 통합 프레임워크를 제안합니다.

A. 하위 목표 생성 및 검증 (Subgoal Generation)

• 교사 모델 활용: Gemini-2.5-pro 와 같은 강력한 비공개 모델을 사용하여 고수준 작업을 논리적인 중간 단계 (하위 목표) 로 분해합니다.
• 품질 검증: 생성된 하위 목표가 작업 성공과 강한 상관관계를 가지며, 진행 상황을 예측하는 신뢰할 수 있는 지표임을 통계적으로 입증했습니다.

B. 추론 시 동적 마일스톤링 (Dynamic Milestoning at Inference)

• 실시간 계획 (Online Planning): 에이전트가 행동을 실행하기 전에 생성된 하위 목표 체크리스트를 기반으로 현재 상태를 반성 (Reflection) 합니다.
  • "어떤 마일스톤을 달성했는가?"
  • "현재 하위 목표가 완료되었는가?"
  • "다음으로 달성해야 할 마일스톤은 무엇인가?"
• 자기 교정: 에이전트는 LLM-as-Judge 를 통해 현재 진행 상황을 평가하고, 목표와 동떨어진 경우 즉시 재계획하여 오류 전파를 방지합니다.

C. MiRA (Milestoning your Reinforcement Learning Enhanced Agent)

• 밀집 보상 신호 (Dense Reward Shaping): 기존 RL 의 희소 보상 문제를 해결하기 위해, 하위 목표 달성 여부에 기반한 Potential Critic(잠재력 비평가) 을 도입합니다.
• 이중 비평가 구조 (Dual-Critic):
  1. Goal-conditioned Value Critic: 최종 작업 성공 여부를 예측 (이진 분류).
  2. Potential Critic: 하위 목표 달성 정도에 기반하여 연속적인 진행도 (Progress Score) 를 예측하여 밀집된 보상 신호를 생성합니다.
• 학습 전략:
  • MSE 기반 정책 회귀: KL 발산 최소화 대신 평균 제곱 오차 (MSE) 를 사용하여 오프-폴리시 (Off-policy) 학습을 안정화하고, 양/음의 이득 (Advantage) 에 대해 확률을 양방향으로 조정합니다.
  • 이중 강건 추정 (Doubly-Robust Estimation): 1-스텝 TD 오차와 몬테카를로 반환 (Monte-Carlo Return) 을 혼합하여 초기 학습 단계의 편향을 줄입니다.
  • 반복적 커리큘럼: 에이전트의 실패 데이터를 분석하여 더 어려운 과제를 생성하고, 이를 통해 에이전트를 점진적으로 개선하는 피드백 루프를 구축합니다.

3. 주요 기여 (Key Contributions)

1. 자동화된 실패 분석: 웹 탐색 에이전트의 실패 모드를 정량화하고, '중간 멈춤'이 주요 병목 현상임을 규명했습니다.
2. 하위 목표 기반 추론 계획: 비공개 및 오픈 소스 모델 모두에 적용 가능한 경량화된 실시간 계획 메커니즘을 도입하여 장기 추론 능력을 향상시켰습니다.
3. MiRA 프레임워크: 하위 목표 기반의 밀집 보상 신호를 활용하여 RL 미세 조정을 최적화하는 새로운 학습 파이프라인을 개발했습니다.

4. 실험 결과 (Results)

WebArena-Lite 벤치마크에서 다음과 같은 성과를 달성했습니다.

• 오픈 소스 모델의 혁신적 향상:
  • Gemma-3-12B 모델에 MiRA 를 적용한 결과, 성공률 (SR) 이 6.4% 에서 43.0% 로 급증했습니다.
  • 이는 GPT-4-Turbo (17.6%), GPT-4o (13.9%) 등 주요 비공개 상용 모델과 이전 최첨단 오픈 모델인 WebRL (38.4%) 을 모두 능가하는 성능입니다.
• 비공개 모델의 성능 개선:
  • Gemini-2.5-Pro 모델에 하위 목표 기반 계획 (SGO) 을 적용한 결과, 성공률이 23.0% 에서 32.1% 로 약 10%p 상승했습니다.
• 오류 감소:
  • 에이전트가 작업 중 멈추는 'Stuck Midway' 오류 비율이 기존 모델 대비 크게 감소했습니다 (예: Gemini 2.5 Pro 의 48.4% → SGO 적용 시 39.9%).

5. 의의 및 결론 (Significance)

• 계획 병목 현상 해결: 이 연구는 LLM 에이전트의 핵심 한계가 '행동 실행'이 아니라 '장기적 계획 및 마일스톤 인식'에 있음을 증명하고, 이를 해결하는 구체적인 방법을 제시했습니다.
• 오픈 소스의 도약: 상대적으로 작은 규모의 오픈 소스 모델 (12B) 이 거대한 비공개 모델을 능가할 수 있음을 보여주어, 효율적인 학습 프레임워크의 중요성을 강조했습니다.
• 자율 에이전트의 미래: 명시적인 추론 (Inference) 과 마일스톤 기반 보상 (Training) 의 결합이 웹 에이전트의 장기적 자율성을 확보하는 핵심 열쇠임을 시사합니다.

요약하자면, 이 논문은 하위 목표를 명확히 설정하고 이를 학습 및 추론 과정에 통합함으로써, LLM 에이전트가 복잡한 웹 환경에서 장기적인 작업을 성공적으로 완수할 수 있도록 하는 획기적인 프레임워크를 제시했습니다.