논문 제목: DynaWeb: 웹 에이전트를 위한 모델 기반 강화학습 (Model-Based Reinforcement Learning of Web Agents)

1. 문제 정의 (Problem Statement)

• 배경: 대형 언어 모델 (LLM) 기반의 자율 웹 에이전트는 복잡한 웹 작업을 수행하는 데 있어 큰 잠재력을 보이고 있습니다. 특히 온라인 강화학습 (Online RL) 은 에이전트의 견고성과 탐색 능력을 향상시키는 것으로 알려져 있습니다.
• 핵심 과제: 그러나 실제 인터넷 (Live Internet) 에서 에이전트를 훈련시키는 것은 다음과 같은 심각한 한계가 있습니다.
  • 비효율성과 고비용: 대규모의 온-폴리시 (on-policy) 경험을 수집하기 위해 에이전트가 실시간으로 웹과 상호작용해야 하므로 시간과 비용이 많이 듭니다.
  • 위험성: 실수로 인한 불필요한 구매, 계정 수정, 데이터 유출 등 되돌릴 수 없는 (irreversible) 행동을 유발할 수 있습니다.
  • 불안정성: 페이지의 비결정적 동적 변화, 일시적 오류, 외부 간섭 등으로 인해 학습 신호가 불안정해집니다.
• 연구 질문: 실제 웹 환경과의 직접적인 상호작용에 대한 의존도를 극적으로 줄이면서도, 온라인 강화학습의 이점을 유지할 수 있는 방법은 무엇인가?

2. 방법론 (Methodology)

이 논문은 DynaWeb이라는 새로운 모델 기반 강화학습 (MBRL) 프레임워크를 제안합니다. 이는 고전적인 Dyna 아키텍처와 Dreamer 와 같은 상상 기반 학습 프레임워크에서 영감을 받았습니다.

• 웹 월드 모델 (Web World Model) 학습:

  • 에이전트의 행동에 반응하여 웹 페이지의 상태 전이 (state transitions) 를 예측하는 학습된 시뮬레이터를 구축합니다.
  • 표현 방식: 웹 페이지를 텍스트가 아닌 접근성 트리 (Accessibility Tree) 구조로 표현합니다.
  • 예측 전략: 전체 페이지를 예측하는 대신, 행동에 따른 상태 변화 설명 (State Change Description, $\Delta$) 을 먼저 추론하고, 이를 현재 상태에 적용하여 다음 상태를 생성하는 2 단계 방식을 사용합니다. 이는 정보 손실을 줄이고 예측 정확도를 높입니다.
  • 학습 데이터: StanfordNLP/NNetNav 데이터셋에서 수집된 실제 웹 상호작용 트래젝토리를 사용하여 지도 학습 (SFT) 으로 월드 모델을 훈련합니다.

• 상상 기반 롤아웃 (Imagination-driven Rollouts):

  • 훈련 중인 에이전트 정책 ($\pi_\theta$) 이 학습된 월드 모델을 '가상의 웹 서버'로 간주하여 상호작용합니다.
  • 에이전트는 실제 웹에 접속하지 않고, 월드 모델이 생성한 가상 상태 ($\hat{o}_{t+1}$) 를 기반으로 다단계 행동 트래젝토리를 생성합니다 (Dreaming).
  • 생성된 트래젝토리에 대해 작업 완료 여부를 판단하는 모델 기반의 자기 평가 (Self-assessment) 를 통해 보상 ($\hat{r}$) 을 부여합니다.

• 혼합 학습 전략 (Interleaving Strategy):

  • 순수한 상상 (Imagination) 만으로는 월드 모델의 환각 (Hallucination) 이 누적되어 학습이 불안정해질 수 있습니다.
  • 이를 해결하기 위해, 실제 전문가 트래젝토리 (Ground-truth expert trajectories) 를 무작위로 섞어 훈련합니다.
  • 훈련 데이터는 약 50% 의 상상 롤아웃과 50% 의 실제 전문가 데이터 (또는 40% 실데이터가 최적임) 로 구성되며, 이는 학습의 안정성과 샘플 효율성을 극대화합니다.

• 최적화 알고리즘:

  • GSPO (Group Sequence Policy Optimization): 토큰 수준의 중요도 샘플링을 트래젝토리 (시퀀스) 수준으로 확장하여 적용합니다. 이는 긴 웹 작업에서의 신용 할당 (Credit Assignment) 문제를 해결하고, 실제와 상상 데이터를 혼합하여 학습할 때 발생하는 편향을 줄여줍니다.

3. 주요 기여 (Key Contributions)

1. 웹 월드 모델 구축: 구조화된 접근성 트리 표현을 통해 실제 웹 상호작용 없이도 현실적인 웹 환경 동역학을 시뮬레이션하는 월드 모델을 훈련했습니다.
2. 상상 롤아웃의 온-폴리시 활용: 학습된 월드 모델이 생성한 상상 트래젝토리를 직접적인 온-폴리시 강화학습 경험으로 사용할 수 있음을 입증했습니다.
3. DynaWeb 프레임워크 제안: 실제 전문가 데이터와 월드 모델 기반의 상상 데이터를 통합하여, 실제 웹 환경과 상호작용하지 않고도 효과적인 정책 최적화가 가능한 MBRL 프레임워크를 제시했습니다.
4. 실증적 검증: WebArena 와 WebVoyager 벤치마크에서 기존 최첨단 (SOTA) 오픈소스 웹 에이전트 모델들의 성능을 일관되게 크게 향상시켰습니다.

4. 실험 결과 (Results)

• 벤치마크: WebArena (실제 웹 환경 시뮬레이션) 와 WebVoyager (실제 라이브 웹사이트) 에서 평가 수행.
• 성능 향상:
  • WebArena: 평균 성공률 (Success Rate, SR) 이 기존 오프라인 RL 기반 모델 (26.7%) 보다 31.0% 로 향상되었습니다. Reddit, GitLab, CMS, Shopping 등 다양한 도메인에서 SOTA 를 기록했습니다.
  • WebVoyager: 라이브 웹사이트 환경에서도 평균 SR 38.7% 를 기록하여, GPT-4o 를 포함한 다른 모든 베이스라인 (SFT, RL, Inference-time Lookahead 등) 을 능가했습니다.
• 분석 (Ablation Study):
  • 상상 길이 (Dream Length): 4~5 단계의 중간 길이가 최적의 성능을 보였습니다. 너무 짧으면 복잡한 작업을 수행하지 못하고, 너무 길면 월드 모델의 오차가 누적됩니다.
  • 실제 데이터 비율: 약 40% 의 실제 트래젝토리를 섞었을 때 가장 큰 성능 향상을 보였으며, 이는 월드 모델의 편향을 보정하는 정규화 (Regularization) 역할을 함을 시사합니다.
  • 월드 모델 훈련의 중요성: 사전 훈련된 일반 LLM 을 그대로 사용하는 것보다, 웹 상호작용 동역학에 맞춰 전용으로 훈련된 월드 모델을 사용할 때 하류 에이전트 성능이 훨씬 뛰어났습니다.

5. 의의 및 결론 (Significance)

• 안전하고 확장 가능한 훈련: 실제 웹 환경의 위험과 비용을 제거하면서도, 상상 (Imagination) 을 통해 대규모의 훈련 데이터를 생성할 수 있는 길을 열었습니다.
• 효율적인 RL: 실제 상호작용에 대한 의존도를 줄이면서도, 온-폴리시 강화학습의 이점 (적응성, 탐색 능력) 을 유지하는 효율적인 패러다임을 제시했습니다.
• 미래 방향: 웹 에이전트 훈련에 있어 '모델 기반 상상 (Model-based Imagination)'이 핵심이 될 수 있음을 보여주었으며, 장기적 계획 (Long-horizon planning) 과 동적 UI 처리 능력 향상을 위한 월드 모델 연구의 중요성을 강조했습니다.

이 논문은 웹 에이전트 개발의 병목 현상이었던 '실제 웹 상호작용의 비용과 위험'을 해결하기 위한 획기적인 접근법을 제시하며, 자율 에이전트 훈련의 새로운 표준을 제시합니다.