기술 요약: LLM 웹 에이전트를 위한 계획 표현에 대한 실증 연구

문제 제기

대형 언어 모델 (LLM) 의 최근 발전에도 불구하고, 웹 에이전트는 제한된 탐색, 핵심 단계의 누락, 작업 제약 조건에 대한 민감성으로 인해 여전히 어려움을 겪고 있습니다. 계획 수립은 복잡한 작업을 분해하기 위한 핵심 전략으로 널리 인식되고 있지만, 기존 연구는 주로 계획 알고리즘에 초점을 맞추었지 해당 계획의 표현 (representation) 에는 크게 주목하지 않았습니다. 대부분의 현재 접근 방식은 자연어로 표현된 하위 목표의 순차적 목록에 의존합니다. 그러나 대안적인 자연어 (NL) 계획 표현이 에이전트의 견고성과 작업 성공에 미치는 영향은 여전히 largely 미탐구 상태입니다. 또한, 기존 벤치마크는 종종 재현 가능한 난이도 등급 부재로 인해 다양한 복잡도 수준에서 계획 전략을 체계적으로 평가하기 어렵습니다.

방법론

프레임워크: PLANAHEAD

저자들은 계획 표현의 영향을 격리하고 평가하도록 설계된 정적 계획자 - 실행기 프레임워크인 PLANAHEAD를 소개합니다. 에이전트가 매 단계마다 계획을 재생성하는 동적 계획 방법과 달리, PLANAHEAD는 작업 시작 시 단일 정적 계획을 생성합니다. 이 계획은 그런 다음 현재 브라우저 상태를 기반으로 저수준 작업을 수행하는 실행기 LLM 에게 제공됩니다. 이 설정은 성능 차이가 행동 수준의 확률적 요인이나 동적 재계획 오버헤드가 아닌 계획 수립과 기본 모델에서 비롯되도록 보장합니다.

벤치마크 및 작업 난이도

이 연구는 다양한 현실적인 웹 상호작용을 포함하는 폐쇄적이고 재현 가능한 환경인 WebArena를 활용합니다. 표준화된 난이도 등급 부재를 해결하기 위해 저자들은 381 개의 WebArena 작업을 세 가지 수준 (Easy, Medium, Hard) 으로 분류하는 자동화 파이프라인을 개발했습니다.

• 분류 논리: 작업은 5 개의 독립적인 시행을 통해 5 개의 서로 다른 LLM 백본을 가진 경량 GenericAgent 를 사용하여 평가되었습니다.
  • Easy: 모든 모델과 시행에서 100% 성공률.
  • Hard: 모든 모델과 시행에서 0% 성공률.
  • Medium: 중간 성공률.
    이 연구는 특히 어려운 조건에서 계획 능력을 평가하는 데 가장 정보 제공이 풍부한 설정인 Hard 하위 집합 (158 개 작업) 에 구체적으로 초점을 맞춥니다.

실험 설정

저자들은 다양한 멀티모달 LLM 계열 (OpenAI, Alibaba, Google) 에 걸쳐 Hard 작업에서 네 가지 서로 다른 계획 표현을 평가했습니다:

1. 순차적 하위 목표 (Sequential Subgoals): 순서가 지정된 고수준 하위 목표 목록을 사용하는 표준 접근 방식.
2. 요구사항 체크리스트 (Requirement Checklist): 실행 순서를 실행기에 맡기는 충족되어야 하는 요구사항의 순서 없는 목록.
3. 의사코드 (Pseudocode): contingencies(예상 상황) 를 포착하기 위해 직관적인 함수, 조건문, 루프를 사용하는 구조화된 형식.
4. 서술 (Narrative): 작업 완료 과정을 설명하는 상세한 자연어 설명.

실험에는 동질적 설정 (두 역할에 동일한 모델 사용) 과 이질적 설정 (계획 및 실행에 서로 다른 모델 사용) 을 포함한 다양한 계획자 - 실행기 조합이 테스트되었습니다.

평가 지표

표준 성공률 (SR) 이 모든 시행을 독립적으로 취급하고 LLM 의 확률적 특성을 포착하지 못한다는 점을 인식하여, 저자들은 두 가지 새로운 지표를 도입했습니다:

• 달성률 (Achievement Rate, AR): 여러 실행에 걸친 작업 수준 달성 가능성을 측정합니다. $N$번의 실행 중 하나라도 성공하면 해당 작업을 "달성된" 것으로 간주합니다. 이는 "드물게 해결 가능한" 작업과 "완전히 해결되지 않은" 작업을 구분합니다.
• 해결된 작업 일관성 (Solved-Task Consistency, STC): 적어도 한 번 달성된 작업에 대한 시행 간 성능 신뢰도를 측정하는 견고성 지표입니다.

주요 기여

1. 자동화된 작업 난이도 등급: 이 논문은 인간 주석 없이 벤치마크 작업을 난이도 수준으로 분할하는 재현 가능한 파이프라인을 제시하여 계획 전략의 체계적 평가를 가능하게 합니다.
2. 새로운 계획 표현에 대한 평가: 이 연구는 표준 순차적 하위 목표에 대비하여 세 가지 대안 NL 기반 계획 형식 (서술, 의사코드, 체크리스트) 을 제안하고 평가합니다.
3. 새로운 평가 지표: AR 과 STC 의 도입은 확률적 환경에서 달성 가능성과 일관성을 모두 포착하는 에이전트 성능에 대한 더 세밀한 관점을 제공합니다.

결과 및 분석

실증 연구는 몇 가지 중요한 발견을 도출했습니다:

• 계획 표현의 중요성: 계획 전략의 효과는 기본 LLM 에 크게 의존합니다.
  • GPT-4.1-mini는 서술 (Narrative) 계획과 함께 일관되게 가장 좋은 성능을 보였는데, 이는 자연어 텍스트에 광범위하게 훈련된 모델이 일관된 기술적 지시를 효과적으로 활용함을 시사합니다.
  • Qwen-2.5-VL은 명시적이고 구조화된 지침의 혜택을 받아 체크리스트 (Checklist) 표현과 함께 가장 좋은 성능을 발휘했습니다.
  • Gemini 모델은 여러 형식에서 경쟁력 있는 성능을 보였으며 특히 비표준 형식에서 유의미한 혜택을 받았습니다. 구체적으로, Gemini가 계획자와 실행기 모두로 작용할 때 의사코드 (Pseudocode) 는 높은 달성률을 보였습니다.
• 계획자 - 실행기 분리: 혼합된 계획자 - 실행기 쌍은 일반적으로 동질적 설정보다 우수한 성과를 거두었습니다. 예를 들어, 계획자로 GPT-4.1-mini를, 실행기로 Gemini를 결합한 구성이 전체적으로 가장 강력한 성능을 달성했습니다. 이는 서로 다른 모델이 상호 보완적인 강점을 지니고 있음을 시사합니다. 즉, 어떤 모델은 고수준 구조적 계획에 뛰어나고, 다른 모델은 저수준 행동 실행에 뛰어납니다.
• 정적 vs 동적 계획: 동적 재계획이 우월하다는 직관과 달리, 정적 계획 (Static Planning) 이 종종 동적 단일 에이전트 계획보다 우수한 성과를 보였습니다. 정성적 분석에 따르면 동적 에이전트는 종종 행동 루프에 빠지거나 작업 진행 상황을 놓치거나 하위 작업을 조기에 완료로 표시했습니다. 정적 계획자 - 실행기 설정은 실행기가 지속적인 재계획의 인지 부하 없이 행동 선택에만 집중할 수 있게 했습니다.

중요성 및 주장

이 논문은 계획의 수립과 이를 생성하는 특정 LLM 이 웹 에이전트의 견고성과 작업 성공에 상당한 영향을 미친다고 주장합니다. 계획이 순차적 하위 목표 형태를 취해야 한다는 가정에 도전함으로써, 저자들은 비표준 형식이 특히 어려운 작업에서 유익할 수 있음을 입증했습니다.

이 연구는 계획의 효과성이 모델 능력만의 함수가 아니라 계획의 표현 형태와도 깊이 연관되어 있음을 강조합니다. 결과는 상호 보완적인 모델 강점을 활용하는 모듈식 에이전트 아키텍처 (예: 계획에는 한 모델을, 실행에는 다른 모델을 사용) 의 채택을 지지하며, 특정 맥락에서 정적 계획이 동적 계획보다 더 견고하고 효율적인 대안이 될 수 있음을 시사합니다.

저자들은 범위에 대해 겸손하게 접근하며, 제한된 LLM 백본 세트, 단일 벤치마크 (WebArena) 사용, 제한된 실행 횟수 ($N=5$) 와 같은 한계를 인정합니다. 그들은 이러한 변수를 확장하면 계획 효과성에 대한 더 포괄적인 그림을 제공할 것이라고 주장합니다.