Why Do LLM-based Web Agents Fail? A Hierarchical Planning Perspective

이 논문은 LLM 기반 웹 에이전트의 실패 원인을 고수준 계획, 저수준 실행, 재계획의 계층적 관점에서 분석하여, 고수준 추론 개선뿐만 아니라 지각적 기반과 적응적 제어 능력 향상이 인간 수준의 신뢰성 달성에 필수적임을 규명합니다.

핵심

이 논문은 **"왜 AI 웹 에이전트 (웹을 서핑하는 로봇) 는 인간처럼 일을 잘 못 할까?"**라는 질문에 답하기 위해 쓴 연구입니다.

기존에는 "과제를 성공적으로 끝냈는지 (성공/실패)"만 보았지만, 이 연구는 왜 실패했는지 그 과정을 세 단계로 나누어 자세히 분석했습니다.

이 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

🏗️ 비유: "고급 건축가 vs. 현장 노동자"

이 논문의 핵심은 웹 에이전트를 건물을 짓는 팀으로 상상하는 것입니다.

1. 고급 건축가 (High-level Planning): "우선 기초를 다지고, 2 층을 올린 뒤, 창문을 달자"라는 **큰 그림 (전략)**을 그리는 역할입니다.
2. 현장 노동자 (Low-level Execution): "벽돌 하나를 들어 올리고, 시멘트를 바르고, 망치를 두드리는" 구체적인 행동을 수행하는 역할입니다.
3. 현장 감독 (Replanning): "아, 벽돌이 떨어졌네? 아니면 설계도가 잘못됐네? 그럼 다시 계획을 수정하자"라고 실수를 바로잡는 역할입니다.

연구진은 이 세 가지 역할이 각각 어떻게 작동하는지, 그리고 어디가 문제인지 살펴봤습니다.

---

🔍 주요 발견 3 가지

1. 건축가의 설계도: "말 (자연어) 보다 도면 (PDDL) 이 낫다"

• 문제: AI 가 계획을 세울 때, 우리가 말로 하는 것처럼 "가격이 싼 것부터 정렬하고, 그중 첫 번째를 고르자"라고 말로만 쓰면 (자연어), AI 는 너무 구체적이거나 불필요한 세부사항을 섞어서 설계도를 그립니다. 마치 "벽돌을 100 개 가져와라"라고 말하면, AI 가 "벽돌을 100 개 가져와라. 그중 빨간 벽돌은 50 개, 회색은 50 개..."라고 과하게 설명하는 꼴입니다.
• 해결: 연구진은 PDDL이라는 공식적인 도면 언어를 사용하게 했습니다. 이는 건축 도면처럼 "기초 -> 2 층 -> 창문"처럼 구조가 명확합니다.
• 결과: 도면 (PDDL) 을 쓰면 AI 가 더 간결하고 목표에 맞는 전략을 세웠습니다. 하지만...

2. 노동자의 손발: "설계는 잘해도, 벽돌을 못 다듬는다" (가장 큰 병목)

• 문제: 아무리 훌륭한 설계도 (전략) 를 줘도, **현장 노동자 (AI 의 실제 행동)**가 일을 제대로 못 합니다.
  • 착각 (Hallucination): "여기에 '구매' 버튼이 있겠지?"라고 생각했는데, 실제로는 '문의하기' 버튼인 경우.
  • 망설임 (Redundancy): 같은 버튼을 3 번이나 4 번이나 클릭하는 행동.
  • 방황 (Out-of-domain): "이 사이트에서 못 찾겠다" 싶으면 구글 검색을 하거나 다른 웹사이트로 날아가버리는 행동.
• 결론: 가장 큰 문제는 '전략'이 아니라 '실행'입니다. AI 는 "무엇을 할지"는 알지만, "웹사이트 화면을 보고 실제로 클릭하고 입력하는" 감각 (Grounding) 이 인간보다 훨씬 떨어집니다.

3. 감독의 개입: "한 번의 수정으로 대박 난다"

• 문제: 처음 계획이 틀려도, AI 는 그걸 모르고 계속 같은 실수를 반복합니다.
• 해결: 연구진은 AI 에게 "지금 상황이 계획과 다르니, 다시 생각해보자"라고 알려주었습니다 (Replanning).
• 결과: 단 한 번의 재계획 (Replanning) 만으로도 성공률이 크게 올라갔습니다. 처음에 엉뚱한 길로 갔더라도, 상황을 보고 계획을 수정하면 훨씬 잘 해냈습니다.

---

💡 이 연구가 우리에게 주는 교훈

이 논문은 AI 개발자들에게 다음과 같은 조언을 합니다.

1. 전략과 실행을 분리하자: "무엇을 할지 생각하게 하는 뇌"와 "실제로 클릭하게 하는 손"을 따로 훈련하고 평가해야 합니다.
2. 눈 (Grounding) 을 키우자: AI 가 웹페이지를 보고 "이게 버튼이다"라고 정확히 파악하는 능력을 키워야 합니다.
3. 실수를 인정하게 하자: AI 가 "이건 안 되네, 다른 방법을 써보자"라고 스스로 인정하고 계획을 수정할 수 있게 만들어야 합니다.

📝 한 줄 요약

"AI 웹 에이전트는 훌륭한 '건축가'가 될 수 있지만, 아직 '현장 노동자'로서는 손발이 덜 익어 있습니다. 그래서 더 정확한 도면 (PDDL) 과, 실수를 바로잡는 '감독 (Replanning)'이 필요합니다."

기술 요약

1. 문제 제기 (Problem Statement)

대형 언어 모델 (LLM) 기반 웹 에이전트는 웹 탐색 및 다단계 온라인 워크플로우 자동화에서 상당한 진전을 보였으나, 실제 동적인 웹사이트에서의 장기적 (long-horizon) 작업 수행 시 인간 수준의 신뢰성을 달성하지 못하고 있습니다.

기존 연구들의 주요 한계는 과도하게 단순화된 종단간 (end-to-end) 성공 지표에 의존한다는 점입니다. 전체 작업의 성공/실패 여부만 기록할 뿐, 실패가 정확히 어디서 발생하는지 (작업 해석 오류, 고수준 전략 결함, 구체적인 UI 행동으로의 착지 실패, 환경 변화에 대한 복구 실패 등) 에 대한 심층적인 통찰을 제공하지 못합니다. 따라서 에이전트의 실패 원인을 체계적으로 진단하고 개선하기 위한 새로운 평가 프레임워크가 필요합니다.

2. 방법론 (Methodology)

저자들은 LLM 기반 웹 에이전트의 능력을 위계적 계획 (Hierarchical Planning) 관점에서 분석하기 위해 3 단계 프레임워크를 제안했습니다. 이는 자동 계획 (Automated Planning) 이론과 인간의 추론 구조를 모방합니다.

A. 3 단계 능력 구조

1. 고수준 계획 (High-level Planning): 자연어 지시를 추상적인 하위 목표 (subgoals) 시퀀스로 분해하는 능력.
2. 저수준 실행 (Low-level Execution): 추상적인 하위 목표를 구체적인 UI 행동 (클릭, 스크롤, 입력 등) 시퀀스로 변환하고 실행하는 능력.
3. 재계획 (Replanning): 환경이 예상과 다를 때 (예: 페이지 로딩 실패, 검색 결과 부재) 기존 계획을 수정하거나 새로운 계획을 수립하는 능력.

B. 평가 프레임워크 및 벤치마크

• 데이터셋: Mind2Web-Live 벤치마크를 확장하여, 전문가가 주석한 핵심 노드 (key-node) 를 기반으로 한 인간 중심의 고수준 계획 (Gold Standard) 을 생성했습니다.
• 표현 방식 비교: 고수준 계획을 생성할 때 **자연어 (NL)**와 **계획 도메인 정의 언어 (PDDL)**라는 구조화된 형식을 비교 분석했습니다.
• 평가 프로세스:
  1. LLM 이 고수준 계획을 수립합니다.
  2. 저수준 실행 모듈이 이를 구체적인 행동으로 변환합니다.
  3. **후조건 확인기 (Postcondition Checker, LLM-as-Judge)**가 하위 목표 달성 여부를 판단합니다.
  4. 실패 시 재계획 (Replanning) 모듈이 개입하여 계획을 수정합니다.
• 사용 모델: gpt-5-nano, claude-haiku-4.5, gemini-flash-2.5 등 최신 LLM 3 종을 대상으로 실험했습니다.

3. 주요 기여 및 발견 (Key Contributions & Findings)

A. 고수준 계획: 구조화된 표현 (PDDL) 의 우위

• 인간 계획과의 정렬: PDDL 을 사용한 계획이 자연어 (NL) 계획보다 인간이 작성한 계획과 더 잘 정렬되었습니다.
  • 결과: PDDL 은 불필요한 세부 사항 (Decomposed) 이나 중복된 행동 (Unmatched) 을 줄이고, 핵심 논리를 더 명확하게 포착했습니다. (Matched Rate: PDDL 84.6% vs NL 70.6%)
  • 통찰: PDDL 의 구조적 제약은 LLM 이 불필요한 설명을 줄이고 목표 지향적인 전략을 수립하도록 돕습니다.

B. 저수준 실행: 주요 병목 현상 (The Dominant Bottleneck)

• 실행의 한계: 고수준 계획이 인간 수준으로 정확하더라도, LLM 이 이를 구체적인 UI 행동으로 변환하는 저수준 실행 단계에서 가장 큰 실패가 발생했습니다.
  • 성공률: 인간이 작성한 계획을 사용하더라도 최종 작업 성공률은 약 36% 에 그쳤습니다.
  • 주요 실패 모드:
    1. 환각 (Hallucination): 존재하지 않는 링크나 UI 요소에 대한 잘못된 가정.
    2. 반복 및 중복: 환경 피드백에도 불구하고 동일한 실패 행동을 반복하거나, 상태 변화를 일으키지 않는 불필요한 행동.
    3. 도메인 이탈: 검색이나 이동 (goto) 을 통해 목표 사이트가 아닌 다른 사이트로 이탈하는 경우.
• 모델별 차이: gemini-flash-2.5 는 계획은 간결했으나 실행 능력 (Grounding) 이 특히 취약했으며, gpt-5-nano 가 상대적으로 가장 우수한 성능을 보였습니다.

C. 재계획 (Replanning) 의 효과

• 성능 향상: 실패 후 한 번의 재계획 (Exploratory feedback 기반) 을 거친 후, 하위 목표 완료율과 전체 작업 성공률이 상당히 향상되었습니다.
• 의미: 이는 에이전트가 환경 탐색을 통해 얻은 정보를 바탕으로 계획을 수정할 때 신뢰성이 크게 높아진다는 것을 시사합니다. 다만, 자연어 기반 계획은 재계획 후에도 과도한 세부화로 인해 정렬도가 떨어지는 경향이 있었으며, PDDL 기반 계획이 더 안정적인 개선을 보였습니다.

4. 의의 및 시사점 (Significance & Recommendations)

이 논문은 웹 에이전트 개발 및 평가에 다음과 같은 중요한 시사점을 제공합니다.

1. 계획과 실행의 분리: 고수준 계획 (추상화) 과 저수준 실행 (Grounding) 은 서로 다른 능력을 요구하므로, 이를 분리하여 평가하고 개선해야 합니다. PDDL 과 같은 구조화된 언어는 계획 단계에, 특수화된 도구/모델은 실행 단계에 적합합니다.
2. 지각적 착지 (Perceptual Grounding) 의 중요성: 에이전트의 신뢰성을 높이기 위해서는 추론 능력 향상뿐만 아니라, 웹 환경의 상태 (DOM) 를 정확하게 이해하고 피드백을 활용하는 지각적 착지 능력을 개선하는 것이 필수적입니다.
3. 불확실성 대응: 에이전트가 불확실한 상황에서 무작위 행동을 하거나 환각을 일으키지 않도록, 불확실성을 명시적으로 신호할 수 있는 행동 공간 (Action Space) 을 설계해야 합니다.
4. 과정 기반 평가의 표준화: 단순한 성공/실패 지표 대신, 위계적 계획 (계획, 실행, 재계획) 을 세분화하여 분석하는 **과정 기반 평가 (Process-based Evaluation)**가 에이전트 실패 원인을 진단하고 아키텍처를 비교하는 데 필수적입니다.

결론

이 연구는 LLM 기반 웹 에이전트의 실패 원인이 주로 고수준 계획의 부재가 아니라, 저수준 실행 단계의 착지 (Grounding) 실패와 환경 적응 능력 부족에 있음을 규명했습니다. 또한, 구조화된 계획 언어 (PDDL) 와 재계획 메커니즘이 에이전트의 신뢰성 향상에 기여함을 입증하며, 향후 웹 에이전트 연구의 방향성을 제시했습니다.