Enhancing Web Agents with a Hierarchical Memory Tree

이 논문은 웹 에이전트의 일반화 능력을 향상시키기 위해 고수준 논리 계획과 구체적인 행동 실행을 명시적으로 분리하는 계층적 메모리 트리 (HMT) 를 제안하고, 이를 통해 기존 평면적 메모리 방식의 한계를 극복하여 새로운 웹사이트 환경에서도 견고한 성능을 달성함을 보여줍니다.

핵심

이 논문은 **"웹 에이전트 **(인터넷을 자동으로 조작하는 AI)에 대한 연구입니다.

기존의 AI 는 인터넷을 돌아다니다가 새로운 웹사이트를 만나면 "어? 여기는 버튼 이름이 다르네?"라고 당황하며 실패하곤 했습니다. 이 논문은 그 문제를 해결하기 위해 HMT(계층적 메모리 나무)라는 새로운 시스템을 제안합니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

🌟 핵심 비유: "요리 레시피 vs. 특정 주방의 도구"

기존의 웹 에이전트 방식과 이 논문의 방식을 비교해 보겠습니다.

1. 기존 방식 (Flat Memory): "사진으로만 본 요리법"

기존 AI 는 과거에 성공했던 작업을 그대로 사진이나 구체적인 위치로 기억합니다.

• 상황: "김치찌개를 끓여줘"라고 했을 때, AI 는 "어제 성공했던 김치찌개 레시피를 보자"라고 생각합니다.
• 문제: 어제 레시피에는 "3 번 냉장고에서 빨간색 김치 통을 꺼내세요"라고 적혀 있습니다.
• 실패: 오늘 AI 가 다른 부엌 (새로운 웹사이트) 에 갔을 때, 빨간색 김치 통이 없고 파란색 통만 있다면? AI 는 "빨간 통이 없으니 실패!"라고 생각하거나, 엉뚱한 파란 통을 집어 들다가 망쳐버립니다.
• 핵심: **구체적인 위치 **(ID)를 너무 많이 기억해서, 환경이 조금만 바뀌어도 작동하지 않습니다.

2. 제안된 방식 (HMT): "원리를 이해한 요리장"

이 논문이 제안한 HMT는 구체적인 위치가 아니라 **요리의 원리 **(논리)를 기억합니다. 나무처럼 3 단계로 나누어 정보를 정리합니다.

• **1 단계: 의도 **(Intent)
  • "김치찌개를 끓여야 해"라는 목표를 기억합니다. (예: 항공권 예약하기)
• **2 단계: 단계 **(Stage)
  • "일단 검색 폼이 보이는지 확인하고, 그다음 결과를 보고, 그다음 가격을 정렬해"라는 순서와 조건을 기억합니다.
  • "검색 폼이 보일 때만 다음 단계로 넘어가"라고 조건을 달아둡니다.
• **3 단계: 행동 **(Action)
  • "3 번 냉장고의 빨간 통"이 아니라, "상자 모양이고 '김치'라고 적힌 통"을 찾습니다.
  • 색상이나 위치가 달라도, **역할 **(Role)과 **이름 **(Label)이 맞으면 그걸로 충분합니다.

---

🚀 어떻게 작동할까요? (두 명의 팀원)

이 시스템은 두 명의 팀원이 협력해서 일합니다.

1. **플래너 **(Planner)
   • 지금 내가 어디에 와 있는지 확인합니다.
   • "아, 지금 검색 결과가 보이는 단계인가? 아니면 아직 검색을 안 했나?"를 판단합니다.
   • 조건을 맞지 않으면 "아직 때가 아니야"라고 멈춥니다. (이게 바로 워크플로우 불일치를 막아줍니다.)
2. **액터 **(Actor)
   • 플래너가 "지금 검색 버튼을 눌러야 해"라고 지시하면, 액터는 화면을 훑어봅니다.
   • "이름에 '검색'이 들어간 버튼"을 찾습니다.
   • 버튼의 ID 가 btn-123 이든 search-box 가든 상관없이, 역할과 이름이 맞으면 클릭합니다.

---

📊 왜 이것이 중요한가요? (결과)

이 논문은 Mind2Web과 WebArena라는 두 가지 큰 테스트에서 기존 방법보다 훨씬 잘 작동했습니다.

• 다른 웹사이트에서도 잘 통함: 한 번 배운 '항공권 예약' 방법을, 전혀 다른 여행 사이트에서도 성공적으로 적용했습니다. (기존 방식은 사이트가 바뀌면 바로 실패함)
• 실수 줄임: 엉뚱한 버튼을 누르거나, 순서를 잘못 따라가는 실수가 크게 줄었습니다.
• 빠르고 효율적: 불필요한 정보를 다 기억하지 않고 핵심만 기억하므로, AI 가 생각하는 속도도 빨라지고 비용도 절감되었습니다.

💡 한 줄 요약

기존 AI 는 "어제 그 사이트의 빨간 버튼"을 기억해서 새로운 사이트에서 당황하지만, 이 새로운 AI(HMT)

이 기술은 앞으로 우리가 인터넷에서 복잡한 일을 할 때, AI 가 어떤 사이트든 막힘없이 도와줄 수 있는 토대가 될 것입니다.

기술 요약

1. 문제 정의 (Problem Statement)

대형 언어 모델 (LLM) 기반 웹 에이전트는 복잡한 웹 상호작용을 자동화할 수 있는 잠재력을 보였으나, 보이지 않는 웹사이트 (unseen websites) 로의 일반화에 있어 심각한 한계를 겪고 있습니다.

• 기존 방법의 한계: 대부분의 기존 에이전트는 과거의 성공적인 상호작용 궤적 (trajectories) 을 평면적 (flat) 메모리로 저장하고 검색합니다. 이는 고수준의 작업 논리 (Intent) 와 사이트 특유의 구체적인 실행 세부 사항 (예: DOM ID, 좌표) 이 서로 얽혀 있는 (entanglement) 구조를 가집니다.
• 핵심 문제 (Intention-Execution Entanglement): 새로운 환경에서 유사한 작업을 수행할 때, 에이전트는 고수준 의도는 맞지만 저수준의 실행 세부 사항 (예: 존재하지 않는 버튼 ID 클릭) 이 잘못된 메모리를 검색하여 **작업 흐름 불일치 (Workflow Mismatch)**와 **맥락 오염 (Context Pollution)**을 초래합니다. 이로 인해 에이전트는 논리적으로 일관되지 않은 행동을 수행하게 됩니다.

2. 제안 방법: 계층적 메모리 트리 (Hierarchical Memory Tree, HMT)

저자들은 논리적 계획 (Logical Planning) 과 실행 (Action Execution) 을 명시적으로 분리하기 위해 **계층적 메모리 트리 (HMT)**를 제안했습니다. 이는 원시 궤적을 자동 추상화 파이프라인을 통해 3 단계 계층 구조로 재구성합니다.

A. 3 단계 계층 구조

1. 의도 수준 (Intent Level):
   • 다양한 사용자 명령어를 표준화된 작업 목표 (Task Goals) 와 제약 조건으로 매핑합니다.
   • 예: "NYC 로 비행기 예약" → "비행기 예약 (목적지: NYC)".
   • 목적: 문구 변형에 따른 검색 불안정성을 해소하고 동일한 작업 노드로 클러스터링합니다.
2. 단계 수준 (Stage Level):
   • 재사용 가능한 의미론적 하위 목표 (Semantic Subgoals) 를 정의합니다.
   • 각 단계는 **관측 가능한 전조건 (Pre-conditions)**과 **후조건 (Post-conditions)**으로 특징지어집니다.
   • 예: "검색 결과 목록이 보이는 상태" → "가격 필터 적용됨".
   • 목적: 에이전트가 현재 페이지의 시각적 상태에 기반하여 올바른 작업 단계에 정렬되도록 하여 시간적 불일치를 방지합니다.
3. 행동 수준 (Action Level):
   • 실행 가능한 행동 패턴과 **이전 가능한 의미론적 요소 설명 (Transferable Semantic Element Descriptions)**을 저장합니다.
   • 사이트 특유의 고유 ID 나 좌표 대신, 요소의 역할 (Role), 레이블 (Label), 상대적 위치, 구조적 맥락 등을 저장합니다.
   • 예: #btn-123 클릭 대신 "폼 하단에 있는 '검색' 버튼 클릭".

B. 단계 인식 추론 메커니즘 (Stage-Aware Inference)

HMT 는 **Planner(계획자)**와 **Actor(행동자)**로 구성된 2 단계 추론 프로세스를 사용합니다.

• Planner: 현재 관측 상태 (Observation) 를 저장된 전/후조건과 비교하여 현재 작업의 논리적 단계를 식별합니다. 불확실성이 높을 경우 (Confidence-Aware Fallback) 검색 범위를 확장하거나 기본 정책으로 회귀하여 오류 전파를 방지합니다.
• Actor: Planner 가 지정한 단계에 해당하는 행동 패턴과 의미론적 설명을 받아, 현재 페이지의 DOM 에서 해당 요소를 찾아 구체적인 액션 (클릭, 입력 등) 을 생성합니다. raw ID 가 아닌 의미적 매칭을 통해 새로운 웹사이트에서도 정확한 요소 찾기가 가능합니다.

3. 주요 기여 (Key Contributions)

1. 계층적 메모리 아키텍처 제안: 의도, 단계, 행동의 3 단계 계층을 통해 의도 - 실행 얽힘 문제를 해결하고 웹 에이전트의 일반화 능력을 향상시켰습니다.
2. 단계별 메모리 추상화: 원시 식별자 대신 의미론적 요소 설명을 저장하여, 새로운 웹사이트에서도 요소 찾기 (Grounding) 가 가능하도록 했습니다.
3. Planner-Actor 분해 및 신뢰도 기반 폴백: 단계 인식 검색과 불확실성 처리 메커니즘을 도입하여 추론의 견고성을 높였습니다.
4. 실증적 평가: Mind2Web 과 WebArena 벤치마크에서 기존 평면적 메모리 방법들을 크게 능가하는 성능을 입증했습니다.

4. 실험 결과 (Results)

Mind2Web (오프라인 설정):

• Cross-Website(새로운 웹사이트) 및 Cross-Domain(새로운 도메인) 설정에서 HMT 는 기존 방법 (MindAct, AWM 등) 보다 월등히 높은 성능을 보였습니다.
• 특히 **StepSR(단계 성공률)**이 AWM 대비 Cross-Website 에서 6.0% 향상되었으며, 이는 사이트별 ID 가 무효화될 때 의미론적 설명이 어떻게 격차를 메우는지 보여줍니다.

WebArena (온라인 설정):

• 전체 작업 성공률 (Total TaskSR) 에서 **38.7%**를 기록하여 기존 최첨단 방법들 (AWM 35.5%, SteP 33.0% 등) 을 상회했습니다.
• GitLab, CMS 등 논리적 복잡도가 높은 도메인에서 큰 개선을 보였으나, Maps(지도) 도메인에서는 공간 좌표 의존성으로 인해 약간의 성능 저하가 있었습니다.

기타 분석:

• 추적 품질 (Retrieval Quality): HMT 는 평면적 검색 대비 Recall@5 가 84.2% 로 65.8% 에 비해 크게 향상되어, 시간적으로 관련 없는 노이즈를 효과적으로 필터링함을 증명했습니다.
• Grounding Robustness: Cross-Website 환경에서 원시 ID 를 사용할 경우 성공률이 12.4% 로 추락했으나, 의미론적 설명을 사용할 경우 76.8% 로 유지되었습니다.
• 효율성: 원시 HTML 을 의미론적 노드로 압축하여 컨텍스트 길이를 약 72.7% 줄였고, 이로 인해 추론 비용과 지연 시간이 크게 감소했습니다.

5. 의의 및 결론 (Significance)

이 논문은 웹 에이전트의 **생애 학습 (Lifelong Learning)**과 강건한 일반화를 위한 새로운 패러다임을 제시합니다.

• 구조적 메모리의 필요성: 단순한 경험 재사용을 넘어, 논리적 구조와 실행 세부 사항을 분리하는 계층적 메모리가 새로운 환경 적응에 필수적임을 입증했습니다.
• 실용적 가치: 복잡한 웹 작업에서 에이전트가 과거의 실패나 성공을 학습하여 새로운 사이트에서도 효율적으로 작업을 수행할 수 있는 기반을 마련했습니다.
• 한계와 향후 과제: 모호한 요소 찾기 (Ambiguous Grounding) 나 단일 페이지 애플리케이션 (SPA) 의 미세한 상태 변화 (URL 변경 없음) 를 감지하는 데는 여전히 한계가 있으며, 향후 더 풍부한 구조적 컨텍스트와 다변화된 상태 검증 메커니즘이 필요함을 지적했습니다.

요약하자면, HMT 는 웹 에이전트가 "무엇을 해야 하는지 (의도)"와 "어떻게 해야 하는지 (구체적 실행)"를 분리하여 저장하고 추론함으로써, 다양한 웹사이트 환경에서도 견고하게 작동할 수 있게 하는 획기적인 프레임워크입니다.