기술 요약: Region4Web 및 PageDigest

문제 제기

웹 에이전트는 관찰 공간을 통해 환경을 인지하지만, 이 관찰의 세분성(granularity) 은 여전히 충분히 검토되지 않은 설계 선택으로 남아 있습니다. 기존 접근법들은 일반적으로 관찰 공간을 행동 공간과 동일한 요소 수준 세분성(element-level granularity) 으로 취급하며, 페이지를 개별 DOM 요소 (예: AXTree 노드) 의 평면적 또는 계층적 목록으로 표현합니다. 요소 수준의 세분성은 특정 행동 (예: 특정 링크 클릭) 을 선택하는 데는 자연스럽지만, 페이지 상태 이해에는 최적이지 않습니다.

요소 수준 관찰에서는 "제품 목록", "내비게이션 메뉴", "검색 폼"과 같은 공유 목적을 위해 요소 그룹이 어떻게 기능적으로 조직화되는지에 대한 페이지의 기능적 조직이 암시적으로만 존재합니다. 에이전트는 매 단계마다 원시 요소 신호로부터 이러한 기능적 영역과 그 목적을 추론해야 합니다. 이 접근법은 기능 단위를 정의하는 구조적 단서를 활용하지 못하며, 종종 페이지의 조직을 흐리게 만드는 과도하게 긴 관찰 문맥을 초래합니다. 또한, 페이지 내에서 매 단계마다 전체 요소 수준 관찰을 재구성하는 것은 대부분의 행동이 DOM 에 미미한 변화만 일으키기 때문에 불필요한 중복입니다.

방법론

본 논문은 Region4Web을 통해 영역 수준의 관찰을 구성하고, PageDigest를 통해 이러한 관찰을 효율적으로 전달하는 2 단계 프레임워크를 제안합니다.

1. Region4Web: 영역 수준 관찰 구성

Region4Web 은 2 단계 프로세스를 통해 페이지의 AXTree 를 기능적 영역(functional regions) 으로 재구성합니다.

• 계층적 분해: 이 단계는 단일 하향식 탐색을 통해 AXTree 의 모든 부모 - 자식 간선을 병합(merge) 또는 절단(cut) 으로 분류합니다.
  • 입력: 학습된 역할 임베딩과 수치적 구조적 특징 (깊이, 서브트리 크기, 자식 다양성 등) 을 결합한 각 노드 $v$에 대한 특징 벡터 ($x_v$).
  • 메커니즘: EdgeClassifier 가 자식 노드를 부모 노드와 분리할지 여부를 결정합니다. 이는 부모의 특징, 자식의 표현, 그리고 부모의 형제 노드들의 평균 표현을 맥락으로 사용합니다. 분류 점수가 임계값 $\tau$를 초과하면 간선이 절단되어 새로운 영역 경계가 형성됩니다. 그렇지 않으면 자식은 부모의 영역에 병합됩니다.
  • 출력: AXTree 를 서브트리로 분할한 결과로, 각 서브트리는 하나의 기능적 영역을 구성합니다.
• 의미적 추상화: 이 단계는 식별된 각 영역을 해석하여 그 목적을 명시적으로 만듭니다.
  • 메커니즘: 작게 미세 조정된 언어 모델 (Qwen3-0.6B) 이 각 영역의 전처리된 AXTree 서브트리를 처리합니다.
  • 출력: 각 영역에 대한 두 가지 직교 차원:
    1. 목적 ($p_i$): 해당 영역이 무엇을 위한 것인지에 대한 고수준 설명 (예: "제품 목록", "검색 폼").
    2. 상태 요약 ($s_i$): 해당 영역의 현재 실행 가능한 문맥에 대한 간결한 요약 (예: "고급 선글라스를 위한 프로모션 쇼케이스").

이러한 단계들은 2,052 개의 실제 웹 페이지 데이터셋에서 독점적 LLM(GPT-5-mini) 이 생성한 주석을 기반으로 훈련된 작고 전용 모델들로 구현됩니다.

2. PageDigest: 웹 특화 추론 파이프라인

PageDigest 는 에이전트에게 페이지 내의 여러 단계에 걸쳐 지속되는 압축된 요약(compact digest) 으로 영역 수준 관찰을 전달하도록 설계된 파이프라인입니다.

• 작업 관련 영역 선택: 새 페이지에 진입하면 에이전트의 백본 LLM 이 작업 지시사항, 행동 기록, 그리고 영역 추상화 집합 $\{(p_i, s_i)\}$을 받습니다. 모델은 작업과 관련된 영역을 선택합니다.
  • 선택된 영역: 행동 실행을 위한 요소 수준 세분성을 보존하기 위해 전체 AXTree 서브트리로 노출됩니다.
  • 선택되지 않은 영역: 토큰 과부하 없이 페이지의 전체 구조적 문맥을 유지하면서 목적 요약만으로 표현됩니다.
• 페이지 인지 관찰 전환 관리: 매 단계마다 Region4Web 을 다시 실행하는 대신, PageDigest 는 점진적 변화를 추적합니다.
  • 현재 AXTree 를 페이지 진입 시 상태와 비교하여 추가, 제거 또는 수정된 노드를 식별합니다.
  • 업데이트: 제거되거나 수정된 노드는 해당 영역 목적 하의 기존 구조를 업데이트합니다. 추가된 노드는 기존 영역의 목적을 변경하지 않도록 별도로 나열됩니다.
  • 이 접근법은 완전한 재구성을 피하면서도 페이지 상태의 연속성을 유지합니다.
• 폴백 메커니즘: 에이전트가 선택된 영역이 불충분하다고 판단하면, view_all 행동을 호출하여 모든 영역을 전체 AXTree 형태로 드러낼 수 있습니다.

주요 기여

1. Region4Web 프레임워크: 계층적 분해와 의미적 추상화를 통해 AXTrees 를 기능적 영역으로 재구성하는 새로운 방법으로, 에이전트에게 페이지의 기능적 조직을 명시적으로 제공합니다.
2. PageDigest 파이프라인: 관찰 길이를 줄이면서 완전한 재구 없이 상태 전환을 추적하는 웹 특화 추론 메커니즘으로, 영역 수준 관찰을 압축되고 지속적인 요약으로 전달합니다.
3. 실증적 검증: 다양한 백본 LLM 과 에이전트 방법 전반에 걸쳐 영역 수준 관찰이 작업 성공률을 향상시키고 관찰 길이를 줄임을 보여주는 WebArena 벤치마크에 대한 포괄적 평가.

결과

5 개 도메인 (쇼핑, CMS, Reddit, GitLab, 지도) 의 812 개 작업으로 구성된 WebArena 벤치마크에서 평가한 결과, 제안된 방법은 다음과 같은 결과를 도출했습니다.

• 관찰 길이 감소: PageDigest 는 4 가지 다른 백본 LLM(GPT-5.1, Gemini 3.1 Flash-Lite, DeepSeek-V3.2, Qwen3.5-27B) 을 통해 평균 관찰 토큰 길이를 43% (6,437 토큰에서 3,671 토큰으로) 크게 줄였습니다. 백본에 따라 감소폭은 16% 에서 54% 까지 다양했습니다.
• 작업 성공률 (SR) 향상: 축소된 문맥에도 불구하고 PageDigest 는 전체 작업 성공률을 평균 2.3% 포인트 향상시켰습니다.
  • 예를 들어, GPT-5.1 의 경우 SR 이 45.2% 에서 47.5% 로 증가했습니다.
  • Qwen3.5-27B 의 경우 SR 이 38.2% 에서 39.9% 로 증가했습니다.
• 일반화 가능성: 이러한 향상은 다양한 용량의 독점 및 오픈소스 모델뿐만 아니라 확립된 에이전트 방법 (SteP 및 AgentOccam) 전반에 걸쳐 유지되었으며, 이는 영역 수준 관찰이 모델 능력과 독립적으로 페이지 상태 이해를 위한 보완적 신호를 제공함을 나타냅니다.
• 절대 실험 (Ablation Studies):
  • Region4Web 단독은 관찰 길이와 유사한 수준에서 SR 을 향상시켰습니다 (48.5% $\to$ 50.3%), 기능적 영역이 이해를 돕는다는 것을 확인했습니다.
  • PageDigest 단독(Region4Web 없이 요소 수준 선택 사용) 은 SR 을 낮췄습니다 (48.5% $\to$ 46.1%), 압축이 있더라도 요소 수준 처리가 성능을 저해할 수 있음을 시사합니다.
  • 결합: 전체 PageDigest 파이프라인은 가장 낮은 관찰 길이 (3,814 토큰) 로 가장 높은 SR(53.9%) 을 달성했습니다.
• 실패 분석: 50 개의 실패 궤적 분석 결과, 실패의 82.0% 는 백본 에이전트의 행동 선택 능력에 기인한 반면, PageDigest 파이프라인 내의 회귀 (분해, 추상화 또는 선택 오류) 로 인한 실패는 8.0% 에 불과했습니다. 이는 파이프라인이 설계된 대로 신뢰성 있게 작동함을 나타냅니다.

중요성 및 주장

본 논문은 관찰 세분성이 웹 에이전트를 위한 중요하지만 충분히 검토되지 않은 설계 선택이라고 주장합니다. 요소 수준에서 기능적 영역 수준 관찰로 전환함으로써, 저자들은 다음과 같은 점을 입증합니다.

1. 명시적 조직: (영역과 목적을 통해) 페이지의 기능적 조직을 명시적으로 만드는 것은 원시 요소로부터 추론하는 것보다 페이지 상태 이해를 위한 더 정보 풍부한 기반을 제공합니다.
2. 효율성과 성능: 영역 수준 관찰은 작업 성공률을 희생하지 않고 오히려 향상시키면서 더 압축된 문맥을 가능하게 합니다.
3. 분리: 이 접근법은 관찰 설계를 모델 능력 및 행동 정책과 분리하여, 하부 LLM 의 용량과 관계없이 더 효율적인 웹 에이전트로 나아가는 길을 제공합니다.

저자들은 기능적 영역의 세분성으로 작동하는 것이 요소 수준 처리만으로는 달성할 수 없는 더 압축되고 정보 풍부한 의사결정 기반을 제공한다고 결론지으며, 에이전트가 웹을 어떻게 "보는"지가 어떻게 "생각"하는지만큼 중요하다는 가설을 검증했습니다.