WebChallenger: A Reliable and Efficient Generalist Web Agent

WebChallenger는 선택적 주의 집중, 지속적 기억, 그리고 절차적 유창성에서 인간의 인지적 이점을 재현하는 PageMem과 세 가지 구조적 메커니즘을 도입함으로써, 비용 효율적인 기성 모델들을 사용하여 여러 벤치마크에서 최첨단 성능을 달성하는 범용 웹 에이전트 프레임워크입니다.

핵심

당신은 아주 똑똑하지만 약간은 서투른 로봇에게 "항공권 예약하기"나 "특정 제품 찾기"와 같은 작업을 수행하기 위해 인터넷을 탐색하는 법을 가르치려 한다고 상상해 보세요.

현재의 AI 에이전트들은 마치 그 로봇과 같습니다. 그들은 강력한 두뇌(대규모 언어 모델)를 가지고 있지만, 웹사이트 전체를 한 입에 삼키려는 것처럼 웹페이지 전체를 한꺼번에 읽으려고 하기 때문에 어려움을 겪습니다. 이로 인해 과부하가 걸리고, 어디에 있는지 잊어버리며, 전체 페이지를 뚫어지게 쳐да보는 바람에 정작 필요한 버튼을 놓치곤 합니다.

이 논문은 WebChallenger라는 새로운 방식의 에이전트를 소개합니다. 저자들은 로봇의 두뇌를 더 크거나 비싸게 만드는 대신, 그 주변에 더 나은 "비계(scaffolding)" 또는 운영 체제를 구축했습니다. 저자들은 인간이 웹 브라우징을 잘하는 이유는 자연스럽게 세 가지 행동을 하기 때문이며, WebChallenger는 로봇에게 이 세 가지를 똑같이 가르친다고 주장합니다.

작동 방식은 다음과 같은 쉬운 비유를 통해 설명할 수 있습니다.

1. "목차" 기법 (선택적 주의 집중)

문제점: 인간이 웹페이지를 볼 때, 모든 단어를 다 읽지는 않습니다. 헤드라인을 훑어보고, 흥키로운 부분이 있는 섹션을 확인한 뒤, 그 부분으로 시선을 좁힙니다. 반면 AI 에이전트는 보통 페이지 전체를 하나의 거대하고 지저분한 텍스트 덩어리로 읽으려고 합니다.
해결책: WebChallenger는 PageMem이라는 도구를 사용합니다. 이것은 모든 웹페이지에 대해 자동으로 "목차"를 생성하는 것과 같습니다.

• 페이지를 깔끔한 섹션(예: "내비게이션 바", "제품 목록", "푸터")으로 나눕니다.
• 각 섹션에 대해 한 문장으로 요약문을 작성합니다.
• 비유: 당신이 거대한 백화점에 있다고 상상해 보세요. 모든 통로를 돌아다니며 모든 태그를 읽는 대신, 입구에 있는 큰 지도를 봅니다. "전자제품", "의류", "생활용품" 등을 확인합니다. 전자제품이 필요하다고 판단되면, 나머지 구역은 무시하고 오직 그 특정 구역으로만 걸어 들어갑니다. WebChallenger는 이 과정을 즉각적으로 수행하여 "소음"을 제거하고 관련 있는 섹션에만 집중합니다.

2. "정신적 지도" (지속적 기억)

문제점: 새로운 웹사이트를 방문할 때마다 "로그인" 버튼이 어디 있는지 매번 새로 배워야 한다면 문제가 됩니다. 현재의 AI 에이전트들은 마치 건망증이 있는 것처럼 행동하여, 웹사이트를 방문할 때마다 마치 처음 방문한 것처럼 취급하며 방금 본 레이아웃을 잊어버립니다.
해결책: 에이전트가 작업을 시도하기 전에, 먼저 "정찰 임무"를 수행합니다. 웹사이트를 한 번 훑으며 클릭하며 돌아다니며 WebsiteMem을 구축합니다.

• 비유: 이것은 새로운 도시를 방문하는 관광객과 같습니다. 특정 식당을 찾기 전에, 동네를 한 바퀴 돌며 거리, 지하철역 위치, 공원 등을 파악합니다. 그들은 정신적 지도를 그립니다.
• WebChallenger는 모든 웹사이트에 대해 이 지도를 단 한 번 그립니다. 나중에 에이전트가 해당 사이트에 다시 가야 할 때, 레이아웃을 다시 배울 필요 없이 저장된 지도를 꺼내 보기만 하면 됩니다. 이는 시간을 절약하고 혼란을 방지합니다.

3. "콤보 기술" (절차적 유창성)

문제점: 인간에게는 흔한 작업에 대한 "근육 기억(muscle memory)"이 있습니다. 드롭다운 메뉴를 사용하고 싶을 때, "마우스를 움직이고, 클릭하고, 리스트가 나타날 때까지 기다리고, 리스트를 스캔하고, 다시 클릭한다"라고 생각하지 않습니다. 그저 "옵션을 선택한다"라고 생각합니다. AI 에이전트는 종종 미세한 단계 하나하나에 매몰되어 다음 동작을 결정하는 데 시간을 허비합니다.
해결책: WebChallenger는 **복합 동작(Compound Actions)**을 만듭니다.

• 비유: 비디오 게임을 한다고 상상해 보세요. "콤보 기술"은 버튼 하나를 눌렀을 때 캐릭터가 점프, 회전, 발차기를 하나의 유연한 동작으로 자동 수행하는 것입니다.
• WebChallenger에서 작업이 "양식(form) 채우기"라면, 에이전트는 모든 칸을 하나씩 고민하며 멈추지 않습니다. "양식 채우기"를 위한 사전 프로그래밍된 "콤보 기술"을 가지고 있습니다. 필드를 클릭하고, 텍스트를 입력하고, 다음 필드로 이동하고, 제출 버튼을 누르는 일련의 과정을 하나의 단일 결정으로서 처리합니다. 중간의 번거로운 과정들을 자동으로 처리하는 것입니다.

결과

저자들은 이 시스템을 표준적인 오픈 소스 AI 모델을 사용하여 테스트했습니다 (이 모델들은 대형 IT 기업들이 사용하는 거대하고 비싼 모델보다 저렴하고 작습니다).

• 결과: 이 "비계"(목차, 정신적 지도, 콤보 기술)를 사용함으로써, 이 시스템은 거의 모든 오픈 소스 에이전트보다 뛰어난 성능을 보였으며, 가장 비싼 독점 시스템들의 성능에 매우 근접했습니다.
• 핵별 시사점: 훌륭한 웹 네비게이터가 되기 위해 반드시 초지능적이거나 값비싼 두뇌가 필요한 것은 아닙니다. 정보를 조직화하고, 자신이 어디에 있었는지 기억하며, 지루한 단계를 자동화하는 스마트한 방법이 필요할 뿐입니다. WebChallenger는 바로 그 조직화된 방법을 제공합니다.

요약하자면, WebChallenger는 AI를 더 똑똑하게 만드는 것이 아니라, AI가 이미 가지고 있는 지능을 사용할 수 있는 더 나은 도구를 제공하는 것입니다.

기술 요약

기술 요약: WebChallenger

문제 정의

자율적인 웹 탐색은 대규모 언어 모델(LLM) 에이전트에게 여전히 큰 도전 과제입니다. 최근 시각-언어 모델(Vision-Language Models)의 발전이 진전을 이끌었음에도 불구하고, 가장 강력한 범용 시스템조차도 현실적이고 긴 호흡의 작업(long-horizon tasks)에서 인간의 성능에는 미치지 못하고 있습니다. 저자들은 이러한 격차가 모델 능력의 부족 때문이 아니라, 다음과 같은 세 가지 특정 인간의 인지적 이점을 재현하지 못하는 에이전트 아키텍처 때문이라고 주장합니다:

1. 선택적 주의(Selective Attention): 인간은 관련 있는 페이지 영역에 집중하고 나머지는 무시하지만, LLM 에이전트는 종종 전체 페이지를 평면적인 토큰 시퀀스로 입력받아 관련 신호가 희석됩니다.
2. 지속적 기억(Persistent Memory): 인간은 웹사이트의 레이아웃과 기능을 암기하지만, 에이전트는 일반적으로 사전 환경 지식 없이 각 세션에 접근합니다.
3. 절차적 유창성(Procedural Fluency): 인간은 공통적인 상호작용(예: 양식 채우기, 드롭다운 선택)을 위한 재사용 가능한 루틴을 내재화하지만, 에이전트는 매 원자적 동작(atomic action)마다 전체 페이지 상태를 다시 관찰하고 추론해야 합니다.

또한, 가장 효과적인 기존 시스템들은 막대한 추론 비용이 드는 독점적 추론 모델에 의존하고 있어, 웹 에이전트가 가장 필요한 반복적인 작업에 적용하기에는 부적합합니다.

방법론: WebChallenger 프레임워크

WebChallenger는 모델의 규모나 미세 조정(fine-tuning)이 아닌 아키텍처 설계를 통해 이러한 격차를 해결합니다. 이 프레임워크는 공유된 구조적 추상화인 PageMem을 중심으로 구축되었으며, 이를 통해 사이트별 어댑터 없이도 웹사이트 전반에 걸쳐 일반화할 수 있습니다.

1. PageMem: 구조화된 페이지 표현

PageMem은 DOM(Document Object Model)으로부터 구축된 결정론적 표현입니다. 이는 원시 접근성 트리(accessibility tree)나 스크린샷 대신, 각 페이지를 짧은 요약이 포함된 계층적 의미 섹션으로 노출합니다.

• 계층 구조: WebsiteMem은 PageMem 객체들(URL당 하나씩)을 포함합니다. 각 PageMem은 순서가 있는 PageSections(예: 네비게이션 바, 제품 목록)의 리스트와 페이지 수준의 요약으로 구성됩니다.
• 내용: 각 섹션은 DOM 유래 속성(태그, 클래스, 경계 상자)과 가변적인 메타데이터(요약, 추출된 세부 정보)를 포함합니다.
• 구축: DOM은 의미론적 태그, 크기 임계값 또는 형제 그룹화(sibling grouping)를 기준으로 재귀적으로 분할됩니다. LLM 또는 VLM은 섹션 및 전체 페이지에 대해 한 문장 형태의 요약을 생성합니다.

2. 세 가지 핵심 메커니즘

PageMem을 기반으로, 이 프레임워크는 인간의 인지적 이점을 모방하는 세 가지 메커니즘을 구현합니다:

• 분할 정복형 관찰 파이프라인(Divide-and-Conquer Observation Pipeline):
  에이전트는 전체 페이지를 처리하는 대신, 먼저 섹션 요약들을 훑어보며 작업 관련 영역을 선택합니다. 그 후 해당 특정 섹션에서만 세부 정보를 추출하여 압축되고 작업에 집중된 관찰 결과(observation)를 합성합니다. 이는 컨텍스트 윈도우 제한과 정보 희석 문제를 방지합니다.
• 오프라인 탐색 및 지속적 기억(Offline Exploration and Persistent Memory):
  작업 실행 전, 시스템은 대상 웹사이트에 대해 결정론적인 깊이 우선 탐색(depth-first traversal)을 수행하여 WebsiteMem을 구축합니다. 이 메모리는 페이지, 탐색 경로, 그리고 상호작용 요소의 동작(예: 드롭다운 옵션)을 기록합니다. 이 지도는 해당 사이트에 대한 모든 작업에서 재사용되어, 작업별 데몬스트레이션 없이도 에이전트에게 지속적인 환경 지식을 제공합니다.
• 복합 동작 워크플로우(Compound Action Workflows):
  검색, 드롭다운 선택, 양식 제출과 같은 공통적인 다단계 상호작용은 전문화된 워크플로우에 의해 처리되는 단일 "복합 동작"으로 축소됩니다. 이러한 워크플로우는 중간 단계의 브라우저 작업(예: 드롭다운 확장, 필드 하나씩 채우기)을 실행하고 부분적인 상태 변화를 자동으로 처리하며, 상호작용이 완료될 때까지 에이전트에게 제어권을 돌려주지 않습니다. 이를 통해 에이전트가 미세한 상호작용에 대해 다시 추론할 필요성을 방지합니다.

3. 시스템 작동 방식

에이전트는 다음 루프를 통해 작동합니다:

1. 현재 페이지에 대한 PageMem을 검색하거나 구축합니다.
2. 관찰 파이프라인을 적용하여 요약된 상태를 생성합니다.
3. 후보 집합(탐색 또는 요소 동작)에서 동작을 선택합니다.
4. 동작을 직접 실행하거나 워크플로우를 통해 실행합니다.
   시스템은 미세 조정 없이 오픈 웨이트 모델(추론용 GLM-4-32B, 시각용 Qwen2.5-VL-7B)을 사용합니다.

주요 결과

WebChallenger는 네 가지 다양한 벤치마크인 WebArena, VisualWebArena, Online-Mind2Web, WorkArena에서 평가되었습니다.

• 성능: 시스템은 오픈 웨이트 모델 중 최고 수준(SOTA)의 결과를 달랐습니다:
  • WebArena: 56.3% (이전 최고 성능의 미세 조정된 오픈 모델보다 7.9포인트 상회).
  • VisualWebArena: 48.7%.
  • Online-Mind2Web: 51.0%.
  • WorkArena: 70.9% (Claude 3.5 Sonnet 및 GPT-4o와 같은 독점 백본 모델을 능가).
• 효율성: 프레임워크는 토큰 및 단계(step) 효율성을 크게 개선합니다. 절제 연구(Ablation studies)에 따르면, 관찰 파이프라인을 제거할 경우 복잡한 추론 사이클이 줄어들어 총 토큰 수는 감소했음에도 불구하고, 평균 프롬프트 크기는 4.75배 증가하고 단계 수는 56% 증가했습니다.
• 일반화: 시스템은 단일 구성을 사용하여 다양한 유형의 웹사이트(쇼핑, 포럼, 기업용 UI)에 걸쳐 일반화되며, 이는 아키텍처적 스캐폴딩이 작은 오픈 모델과 최첨단 독점 시스템 사이의 간극을 메울 수 있음을 입증합니다.

의의 및 주장

저자들은 WebChallenger가 현재의 LLM들이 이미 많은 웹 작업에 충분한 추론 능력을 갖추고 있음을 보여준다고 주장합니다. 다만, 그 능력을 효과적으로 활용할 적절한 스캐폴딩이 부족할 뿐입니다. 선택적 주의, 지속적 기억, 절차적 유창성과 같은 인간의 인지 전략을 아키텍처 설계를 통해 재현함으로써, 이 프레임워크는 다음과 같은 과정 없이 높은 성능을 달이트합니다:

• 대규모 모델 스케일링.
• 독점적 추론 모델.
• 사이트별 미세 조정 또는 어댑터.

본 논문은 세심한 아키텍처 스캐폴딩이 복잡하고 긴 호흡의 웹 탐색을 위해 작고 로컬에서 실행 가능한 모델의 잠재력을 끌어올리는 핵심 열쇠이며, 독점 시스템에 대한 비용 효율적인 대안을 제공한다고 결론짓습니다.