기술 요약: Skim - 빠르고 효율적인 웹 에이전트를 위한 예측 실행

1. 문제 정의

대형 언어 모델 (LLM) 과 브라우저 환경을 활용하여 실시간 웹사이트에서 작업 (예: 제품 가격 조회, 구조화된 데이터 추출) 을 수행하는 웹 에이전트는 상당한 오버헤드를 겪습니다. 현재 최첨단 에이전트 (WebVoyager, AgentOccam, BrowserUse 등) 는 모든 작업의 모든 단계에 적용되는 균일한 ReAct(추론 - 실행) 루프에 의존합니다. 이 루프는 다음을 포함합니다:

• 최첨단 LLM 추론: 전체 페이지 표현 (DOM 또는 스크린샷) 과 상호작용 기록에 대해 추론하는 고비용의 고용량 모델.
• 전체 브라우저 렌더링: 콘텐츠가 정적이거나 서버 측에서 렌더링된 경우에도 JavaScript 를 실행하고 페이지를 렌더링.
• 반복적 탐색: 탐색 경로가 예측 가능할지라도 목적지 페이지에 도달하기 위한 다단계 탐색.

저자들은 이러한 오버헤드가 작업 자체에 내재된 것이 아니라, 높은 구조적 규칙성을 가진 문제에 범용적이고 무거운 구성 요소를 적용함으로써 발생하는 부산물이라고 주장합니다. 웹사이트 구조를 활용하는 수동 설계 프로그램은 훨씬 더 빠르고 저렴할 수 있지만, 궤적 전반에 걸쳐 오류가 누적될 위험과 작업의 이질성으로 인해 이러한 전문화를 자동화하는 것은 어렵습니다.

2. 방법론: Skim 프레임워크

Skim 은 목적형 웹사이트의 예측 가능한 구조를 활용하여 기존 ReAct 기반 웹 에이전트를 가속화하도록 설계된 예측 실행 프레임워크입니다. 이는 오프라인 프로파일링 단계와 온라인 예측 캐스케이드를 통해 작동합니다.

2.1 핵심 관찰

Skim 은 웹의 두 가지 주요 속성에 의존합니다:

1. 안정적인 구조적 패턴: 웹사이트는 동일한 유형의 쿼리에 대해 일관된 URL 패턴, 답변 형식, 작업 - 궤적 매핑을 강제합니다 (예: Amazon 검색은 항상 특정 URL 템플릿을 따름).
2. 검증 가능한 출력: 사이트가 결과 페이지에 안정적인 형식을 부과하므로, 전체 에이전트를 호출하지 않고도 쿼리와 알려진 스키마에 대해 검색된 답변의 정확성을 검증할 수 있습니다.

2.2 오프라인 프로파일링 파이프라인

런타임 전에 Skim 은 각 대상 웹사이트에 대한 일회성 프로파일링을 수행하여 사이트 프로필을 구성합니다. 이 프로필은 다음을 포착합니다:

• 타입 지정 URL 템플릿: 직접 탐색 (예: amazon.com/dp/{asin}) 및 필터링된 검색을 위한 매개변수화된 패턴.
• 검색 의미론: 사이트가 필터, 정렬, 페이지네이션 및 쿼리 구성을 처리하는 방식.
• 답변 스키마: 유효한 응답의 예상 구조와 데이터 유형.
• 기능 메타데이터: 페이지가 JavaScript 렌더링 (브라우저) 이 필요한지 아니면 HTTP 를 통해 가져올 수 있는지, 봇 감지 동작 등 실행 요구 사항.

프로파일러는 경량 HTTP 요청과 헤드리스 브라우저 승급을 사용하여 이러한 패턴을 발견하고, 로컬 LLM 을 활용하여 쿼리 구성 지침을 생성함으로써 이를 보완합니다.

2.3 런타임 예측 캐스케이드

사용자 쿼리가 도착하면 Skim 은 사용자와 기본 ReAct 에이전트 사이에 개입합니다:

1. 템플릿 매칭 및 URL 합성: 경량 LLM 이 작업 의도를 사이트 프로필의 템플릿과 매칭하고, 매개변수 유효성을 보장하기 위해 정규식 제약을 사용하여 목적지 URL 을 합성합니다.
2. 리소스 결정: 프로필에 따라 최소 충분 실행 계층을 결정합니다:
   • 페이지 획득: 직접 HTTP 가져오기 vs 다단계 브라우저 탐색.
   • 렌더링: HTTP 전용 vs 전체 브라우저 렌더링.
   • 추론: 비최첨단 모델 (예: Qwen2.5-14B) vs 최첨단 모델.
3. 고속 경로 실행: 시스템은 페이지를 가져옵니다 (가능하면 HTTP 를 통해), 노이즈를 제거하기 위해 HTML 을 정제하고, 답변 스키마에 안내된 소형 모델을 사용하여 답변을 추출합니다.
4. 검증: 2 단계 검증기가 출력을 확인합니다:
   • 스키마 확인: 답변이 비어 있지 않고, 타입 호환성이 있으며, 예상 범위에 있는지 확인 (무비용).
   • 의미론적 확인: 비최첨단 판정 모델이 작업, URL, 정제된 콘텐츠 및 후보 답변 간의 일관성을 검증합니다.
5. 승급 (웜 - 스타트 캐스케이드): 검증이 실패하면 시스템은 전체 ReAct 에이전트로 캐스케이드합니다. 핵심적으로, 이는 고속 경로가 도달한 URL 에서 에이전트를 웜 - 스타트합니다. 이는 특정 추출이 실패하더라도 탐색 진행 상황 (궤적의 "접두사") 을 보존하여 에이전트가 홈페이지에서 다시 시작하는 것을 방지합니다.

2.4 배포 모드

• 가속 모드: 고속 경로가 검증되면 답변이 즉시 반환되어 지연 시간과 비용이 감소합니다.
• 집계 모드: 절약된 컴퓨팅 예산을 재투자하여 작업당 여러 예측 시도를 실행합니다. 검증기가 후보를 순위 매기고 최상의 결과를 선택합니다 (예: 다수결 투표). 이는 정확성을 높일 수 있습니다.

3. 주요 기여

• 웹 에이전트를 위한 예측 실행: Skim 은 구조적 패턴이 허용될 때 표준 브라우저-LLM 루프를 우회하는 예측 실행을 위한 원시 요소로 웹사이트 구조를 취급하는 최초의 시스템입니다.
• 오프라인/온라인 하이브리드 아키텍처: 구조적 발견의 중량 작업을 (오프라인) 런타임 실행과 분리하여 비용이 많이 드는 온라인 추론 없이 효율적인 매칭을 가능하게 합니다.
• 웜 - 스타트 폴백 메커니즘: 예측 중에 도달한 URL 을 폴백 에이전트로 전파함으로써, Skim 은 실패한 예측조차 전체 에이전트의 검색 공간을 줄임으로써 가치를 제공하도록 보장합니다.
• 2 단계 검증: 전체 페이지 DOM 분석보다 훨씬 저렴하지만 오류 전파를 방지할 만큼 견고한 경량 스키마 안내 검증 프로세스.

4. 실험 결과

저자들은 WebVoyager와 WebShop 벤치마크에서 세 가지 백본 에이전트 (WebVoyager, AgentOccam, BrowserUse) 를 사용하여 Skim 을 평가했습니다.

• 성능 향상:
  • 비용: 작업당 중앙값 비용을 1.9 배 감소.
  • 지연 시간: 작업당 중앙값 지연 시간을 33.4% 감소.
  • 정확도: 노이즈 범위 내에서 기본 에이전트와 동등한 엔드 - 투 - 엔드 정확도를 유지하며, 작업 성공률에 유의한 손실이 없음.
• 집계 모드: 절약분을 재투자함으로써, Skim 은 단일 기본 시도의 동일한 비용 예산 내에서 정확도를 최대 16.7 퍼센트 포인트(상한선) 또는 4.2 퍼센트 포인트(다수결 투표) 까지 향상시켰습니다.
• 웜 - 스타트 효율성: 고속 경로가 실패하더라도 웜 - 스타트된 폴백 에이전트는 콜드 - 스타트 에이전트보다 훨씬 빠르게 수렴하여 지연 시간 분포의 꼬리를 압축했습니다.
• 분해: Skim 과 수동 설계 프로그램 간의 절감 격차는 "일반화 세금"(라우팅/합성을 위한 5-6 초) 과 고속 경로에서 완전히 완료되는 작업이 약 12-45% 에 불과하며 나머지는 웜 - 스타트 캐스케이드의 혜택을 받는다는 사실에 기인합니다.

5. 중요성 및 주장

이 논문은 Skim 이 현재 웹 에이전트의 높은 오버헤드가 작업에 내재된 것이 아니라 무거운 구성 요소의 균일한 적용 결과임을 보여준다고 주장합니다. 목적형 웹사이트의 구조적 규칙성을 활용함으로써 Skim 은 커버리지나 정확도를 희생하지 않고 상당한 효율성 향상을 달성합니다.

저자들은 Skim 을 기존 ReAct 기반 에이전트에 적용할 수 있는 "드롭 - 인" 가속 계층으로 위치시킵니다. 그들은 시스템이 읽기 위주 작업 (검색, 추출, 비교) 을 대상으로 하지만, 상태가 있는 작업 (쇼핑 등) 의 "탐색" 단계를 효율적으로 처리하며 최종 상태 변경 작업을 전체 에이전트에게만 위임한다고 강조합니다. 이 연구는 구조적 탐색과 추론을 분리하고 예측 실행을 게이트하는 검증기를 사용하여 미래 웹 에이전트가 훨씬 더 효율적일 수 있음을 시사합니다.