기술 요약: GTA – 대규모 웹 에이전트를 위한 장기 과제 생성

문제 정의

검색 및 도구 사용 기능과 언어 모델을 통합하는 웹 에이전트는 과정 수준의 감독 부재로 인해 확장성에 치명적인 병목 현상에 직면해 있습니다. 기존 벤치마크는 주로 수동으로 구축되어 중간 궤적 없이 대략적인 시작–목표 주석만 제공하므로, 현실적인 멀티홉, 교차 페이지 탐색에 필요한 잠재적 의사결정 과정을 기반으로 에이전트를 훈련하고 평가하는 능력을 제한합니다.

최근 자동 과제 생성 시도는 세 가지 주요 한계를 겪고 있습니다:

1. 높은 비용과 지연 시간: 에이전트–환경 반복 실행 (rollouts) 에 의존하는 방법 (예: AgentTrek, NNetNav) 은 지나치게 비용이 많이 들고 느립니다.
2. 탐색 편향: LLM 기반 정책은 "명확한" 경로 (예: 제품 상세 페이지) 에 과도하게 적합화되어 사이트 그래프의 상당 부분이 탐색되지 않은 채 남습니다.
3. 결합성 부재: 생성된 많은 과제가 단일 홉 검색이나 간단한 양식 채우기로 축소되어, 실제 사용자 워크플로우의 특징인 멀티홉 의존성과 개방형 목표를 포착하지 못합니다.

방법론: GTA 프레임워크

저자들은 대규모 웹 에이전트를 위한 장기 과제 생성 (Generating Long-Horizon Tasks for Web Agents at Scale) 인 GTA를 소개합니다. 이는 실행 가능한 정답 궤적과 짝을 이루는 현실적이고 난이도가 계층화된 과제를 생산하도록 설계된 확장 가능한 프레임워크입니다. 이 파이프라인은 효율성을 높이고 커버리지를 보장하기 위해 크롤링과 생성을 분리합니다.

1. 벤치마크 구축 파이프라인

이 프레임워크는 네 가지 명확한 단계로 작동합니다:

• 크롤링 및 그래프 구축: 시스템은 공개 도메인에서 너비 우선 탐색 (breadth-first crawling) 을 수행하여 방향성 웹 그래프 $G = (V, E)$를 구축합니다. 여기서 노드는 페이지를, 에지는 하이퍼링크를 나타냅니다. 사이클을 방지하고 고유한 부모 할당을 보장하기 위해 표준 최단 경로 정책이 강제됩니다.
• 검색 기반 시딩: 정책 기반 탐색 대신, 시스템은 LLM 기반 인코더를 사용하여 노드를 임베딩합니다. 시드 노드에 대해 의미상 관련 있는 페이지의 후보 집합을 검색합니다.
• 인-컨텍스트 생성: 생성자 LLM 에 시드 노드와 검색된 보조 노드의 내용을 프롬프트로 제공하여 쿼리를 합성합니다. 이 전략은 두 개의 서로 다른 페이지에 걸친 추론을 요구함으로써 멀티홉 의존성을 강제하도록 설계되었습니다.
• 자동 품질 관리: 다단계 검증 프로토콜이 생성된 과제를 필터링합니다:
  • 멀티홉 검증: 단순히 독립적인 단일 홉 쿼리의 결합에 불과한 과제를 거부합니다.
  • 정답 정확성: 검증자 LLM 이 정답이 지원 노드들로부터만 유도될 수 있는지 확인합니다.
  • 모호성 감지: 고유한 정답이 없는 쿼리 (예: 시간적 제약이 누락된 경우) 를 필터링합니다.
  • 해결 가능성 확인: 크롤링된 그래프 내에서 정답을 유도할 수 있는 최소 실행 경로가 존재하는지 보장합니다.

2. 과제 정의

과제를 해결하는 데 최소 $n$개의 서로 다른 웹페이지 ($n > 1$) 에서 증거를 집계해야 하는 경우, 해당 과제를 $n$차 멀티홉으로 정의합니다. 벤치마크는 사이트 내 과제 (단일 도메인 내 추론) 와 사이트 간 과제 (여러 도메인 간 조정) 를 모두 지원합니다.

3. 범위 및 규모

이 파이프라인은 전자상거래, 정부, 포럼, 뉴스, 의료, 금융을 아우르는 50 개 이상의 공개 웹사이트에서 구현되었습니다. 결과 데이터셋에는 다음이 포함됩니다:

• 5,000 개의 사이트 내 과제.
• 600 개의 교차 웹사이트 간 과제.
• 다국어 지원 (영어, 이탈리아어, 일본어, 독일어, 중국어).
• 라이브 웹 콘텐츠에서 최신 과제를 생성할 수 있는 자체 진화 생태계.

주요 기여

이 논문은 세 가지 주요 기여를 제시합니다:

1. 문제 공식화: 여러 페이지나 도메인에 걸친 추론을 요구함으로써 사소한 정보 검색과 구별되는 웹 에이전트 멀티홉 생성 과제를 공식화합니다.
2. 효율적인 자동 데이터 생성: 크롤링과 생성을 분리하여 과제당 시간과 비용을 획기적으로 줄이는 파이프라인을 제안합니다. 각 과제는 결정론적 재생 및 단계별 진단을 위한 최소한의 프로그래밍 실행 가능한 "골드 경로"를 포함합니다.
3. 진화하는 벤치마크 생태계: GTA 를 정적 데이터셋이 아닌 자체 진화 시스템으로 프레임합니다. 이는 평가 데이터의 지속적인 갱신을 가능하게 하여 정적 벤치마크에 대한 과적합을 줄이고 에이전트를 변화하는 현실적인 과제 분포에 노출시킵니다.

결과 및 분석

1. 벤치마크 품질 및 비교

• 쿼리 구조: 사실적 검색으로 구성된 이전 데이터셋 (예: WebDS) 과 달리, GTA 과제는 이질적인 증거를 통합 (예: 수치 통계와 안전 제약 조건 결합) 해야 합니다.
• 검색 기반선 실패: 간단한 Google 검색 API 기반선으로 평가했을 때, GTA 과제의 정답률은 **14%**에 불과한 반면 AgentTrek 과 NNetNav 는 95–100% 였습니다. 이는 GTA 과제가 단일 홉 검색으로 해결될 수 없음을 확인시켜 줍니다.
• 페이지 커버리지: GTA 는 테스트 사이트에서 **77.4%–80.7%**의 페이지 커버리지율을 달성하여 AgentTrek(20.2%), NNetNav(24.3%), WebDS(11.0%) 를 크게 상회하며 사이트 기능에 대한 더 넓은 탐색을 나타냅니다.
• 인간 평가: 인간 주석자들은 GTA 과제를 WebDS(1.90) 및 AgentTrek(1.23) 보다 훨씬 복잡하다고 평가했습니다 (2.35/3). GTA 는 현실성, 추론 깊이, 유용성을 균형 있게 유지하며 최고 전체 품질 점수 (1.82) 를 달성했습니다.

2. 에이전트 성능

Browser Use 및 AgentOccam 에이전트 실험은 상당한 성능 격차를 드러냈습니다:

• 사이트 내 과제: 에이전트는 WebVoyager(최대 82%) 및 Mind2Web 에 비해 GTA 에서 종종 20–30% 미만의 성공률을 보였습니다.
• 사이트 간 과제: 교차 도메인 과제 (예: Drugs.com 및 CVS Health 통합) 의 경우 성능이 더욱 하락하여 (성공률 4.2%), 분포 변화 관리 및 중첩되지 않는 지식 처리의 어려움을 강조했습니다.
• 다국어 성능: 에이전트는 비영어 환경에서 심각한 한계를 보였으며, Browser Use 는 독일어 및 이탈리아어 사이트에서 0% 성공률을, 일본어 사이트에서는 2.9% 만 달성했습니다.

3. 오류 분석

100 개의 실패 과제에 대한 분석은 세 가지 지배적인 실패 모드를 확인했습니다:

1. 필요한 페이지 도달 실패 (90%): 에이전트가 취약한 링크 팔로우 또는 탐색 루프로 인해 필요한 모든 노드로 탐색하지 못했습니다.
2. 조기 종료 (40%): 에이전트는 모든 소스 간의 일관성을 검증하지 않고 부분적 증거를 검색한 후 과제를 조기에 종료했습니다.
3. 검색 상자에 대한 과도한 의존 (40%): 에이전트는 명시적인 웹 그래프 구조를 우회하여 사이트 내 검색을 선호하여 관련 없는 결과와 끊어진 추론 체인을 초래했습니다.

중요성 및 주장

이 논문은 GTA 가 웹 에이전트 연구에서 확장 가능한 과정 수준 감독의 중요한 필요성을 충족시킨다고 주장합니다. 크롤링과 생성을 분리하고 과제를 사이트 그래프에 근거시킴으로써 GTA 는 현재 에이전트의 멀티홉 추론 및 교차 도메인 통합 한계를 드러내는 결합적이고 검증 가능한 과제를 생산합니다.

저자들은 GTA 가 다음을 통해 견고하고 일반화 가능한 웹 에이전트 발전을 위한 기초 역할을 한다고 주장합니다:

• 현실적인 멀티홉 시나리오에서 인간–에이전트 성능 격차를 드러냄.
• 에이전트 실패에 대한 상세한 진단 (예: 탐색 대 추론) 가능.
• 동적 자체 진화 과제 생성을 통해 과적합을 줄이는 메커니즘 제공.

이 연구는 현재 에이전트가 실제 웹 탐색의 복잡성에 직면해 있지만, GTA 프레임워크가 이러한 시스템을 평가하고 개선하기 위한 엄격하고 자동화된 확장 가능한 길을 제시한다고 결론지었습니다.