AgentWebBench: Agentic Web 환경에서의 다중 에이전트 조정 벤치마킹

이 논문은 AgentWebBench를 소개하며, 자율 에이전트가 사용자를 대신하여 온라인 정보를 활용하는 새로운 패러다임인 Agentic Web(에이전틱 웹) 의 성능을 평가하기 위한 포괄적인 벤치마크를 제안합니다. 기존 중앙집중식 검색과 달리, 이 환경에서는 사용자 에이전트가 여러 웹사이트에 배포된 독립적인 콘텐츠 에이전트와 상호작용하여 정보를 수집하고 종합합니다.

1. 연구 배경 및 문제 정의 (Problem)

• Agentic Web 의 부상: 사용자와 콘텐츠 제공자 모두 LLM 기반 에이전트를 활용하기 시작했습니다. 콘텐츠 제공자는 데이터 접근을 제한하고 API 또는 에이전트 전용 인터페이스 (예: MCP) 를 통해 정보를 제공하는 경향이 있으며, 이는 정보 접근 방식이 중앙집중식 검색에서 **분산형 조정 **(decentralized coordination) 으로 전환됨을 의미합니다.
• 연구의 필요성: 이러한 분산 환경에서 사용자 에이전트가 여러 독립적인 콘텐츠 에이전트와 어떻게 상호작용하며, 이 과정에서 발생하는 성능 저하, 신뢰성 문제, 그리고 생태계적 영향 (예: 트래픽 집중) 을 체계적으로 평가할 수 있는 표준화된 벤치마크가 부재했습니다.

2. 방법론 (Methodology)

2.1. 아키텍처 및 에이전트 유형

AgentWebBench 는 분산형 아키텍처를 모델링합니다.

• **사용자 에이전트 **(User Agent) 사용자의 의도를 분석하고, 관련 웹사이트를 선택하며, 콘텐츠 에이전트와 상호작용하여 수집된 증거를 종합하여 최종 답변을 생성합니다. 직접적인 문서 컬렉션 접근 권한이 없습니다.
• **콘텐츠 에이전트 **(Content Agent) 각 웹사이트 도메인 내에서 자율적으로 작동하며, 해당 도메인 내의 문서만 검색하고 요약본 및 원본 내용을 반환합니다.

2.2. 데이터셋 및 환경

• 코퍼스: ClueWeb22-B 의 영어 하위 집합을 기반으로 100 개 웹사이트에서 약 1,840 만 개의 문서를 구성했습니다. 각 웹사이트는 독립적인 콘텐츠 에이전트에 의해 관리됩니다.
• **작업 **(Tasks) 웹 정보 요구를 포괄하는 4 가지 태스크를 정의했습니다.
  1. **웹 검색 **(Web Search) 쿼리에 대한 관련 문서 순위 매기기.
  2. **웹 추천 **(Web Recommendation) 사용자 브라우징 히스토리를 기반으로 다음 의도 추론 및 문서 추천.
  3. **질문 답변 **(Question Answering) 다중 소스 증거 수집 및 종합을 통한 사실적 답변 생성.
  4. **딥 리서치 **(Deep Research) 개방형 쿼리에 대한 포괄적인 보고서 작성.

2.3. 조정 전략 (Coordination Strategies)

세 가지 전략을 비교하여 에이전트 조정의 복잡성을 단계적으로 평가합니다.

1. **ToolE **(Tool-based Embedding Selection) 임베딩 유사도를 기반으로 웹사이트를 자동 선택하고 도구를 통해 문서를 검색합니다. 에이전트 간 통신은 없습니다.
2. **ToolP **(Tool-based Prompted Selection) LLM 추론을 통해 웹사이트를 선택하지만, 문서 검색은 여전히 도구에 의존합니다.
3. Multi-Agent: 사용자 에이전트와 콘텐츠 에이전트 간 양방향 통신이 가능합니다. 두 에이전트 모두 자율적으로 추론하고 결정하며, 대화형 피드백을 통해 정보를 점진적으로 정제합니다.

2.4. 실험 설정

• 모델: Qwen3 시리즈 (4B~80B), DeepSeek-V3.2, GPT-5-mini, Gemini-3 등 7 가지 최신 LLM 을 평가했습니다.
• 비교 기준: 분산형 조정 성능을 평가하기 위해 중앙집중식 인덱스에서의 직접 검색 (Classical Baseline) 과 비교했습니다.

3. 주요 기여 (Key Contributions)

1. 최초의 포괄적 벤치마크: Agentic Web 의 분산형 정보 접근을 평가하기 위해 4 가지 주요 웹 태스크를 아우르는 AgentWebBench 를 최초로 제안했습니다.
2. 분산형 조정의 성능 한계와 가능성 규명: 분산형 접근이 일반적으로 중앙집중식 검색보다 성능이 낮음을 확인했으나, 모델 규모가 커질수록 격차가 줄어들며, 질문 답변 (QA) 태스크에서는 오히려 역전될 수 있음을 보였습니다.
3. 생태계 영향 및 개선 경로 분석: 단순 태스크 정확도를 넘어 트래픽 집중 현상, 테스트 시간 확장 (Test-time scaling) 의 효과, 상호작용 효율성, 그리고 실패 원인 분석을 통해 Agentic Web 의 실제 운영 환경을 심층적으로 이해할 수 있는 통찰을 제공했습니다.

4. 실험 결과 (Results)

4.1. 전반적 성능

• 성능 격차: 분산형 조정 (Multi-Agent) 은 일반적으로 중앙집중식 검색 (Classical) 보다 성능이 낮았습니다. 이는 사용자 에이전트가 직접 컬렉션에 접근하지 못하고 콘텐츠 에이전트를 통한 간접 접근만 가능하기 때문입니다.
• 모델 규모의 영향: 모델 규모가 커질수록 (예: Qwen3-80B, GPT-5, Gemini-3) 분산형과 중앙집중식 간의 성능 격차가 크게 축소되었습니다.
• 태스크별 차이:
  • 웹 검색/추천: 분산형 접근이 여전히 어려움을 겪으며, 특히 웹 추천은 거의 0 에 가까운 성능을 보였습니다 (의도 추론의 난이도 때문).
  • **질문 답변 **(QA) 반복적인 증거 수집이 필요한 태스크 특성상, Multi-Agent 전략이 중앙집중식 베이스라인을 능가하거나 동등한 성능을 보였습니다.

4.2. 생태계 및 효율성 분석

• **트래픽 집중 **(Traffic Concentration) 분산형 조정 환경에서는 사용자가 소수의 고신뢰도 웹사이트 (예: Wikipedia, ScienceDirect) 로 집중되는 경향이 강했습니다. 이는 정보의 다양성을 감소시키고 소규모 콘텐츠 제공자의 발견 가능성을 낮출 수 있음을 시사합니다.
• **테스트 시간 확장 **(Test-time Scaling) '생각 모드 (Thinking mode)'를 활성화하면 에이전트의 계획 수립 및 상호작용 신뢰도가 향상되어 성능이 크게 개선되었습니다.
• 실패 원인 분석:
  • 사용자 에이전트: 주로 의도 오해석, 잘못된 웹사이트 선택, 증거 종합 실패 (예: '태양'을 답으로 선택하고 '빛'이라는 핵심 요소를 놓침) 가 발생했습니다.
  • 콘텐츠 에이전트: 특정 웹사이트 내에서의 검색 정밀도 부족 및 관련 없는 증거 반환이 주요 원인이었습니다.

5. 의의 및 결론 (Significance)

이 연구는 Agentic Web 이 단순한 기술적 진보를 넘어 정보 생태계의 구조를 어떻게 변화시키는지 보여줍니다.

• 기술적 함의: 분산형 환경에서도 강력한 LLM 과 효과적인 조정 전략 (계획, 반복적 상호작용) 을 결합하면 중앙집중식 검색과 경쟁할 수 있음을 입증했습니다.
• 사회적/생태계적 함의: 에이전트 기반 검색이 소수 플랫폼으로 트래픽을 집중시켜 정보 다양성을 위협할 수 있다는 점을 경고하며, 이를 완화하기 위한 정책 및 기술적 방안이 필요함을 강조합니다.
• 미래 연구 방향: 사용자 에이전트의 계획 능력 향상, 콘텐츠 에이전트의 검색 신뢰도 개선, 그리고 상호작용 비용과 효율성을 균형 있게 조절하는 적응형 조정 전략 개발이 향후 핵심 과제로 제시되었습니다.

결론적으로, AgentWebBench 는 Agentic Web 의 발전 방향을 설정하고, 분산형 정보 접근 시스템의 효율성과 신뢰성을 높이기 위한 중요한 기준점을 제공합니다.