기술 요약: 웹 에이전트가 종료되었으나 여전히 실패하는 경우

문제 정의

장기적(long-horizon) 웹 에이전트는 내비게이션, 정보 수집, 실제 웹사이트에 대한 추론을 요구하는 작업에 대해 점점 더 많이 평가되고 있습니다. 그러나 표준 평가 지표는 결정적인 실패 모드를 가리는 경우가 많습니다. 즉, 에이전트가 최종적으로 잘 형성된 답변을 생성하고 자신 있게 종료하더라도 여전히 핵심 과업 수행에는 실패할 수 있다는 점입니다. 이러한 "종료-하지만-실패(finish-but-fail)" 시나리오에는 필수 필드 누락, 지원되지 않는 항목의 과잉 포함, 또는 오래된 증거에 의존하는 문제 등이 포함됩니다.

WebWalkerQA, WebSailor과 같은 기존 벤치마크에서 흔히 볼 수 있는 순차적인 단일 답변 검색 작업과 달리, 현실적인 웹 작업은 종종 **병렬 웹 탐색(parallel web exploration)**을 요구합니다. 이 설정에서 에이전트는 쿼리를 여러 하위 목표로 분해하고, 서로 떨어진 소스들(예: 컨퍼런스 사이트의 서로 다른 하위 페이지들)로부터 정보를 검색한 다음, 이를 구조화된 출력으로 통합해야 합니다. 완료 여부나 최종 답변 정확도에만 의존하는 현재의 평가 방식은, 상호작용 루프는 완료했으나 사실적으로 불완전하거나 잘못된 구조적 답변을 생성하는 에이전트의 미묘한 차이를 포착하지 못합니다.

방법론

벤치마크 구축: Parallel WebBench

병렬 탐색에 대한 평가 데이터의 부족을 해결하기 위해, 저자들은 1,679개의 검증된 레코드를 포함하는 Parallel WebBench를 소개합니다. 이 데이터셋은 두 가지 파이프라인을 통해 구축되었습니다:

1. 수동 큐레이션 (350개 작업): 루트 URL을 여러 하위 페이지의 증거가 필요한 다중 필드 질문으로 변환합니다. 인간 주석가(human annotators)는 답변 가능성을 검증하고, 순차적 단계, 최대 병렬도(필요한 별개의 증거 브랜치 수), 방문 URL, 그리고 골든 답변(golden answers)을 기록합니다.
2. 자동 재구성 (1,329개 작업): 기존 웹 QA 레코드를 필터링하고 재구성합니다. 이 파이프라인은 답변이 라이브 웹에서 여전히 유효한지 확인하고, 경로 유효성에 따라 레코드를 분류하며, 엄격한 링크 체인 검증(모든 연속적인 URL 쌍이 유효한 하이퍼링크인지 확인)을 통해 끊어진 URL 체인을 재구성합니다.

이 데이터셋은 **라이브 증거(live evidence)**를 강조하며, 오래된 콘텐츠를 걸러내고 현재의 웹에서 경로 탐색이 가능하도록 보장합니다.

실험 설정

저자들은 세 가지 데이터 혼합 조건 하에서 **그룹 상대 정책 최적화(GRPO)**를 사용하여 WebExplorer 스타일의 에이전트를 학습시킵니다:

• HUMAN: 수동으로 검증된 인간 큐레이션 작업만 포함.
• BALANCED: 인간 작업과 합성 데이터(카테고리 A: 검증된 경로, 카테고리 B: 재구성된 경로)를 동일한 비율로 혼합.
• SYNTH-HEAVY: 인간의 감독을 줄이고 합성 데이터의 비중을 높임.

보상 설계: 구조화된 다중 필드 작업에서의 보상 희소성 문제를 해결하기 위해, 저자들은 부분 점수 보상(partial-credit reward) 시스템을 채택했습니다. 오류 발생 시 0점을 부여하는 정확 일치(exact-match) 보상과 달리, 이 시스템은 퍼지 매칭(fuzzy matching), 포함 관계(containment), 토큰 수준의 F1 점수를 사용하여 딕셔너리, 리스트 및 스칼라 필드를 재귀적으로 점수화합니다. 이는 비-LLM 학습 루프를 유지하면서도 더 조밀한 피드백을 제공합니다.

평가: 모델은 다양한 추론 예산(16k/64k 컨텍스트, 8/16회 상호작용 라운드) 하에서 홀드아웃(held-out) 세트 150개에 대해 평가됩니다. 지표는 다음과 같습니다:

• 완료(Completion): 파싱 가능한 최종 답변이 생성되었는지 여부.
• 이진 정확도(Binary Accuracy): 전체 구조적 답변이 GPT-4.1-mini에 의해 정답으로 판단되었는지 여부.
• 요소별 F1(Element-wise F1): 개별 사실적 요소의 회복에 기반한 부분 점수.

주요 기여

1. 병렬 웹 탐색의 정의: 본 논문은 에이전트가 여러 독립적인 하위 목표를 검색하고 합성해야 하는 작업 환경을 정의하며, 에이전트가 구조적 답변을 생성하지만 그것이 검색된 증거에 의해 부분적으로만 뒷받침되거나 전혀 뒷받침되지 않는 "완료-정확도 간극(completion-correctness gap)"을 드러냅니다.
2. Parallel WebBench: 검증된 궤적, 답변 및 URL 수준의 메타데이터를 포함하는 1,679개 레코드의 벤치마크로, 인간 큐레이션 작업과 자동 재구성 작업을 구분합니다.
3. 세 가지 재현 가능한 실패 모드 식별: 트레이스 수준의 진단을 통해 저자들은 에이전트 실패의 구체적인 트리거를 식별했습니다:
   • FM1 (컨텍스트 제한 검색 루프): 정형 문구(canonical phrasing)의 불일치가 발생할 때 에이전트가 중복된 검색 루프에 빠지며, 이전에 검색한 비정형 증거를 활용하지 못하는 현상.
   • FM2 (부분 답변에 의한 조기 종료): 리스트 형태의 질문에 의해 주로 유발되며, 형식이나 프로세스보다 커버리지에 점수를 주는 조밀한 보상 때문에 상호작용 예산을 다 쓰기 전에 최종 답변을 내놓는 현상.
   • FM3 (합성 붕괴): 충분한 증거를 검색했음에도 불구하고 최종 출력에서 이를 유지하지 못하고, 서로 다른 행을 반복된 값으로 합치거나 사실을 "찾을 수 없음(Not found)" 플레이스홀더로 대체하는 현상.
4. 트레이스 수준 진단: 중복 검색 동작, 라운드 사용량, 요소별 재현율(recall), 증거와 답변 간의 결합(binding)을 분석하는 운영적 탐지기를 제공합니다.

결과

성능 개선 및 격차

GRPO와 합성 데이터를 통한 학습은 **완료율(completion rates)**을 크게 향상시키지만, 정확도(correctness) 측면에서는 수확 체감의 법칙을 보입니다:

• 완료: 가장 우수한 GRPO 모델(SYNTH-HEAVY)은 16k 컨텍스트/16 라운드 조건에서 완료율을 기본 WebExplorer-8B의 50.7%에서 **96.0%**로 개선했습니다.
• 부분 정확도: 요소별 F1은 0.2489에서 0.4529로 향상되었습니다.
• 이진 정확도: 높은 완료율에도 불구하고 이진 정확도는 약 33.3%로 낮게 유지되었습니다. 이는 에이전트가 작업을 완료하긴 하지만, 올바르게 해결하는 데는 자주 실패함을 나타냅니다.

개입 분석

• 합성 데이터: 합성 데이터 중심의 학습은 중단(abstention)을 줄이고 답변 생성 신뢰도를 높이지만, 증거에 기반한 정확도를 유의미하게 개선하지는 못합니다. 합성 데이터로 학습된 모델은 인간 검증 세트보다 합성 테스트 세트에서 더 나은 성능을 보입니다.
• 컨텍스트 및 라운드: 컨텍스트(64k로) 또는 상호작용 라운드(16회로)를 늘리면 완료율은 높아지지만, 이진 정확도가 단조롭게 증가하지는 않습니다. 일부 경우, 더 큰 예산이 오히려 요소별 F1을 감소시켰는데, 이는 더 많은 상호작용이 핵심적인 추론이나 합성 실패를 해결하지 못함을 시사합니다.
• 실패 모드의 지속성: 세 가지 실패 모드(루프, 조기 종료, 합성 붕괴)는 모든 학습 혼합 조건에서 지속됩니다. 합성 데이터 중심 학습은 FM1(루프)을 줄였지만 FM2(조기 종료)를 증가시켰으며, 이는 에이전트가 검증보다는 "빠르게 끝내는 것"을 배우는 트레이드오프를 시사합니다.

의의 및 주장

본 논문은 결과 수준의 최적화(완료 또는 최종 답변 생성을 극대화하는 것)가 신뢰할 수 있는 에이전트형 AI를 만드는 데 불충분하다고 주장합니다. 핵심적인 발견은 건설적입니다. 즉, GRPO와 합성 감독이 에이전트에게 답변을 생성하도록 효과적으로 가르칠 수는 있지만, 웹 탐색의 근본적인 실패 모드를 제거하지는 못한다는 것입니다.

저자들은 분야가 단순한 완료 지표를 넘어 나아가야 한다고 주장합니다. 관찰된 "완료-정확도 간극"은 다음과 같은 필요성을 강조합니다:

• 커버리지 인식 중단(Coverage-aware stopping): 모든 하위 목표가 검증되기 전에 에이전트가 종료되는 것을 방지.
• 증거 기반 합성(Evidence-bound synthesis): 최종 답변이 합치거나 환각을 일으키는 대신 검색된 증거를 엄격히 준수하도록 보장.
• 트레이스 진단(Trace diagnostics): 작업을 "완료"하는 행위와 "해결"하는 행위를 분리.

이 연구는 미래의 개입이 단순히 컨텍스트, 상호작용 예산 또는 합성 데이터를 확장하는 것에 의존하기보다, 부분 점수 학습과 명시적인 커버리지 체크 및 검증 단계를 결합해야 함을 시사합니다. 논문은 결론적으로 현재의 에이전트들이 자신의 실패에 대해 점점 더 확신을 갖고 있으며, 따라서 단순히 완료된 상호작용과 해결된 과업을 구분할 수 있는 진단 도구가 필요하다고 밝히고 있습니다.