기술 요약: WebClipper – 그래프 기반 궤적 가지치기를 통한 웹 에이전트의 효율적 진화

1. 문제 제기

웹 에이전트 기반의 심층 연구 (Deep Research) 시스템은 복잡한 정보 탐색 과제를 해결하는 데 있어 상당한 잠재력을 보여주었으며, 종종 인간 능력보다 빠른 속도로 수행하는 것을 입증했습니다. 그러나 현재 최첨단 오픈소스 웹 에이전트는 심각한 비효율성에 시달리고 있습니다. 이러한 에이전트는 종종 순환적 추론 루프(이미 획득한 정보를 반복적으로 검색) 와 비생산적 분기(올바른 해결 경로에서 벗어남) 로 특징지어지는 과도하게 긴 도구 호출 궤적에 의존합니다.

높은 정확도를 달성하기 위해 기존 에이전트는 종종 검색 깊이와 컨텍스트 길이를 확장합니다 (예: 128K~256K 컨텍스트 윈도우 사용 및 최대 600 회 도구 호출). 이로 인해 다음과 같은 문제가 발생합니다:

• 높은 계산 비용: 긴 추론 시간과 비싼 도구 사용 (예: 검색 API).
• 낮은 사용자 경험: 불필요하게 긴 대기 시간.
• 컨텍스트 희석: 지나치게 긴 컨텍스트는 유용한 단서가 관련 없는 상호작용에 묻힐 위험을 증가시킵니다.

이전 연구들은 최종 작업 정확도 향상에 초점을 맞추었지만, 정확도와 효율성 사이의 트레이드오프는 충분히 탐구되지 않았습니다. 저자들은 효과적인 행동이 이러한 긴 궤적 내에서 희소하게 분포되어 있음을 관찰하여 많은 단계가 불필요함을 시사합니다.

2. 방법론: WebClipper 프레임워크

저자들은 기존에 존재하는 고성능이지만 저효율인 웹 에이전트를 더 효율적인 에이전트로 진화시키기 위해 WebClipper를 제안합니다. WebClipper 는 처음부터 새로운 에이전트를 훈련하는 대신, 기존 궤적에서 비효율적인 패턴을 제거하고 에이전트를 재훈련합니다. 이 프레임워크는 네 가지 주요 단계로 구성됩니다:

2.1 궤적에서 상태 그래프로의 변환

에이전트의 원시 궤적 (관찰, 생각, 행동의 시퀀스) 은 상태 그래프 $G = (V_A \cup V_I, E)$로 모델링됩니다.

• 행동 노드 ($V_A$): 각 단계에서의 에이전트 생각과 행동을 추상화합니다 (예: 검색, 방문, Python).
• 정보 노드 ($V_I$): 초기 쿼리를 포함하여 환경에서 얻은 원자적 정보 조각을 나타냅니다.
• 간선 ($E$): 특정 행동이 특정 정보에 기반하거나, 행동이 정보를 생성하는 의존성을 포착합니다.
  이러한 형식화는 최적 해결 경로에서 벗어난 순환적 추론 루프와 비생산적 분기를 식별할 수 있게 합니다.

2.2 근사 최소 필요 DAG(MNDAG) 를 통한 가지치기

핵심 최적화 문제는 초기 쿼리 노드 ($I_0$) 에서 최종 답변 노드 ($A_T$) 로 연결되는 **최소 필요 유방향 비순환 그래프 (MNDAG)**를 찾는 것으로 설정됩니다.

• 비용 할당: 행동 노드는 단위 비용 ($c=1$) 을 가지며, 정보 노드는 비용이 0 입니다.
• 알고리즘: 시스템은 $I_0$에서 $A_T$로 향하는 최단 경로 전방향 탐색 (다익스트라 스타일) 을 수행한 후, 필요한 모든 선행 요소를 식별하기 위해 역방향 탐색을 수행합니다.
• 강건성: 신뢰성을 보장하기 위해 그래프 구성과 MNDAG 마이닝을 세 번 반복합니다. 결과적으로 생성된 필요 행동 집합에 대해 다수결 투표를 수행하며, 단계는 세 개의 후보 집합 중 최소 두 개에 나타날 때만 유지됩니다. 최종 집합에 포함되지 않은 단계는 불필요한 것으로 간주되어 제거됩니다.

2.3 일관성 인식 사고 재작성

중간 단계를 직접 제거하면 ReAct(추론 + 행동) 루프의 논리적 일관성이 깨져 에이전트가 제거된 관찰을 참조하게 될 수 있습니다. WebClipper 는 이를 다음과 같이 해결합니다:

1. 컨텍스트 인식 선택적 재작성: 재작성 LLM 이 남은 단계의 생각을 수정하여 논리적 연속성을 보장하고, 가지치기된 관찰에 대한 참조를 제거하면서 원래 추론 스타일을 유지합니다.
2. 퍼플렉시티 기반 선택: 기본 모델의 고유한 추론 스타일과 정렬하기 위해 세 가지 후보 재작성을 생성한 후, 기본 모델이 계산한 퍼플렉시티가 가장 낮은 것을 선택합니다.

2.4 에이전트 진화

정제된 가지치기 궤적은 두 가지 전략을 통해 기본 에이전트를 훈련하는 데 사용됩니다:

• 효율성 중심 진화: 검색 효율성을 극대화하기 위해 가지치기된 데이터셋 ($D_{pruned}$) 만으로 파인튜닝합니다.
• 하이브리드 진화: 가지치기된 데이터 ($D_{pruned}$) 와 유사한 난이도의 가지치기되지 않은 궤적 ($D_{unpruned}$) 을 포함하는 하이브리드 데이터셋 ($D_{hybrid} = D_{pruned} \cup D_{unpruned}$) 으로 훈련합니다. 이는 효율성 향상과 더 긴 추론 체인이 필요한 복잡한 쿼리에 대한 능력 유지 사이의 균형을 맞춥니다.

3. 주요 기여

1. WebClipper 프레임워크: 웹 에이전트 궤적을 상태 그래프로 변환하고 근사 MNDAG 를 마이닝하여 불필요한 단계를 제거하는 새로운 가지치기 방법으로, 기존 에이전트가 더 효율적인 검색 행동으로 진화할 수 있게 합니다.
2. F-AE 점수: 정확도와 효율성(도구 호출 횟수) 사이의 트레이드오프를 전체적으로 측정하도록 설계된 F1 점수에 영감을 받은 새로운 평가 지표입니다. 이는 한 차원만 뛰어난 모델을 패널티하여 최적화 전략을 비교할 수 있는 통합된 관점을 제공합니다.
3. 실증적 검증: WebClipper 가 정확도를 유지하거나 향상시키면서 자원 소비를 크게 줄인다는 것을 보여주는 광범위한 실험.

4. 실험 결과

저자들은 Tongyi-DeepResearch를 기본 모델로 사용하여 xbench-deepsearch, Browsecomp, GAIA, HLE 네 가지 벤치마크에서 WebClipper 를 평가했습니다.

• 효율성 향상: WebClipper(효율성 중심) 는 기준선 대비 도구 호출 횟수를 약 20%(벤치마크 평균 21%) 줄이고 토큰 사용량을 19.4% 감소시켰으며, 동등한 정확도를 유지했습니다.
• 정확도 향상: 하이브리드 진화 전략은 테스트된 모든 오픈소스 모델 중 최고의 정확도를 달성했으며, 기본 모델 대비 평균 4.8% 향상과 동시에 도구 호출 횟수를 7% 감소시켰습니다.
• 기준선과의 비교:
  • 프롬프트 제어: 중복을 피하기 위해 지시사항을 추가하는 것만으로는 효율성 향상이 미미했으나 정확도 하락은 뚜렷했습니다.
  • 거친 가지치기: 단일 LLM 을 사용하여 불필요한 라운드를 직접 식별하는 것은 심각한 정확도 저하를 초래하여, WebClipper 의 구조화된 그래프 기반 접근법의 필요성을 강조했습니다.
• F-AE 점수 성능: WebClipper 모델은 폐쇄형 시스템 (예: OpenAI o3, DeepResearch) 과 다른 오픈소스 에이전트 모두보다 효과성과 효율성 사이의 우수한 균형을 나타내는 가장 높은 F-AE 점수를 달성했습니다.
• 사례 연구: 분석 결과, WebClipper 는 에이전트가 "비생산적 분기"(예: 사소한 세부 사항에 과도하게 탐구) 에 빠지거나 순환 루프에 갇히는 것을 방지하여 더 결단력 있고 선형적인 추론 경로로 이어진다는 것이 확인되었습니다.

5. 의의 및 주장

본 논문은 WebClipper 가 웹 에이전트 설계에서 정확도 - 효율성 트레이드오프에 대한 실용적이고 효과적인 접근법을 제공한다고 주장합니다. 궤적을 그래프로 모델링하고 최소 필요 형태로 가지치기함으로써, 이 프레임워크는 처음부터 훈련하는 데 드는 prohibitive 한 비용 없이 에이전트가 진화할 수 있게 합니다.

저자들은 다음과 같은 점을 강조합니다:

• 효율성은 정확도 희생을 요구하지 않음: 많은 경우, 불필요한 단계를 제거하면 컨텍스트 희석을 방지하고 에이전트가 핵심 목표에 집중하게 함으로써 오히려 정확도를 향상시킵니다.
• 구조화된 분석은 휴리스틱 가지치기보다 우수함: 그래프 기반 MNDAG 마이닝은 단순 프롬프트 기반 또는 거친 입자의 가지치기 방법보다 우월합니다.
• 새로운 지표가 필요함: F-AE 점수의 도입은 도구 사용 비용과 긴 컨텍스트를 고려하여 단순 정확도 지표를 넘어선 더 현실적인 웹 에이전트 평가 기준을 제시합니다.

이 연구는 미래의 웹 에이전트가 추론 깊이 측면에서 "더 똑똑"할 뿐만 아니라 실행 측면에서도 "더 날렵"해야 하며, 검색 깊이와 상호작용 비용 사이의 균형을 맞춰야 함을 시사합니다. 저자들은 방법론이 기본 모델의 계획 능력을 계승하며 현재 검색 및 탐색 도구에 초점을 맞추고 있음을 인정하며, 멀티모달 또는 데이터베이스 도구로의 일반화는 향후 과제로 남깁니다.