UNIBROWSE: A Data-to-Agent Framework for Multimodal BrowseComp

기술 요약: UNIBROWSE

문제 정의

멀티모달 BrowseComp 작업은 에이전트가 정답을 직접적으로 얻을 수 있는 것이 아니라, 여러 조각의 동적인 웹 증거로부터 답을 구성해야 하는 문제를 해결해야 합니다. 표준적인 사실 탐색 작업과 달리, 이러한 문제는 장기적 추론(long-horizon reasoning), 도구 사용, 그리고 텍스트와 시각적 양식(modality)의 통합을 요구합니다. 실제 웹 브라우징에는 세 가지 뚜렷한 정보 흐름 패턴이 존재합니다:

1. 텍스트 전용(Text-only): 답변이 오직 텍스트 증거로만 구성됩니다.
2. 이미지-텍스트(Image-to-text): 텍스트 브라우징을 시작하기 위해 초기 이미지 단서가 해결되어야 합니다.
3. 텍스트-이미지(Text-to-image): 텍스트 브라우징을 통해 대상을 좁힌 후, 최종 검증을 위한 시각적 검색이 필요합니다.

이러한 에이전트를 훈련하기 위한 기존의 데이터 구축 방식은 세 가지 결정적인 한계를 가집니다:

• 불완전한 패턴 커버리지: 기존 데이터셋(예: WebWatcher, Vision-DeepResearch)은 주로 이미지-텍스트 패턴을 다루며, 텍스트 추론이 시각적 검증에 앞서 수행되는 이미지-텍스트 패턴의 중요성을 간과하고 있습니다.
• 패러다임의 트레이드오프: 큐레이션된 지식 그래프(Knowledge Graph)에 의존하는 방식은 웹의 다양성이 부족하고, 무작위 웹 워크(random web walks)를 사용하는 방식은 방대한 노이즈와 허위 증거를 유입시킵니다.
• 비효효율적인 훈련: 기존 연구들은 필터링되지 않은 합성 데이터에 직접 강화 학습(RL)을 적용하여, 다양한 추론 경로가 결여된 저신호 궤적(low-signal trajectories)에 계산 자원을 낭비합니다.

방법론

저자들은 35B 규모의 멀티모달 브라우징 에이전트를 위한 새로운 데이터 구축 파이프라인과 훈련 전략을 포함하는 통합 데이터-투-에이전트 프레임워크인 UNIBROWSE를 제안합니다.

1. 데이터 구축 파이프라인

이 파이프라인은 구조화된 지식과 실시간 웹 검색을 연결함으로써 고품질의 훈련 데이터를 생성합니다:

• 웹 확장이 포함된 텍스트 지식 그래프: 프로세스는 구조화된 추론 경로를 정의하기 위한 텍스트 지식 그래프($G_{KG}$)에서 시작됩니다. 각 시드 엔티티(seed entity)에 대해 연결된 서브그래프가 구축됩니다. 현실성을 보장하기 위해, 파이프라인은 실시간 웹 검색에서 추출된 속성으로 이러한 그래프 노드를 보강하며, 여러 검색 결과에 의해 확증된 것들만 유지합니다.
• 통합 멀티모달 패턴 확장: 파이프라인은 생성된 증거 서브그래프를 평가하여 세 가지 정보 흐름 패턴을 모두 지원합니다:
  • 이미지-텍스트: 초기 시드 엔티티에 검색 가능한 이미지 노드를 부착합니다.
  • 텍스트-이미지: 엔티티가 텍스트에 존재하지 않는 뚜렷하고 시각적으로 검증 가능한 속성을 가진 경우, 최종 정답 엔티티에 이미지 노드를 추가합니다.
  • 텍스트 전용: 계층화된 증거 구조를 기반으로 질문을 생성합니다.
    이러한 패턴들은 단일 질문 내에서 결합될 수 있습니다 (예: 이미지로 시작하여 시각적 검증으로 끝나는 경우).
• 탐색 주도형 선택(Exploration-Driven Selection): RL 효율성을 높이기 위해, 파이프라인은 탐색 정도(Exploration Degree) 메트릭($E(q)$)을 도입합니다. 이 메트릭은 여러 번의 롤아웃(rollout)에 걸친 성공적인 브라우징 궤적 길이의 분산을 측정합니다. 높은 탐색 정도는 정답에 도달할 수 있는 경로가 다양함(예: 직접 접근 vs. 역추적)을 나타내며, 이는 정책 학습을 위한 풍부한 대조 신호를 제공합니다. 신호가 낮은 인스턴스는 필터링됩니다.

2. 에이전트 훈련

프레임워크는 두 단계에 걸쳐 35B 규모의 에이전트(Qwen3.5-35B-A3B 기반)를 훈련합니다:

• 콜드 스타트 지도 미세 조정(Cold-Start SFT): 안정적인 도구 사용 문법과 패턴 인식 사전 지식을 확립하기 위해 약 8,000개의 도구 사용 궤적을 사용합니다.
• 탐색 인지 강화 학습(Exploration-Aware RL): 탐색 정도 메트릭 기준 상위 30%의 인스턴스에서 선택된 약 10,000개의 QA 쌍을 사용하여 SFT 모델을 최적화합니다. 에이전트는 ReAct 스타일의 순차적 의사결정 과정을 통해 SEARCH (텍스트, 이미지-텍스트, 텍스트-이미지) 및 LINKSUMMARY 도구와 상호작용합니다. 보상 함수는 정답의 정확성과 형식 준수를 결합하며, 그룹 상대 정책 최적화(GRPO)를 통해 최적화됩니다.

주요 기여

1. 통합 데이터 파이프라인: UNIBBROWSE는 텍스트 전용, 이미지-텍스트, 텍스트-이미지 패턴을 동시에 생성하면서, 향상된 충실도를 위해 지식 그래프를 실시간 웹 검색으로 보강하는 최초의 프레임워크입니다.
2. 탐색 인지 필터링: 탐색 정도 메트릭의 도입을 통해 가치 높은 RL 인스턴스를 선택할 수 있게 되었으며, 이는 풍부하고 다양한 추론 신호를 가진 문제에 집중함으로써 훈련 효율성을 크게 향상시켰습니다.
3. 최첨단(SOTA) 에이전트: 결과물인 UNIBROWSE 에이전트는 멀티모달 브라우징 벤치마크에서 우수한 성능을 달로하며, 데이터-투-에이전트 접근 방식의 효용성을 입증했습니다.

실험 결과

UNIBROWSE 에이전트는 다섯 가지 다양한 벤치마크(BrowseComp-VL (BC-VL), MM-BrowseComp (MM-BC), MMSearch+, MMSearch, FVQA)에서 평가되었습니다.

• 성능: 최종 모델(SFT + RL)은 다섯 가지 벤치마크에서 평균 **54.4%**의 정확도를 달성했습니다.
• 개선 사항: 이는 베이스 모델(Qwen3.5-35B-A3B, 43.9%) 대비 10.5 퍼센트 포인트 향상된 수치입니다.
• 비교: 이 에이전트는 GPT-5 (42.9%), Gemini-2.5 Pro (44.8%), Gemini-2.5 Flash (41.3%)를 포함한 여러 폐쇄형 워크플로우를 능가합니다. 또한 WebWatcher-32B (31.7%) 및 Vision-DeepResearch-30B-A3B와 같은 기존 오픈 소스 베이스라인보다 뛰어난 성능을 보였습니다.
• 절제 연구(Ablation Studies):
  • 패턴 커버리지: 세 가지 패턴 모두에서 훈련하는 것이 텍스트 전용 또는 이미지-텍s 패턴만 훈련하는 것보다 특히 까다로운 MM-BC 벤치마크에서 유의미하게 더 나은 결과를 냈습니다.
  • 선택 전략: 탐색 정도에 따라 상위 30%로 RL 데이터를 필터링했을 때 가장 좋은 성능을 보였습니다. 너무 엄격한 필터링(상위 10%)이나 느슨한 필터링(상위 100%)은 오히려 점수가 낮아졌습니다.

의의

본 논문은 제어 가능한 멀티모달 데이터 구축과 탐색 인지 사후 훈련이 효과적인 브라우징 에이전트를 구축하는 데 필수적이라고 주장합니다. 패턴 커버리지(특히 텍스트-이미지 모달리티)의 격차를 해소하고 탐색 다양성을 통해 RL 훈련 신호를 최적화함으로써, UNIBROWSE는 오픈 소스 모델이 복잡한 멀티모달 웹 추론 작업에서 경쟁력 있는 최첨단 성능을 달성할 수 있음을 보여줍니다. 이 프레임워크는 오픈 소스 에이전트와 가장 강력한 독점적 워크플로우 사이의 성능 격차를 절반 이상 좁힘으로써, "데이터-투-에이전트" 패러다임이 확장 가능한 경로임을 입증합니다.