1. 연구 배경 및 문제 정의 (Problem)

최근 대규모 언어 모델 (LLM) 기반의 '딥 리서치 에이전트 (Deep Research Agents)'는 복잡한 실세계 문제를 해결하기 위해 다양한 소스에서 정보를 검색하고 추론하는 능력을 보여주고 있습니다. 그러나 기존 접근 방식은 검증 (Verification) 메커니즘의 부재로 인해 다음과 같은 치명적인 병목 현상에 직면해 있습니다.

• 오류 전파 (Error Propagation): 학습 데이터 생성 (QA 합성), 궤적 구성 (Trajectory Construction), 추론 시간 확장 (Test-time Scaling) 의 3 단계에서 명시적인 검증이 이루어지지 않아, 초기 단계의 오류가 하위 단계로 전파되어 전체 에이전트 성능을 저하시킵니다.
• 데이터 품질 문제: 기존 QA 합성 방법 (그래프 기반 또는 에이전트 기반) 은 엔티티를 은폐하는 기법을 사용하여 질문 난이도를 높이지만, 이로 인해 정답이 유일하지 않거나 사실과 다른 (Hallucination) 데이터가 생성되어 학습의 질을 떨어뜨립니다.
• 추론 시간 비효율: 추론 과정에서 중간 단계나 최종 답변에 대한 검증이 부족하여, 에이전트가 잘못된 초기 결론에 매몰되거나 불필요한 탐색을 반복하는 문제가 발생합니다.

2. 제안 방법론 (Methodology)

저자들은 검증 중심 (Verification-Centric) 설계 철학을 바탕으로 8B(80 억 파라미터) 규모의 효율적인 딥 리서치 에이전트인 Marco DeepResearch를 제안했습니다. 이 프레임워크는 세 가지 핵심 단계에서 검증 메커니즘을 도입합니다.

가. 검증된 데이터 합성 (Verified Data Synthesis)

학습 데이터의 품질과 정답의 유일성을 보장하기 위해 두 가지 파이프라인을 도입했습니다.

• 그래프 기반 합성: 답변 엔티티를 먼저 샘플링한 후, 역방향으로 증거 노드를 탐색합니다. 적대적 검증 (Adversarial Verification) 프로세스 (Generator, Attacker, Analyzer) 를 통해 생성된 제약 조건이 정답을 유일하게 만드는지, 그리고 대조군 (Counterexample) 이 존재하지 않는지 반복적으로 검증합니다.
• 에이전트 기반 웹 탐색 합성: 질문 생성 에이전트, 검색 에이전트, 검증 에이전트로 구성된 루프를 사용합니다. 질문은 검증된 증거를 기반으로 생성되며, 독립적인 검색 에이전트가 해결한 후 검증 에이전트가 사실성, 유일성, 난이도를 최종 확인합니다. 실패한 샘플은 폐기하지 않고 진단 피드백을 통해 수정합니다.

나. 검증 주도 궤적 구성 (Verification-Driven Trajectory Construction)

학습 데이터인 에이전트 행동 궤적에 명시적인 검증 패턴을 주입합니다.

• 다중 에이전트 검증 합성: 메인 에이전트, 검색 서브 에이전트, 검증 서브 에이전트로 구성된 3 역할 프레임워크를 사용합니다. 검증 에이전트는 웹 도구를 이용해 중간 단계의 결과와 최종 답변을 독립적으로 검증하며, 실패 시 수정 및 재실행 과정을 궤적에 기록합니다.
• 검증 - 반성 재출발 (Verification-Reflection Re-rollout): 잘못된 최종 답변을 가진 궤적을 수집하여 검증 에이전트가 실패 원인을 진단하고, 이를 바탕으로 올바른 답변으로 복구된 궤적을 학습 데이터로 활용합니다.

다. 검증자 유도 추론 시간 확장 (Verifier-Guided Test-Time Scaling)

추론 시 계산 자원을 효율적으로 활용하기 위해 검증 기반 확장 전략을 적용합니다.

• Discard All 전략: 에이전트가 최대 단계에 도달하거나 해결에 실패하는 등 퇴화 신호가 감지되면, 누적된 컨텍스트를 모두 폐기하고 원래 질문과 시스템 프롬프트만으로 초기화하여 새로운 탐색 경로를 시도합니다.
• 검증자 유도 확장: Marco DeepResearch 자체를 검증자로 사용하여 생성된 후보 답변들을 규칙 기반 및 에이전트 판정 (LLM-as-Judge) 으로 검증합니다. 모든 후보가 검증된 후 최종 답을 도출함으로써, 단순한 반복이 아닌 검증된 추론을 통해 성능을 극대화합니다.

3. 주요 기여 (Key Contributions)

1. 검증 중심 아키텍처: QA 데이터 합성, 궤적 구성, 추론 시간 확장의 전 과정에 명시적인 검증 메커니즘을 통합하여 오류 전파를 차단하고 신뢰성을 높였습니다.
2. 고품질 데이터 생성: 적대적 검증과 다단계 필터링을 통해 유일하고 정확한 정답을 가진 고난이도 QA 데이터셋을 대량으로 생성했습니다.
3. 효율적인 8B 모델: 30B 규모의 거대 모델들과 경쟁할 수 있는 성능을 8B 규모의 모델로 달성하여, 파라미터 크기 대비 효율성을 입증했습니다.

4. 실험 결과 (Results)

Marco DeepResearch (8B) 는 다양한 딥 서치 벤치마크에서 기존 모델들을 압도하는 성능을 보였습니다.

• 벤치마크 성능:
  • BrowseComp 및 BrowseComp-ZH: 8B 규모 오픈소스 에이전트 중 최고 성능을 기록했습니다. 특히 BrowseComp-ZH 에서 30B 규모의 'Tongyi DeepResearch' 및 'MiroThinker-30B'와同等하거나 더 높은 성능을 달성했습니다.
  • xAch-DeepSearch: 2505 분할에서 82.0 점, 2510 분할에서 42.0 점으로 8B 모델 중 가장 높은 점수를 기록했습니다.
  • GAIA: RE-TRAC-4B 와 비교해 0.5 점 차이로 매우 경쟁력 있는 성능을 보였습니다.
• 비교 분석:
  • 600 번의 툴 호출 제한 하에서, 8B 모델이 여러 30B 모델 (Tongyi-30B, Miro-30B 등) 을 추월하거나 따라잡는 것을 확인했습니다.
  • Ablation Study: 검증 데이터 합성, 검증 주도 궤적 구성, 검증자 유도 추론 시간 확장이 각각 성능 향상에 유의미한 기여를 했음을 입증했습니다 (예: 검증자 유도 확장 전략만으로도 GAIA 에서 +8.7 점, BrowseComp-ZH 에서 +17.8 점 향상).

5. 의의 및 결론 (Significance)

이 논문은 딥 리서치 에이전트의 핵심 병목인 '검증 부재' 문제를 해결함으로써, 파라미터 크기에 의존하지 않고 검증 중심 설계를 통해 고품질의 추론 능력을 달성할 수 있음을 증명했습니다.

• 효율성: 거대 모델 (30B 이상) 을 사용하지 않고도 8B 모델로 최상위 성능을 낼 수 있어, 비용 효율적인 에이전트 개발의 새로운 패러다임을 제시합니다.
• 신뢰성: 중간 단계와 최종 결과에 대한 체계적인 검증을 통해 할루시네이션을 줄이고, 복잡한 웹 탐색 작업에서의 신뢰성을 크게 향상시켰습니다.
• 확장성: 검증 기반의 추론 시간 확장 전략은 모델 파라미터 변경 없이도 추론 단계에서 성능을 극대화할 수 있는 효과적인 방법론을 제공합니다.

결론적으로, Marco DeepResearch 는 검증 메커니즘을 학습 및 추론의 핵심 요소로 통합함으로써, 제한된 컴퓨팅 자원으로도 복잡한 실세계 문제를 해결할 수 있는 효율적이고 강력한 AI 에이전트 개발의 가능성을 열었습니다.