OpenResearcher: 긴 시간 범위의 심층 연구 궤적 합성을 위한 완전 오픈 파이프라인

이 논문은 OpenResearcher를 소개하며, 이는 대규모 언어 모델 (LLM) 이 복잡한 웹 검색, 증거 수집, 다단계 추론을 수행하는 '심층 연구 (Deep Research)' 에이전트를 훈련시키기 위한 재현 가능하고 비용 효율적인 오프라인 파이프라인을 제안합니다.

1. 문제 정의 (Problem)

기존의 심층 연구 에이전트 훈련에는 다음과 같은 주요 병목 현상이 존재했습니다:

• 데이터 부족: 긴 시간 범위 (Long-horizon) 의 추론 궤적 (수십~수백 번의 도구 호출이 필요한 데이터) 이 매우 희소합니다.
• 비용 및 재현성 문제: 기존 방법론들은 구글 검색 등 실시간 웹 API 에 의존합니다. 이는 대규모 데이터 생성 시 막대한 비용이 발생하고, 웹 환경의 동적 변화로 인해 동일한 데이터를 재현하기 어렵습니다.
• 분석의 어려움: 실시간 웹 환경에서는 검색 실패가 '전략의 부재'인지 '데이터 부재'인지 구분하기 어렵고, 검색 엔진 내부의 상세 이벤트 (골드 문서 노출 여부 등) 를 통제된 방식으로 분석하기 힘듭니다.

2. 방법론 (Methodology)

OpenResearcher 는 1500 만 개 문서로 구성된 오프라인 코퍼스 위에서 작동하며, 다음과 같은 세 가지 핵심 단계로 구성됩니다.

2.1. 오프라인 검색 엔진 구축 (Offline Search Engine Construction)

• 원-타임 온라인 부트스트래핑 (One-time Online Bootstrapping): 6,000 개의 QA 쌍에 대해 한 번만 온라인 검색 (Serper API 등) 을 수행하여 정답을 지지하는 '골드 문서 (Gold Documents)' 10,000 개를 수집합니다.
• 코퍼스 합성: 수집된 골드 문서와 FineWeb 에서 가져온 1500 만 개의 일반 문서 (방해 요소) 를 병합하여 오프라인 코퍼스를 구성합니다.
• 색인화: Qwen3-Embedding-8B 를 사용하여 문서를 임베딩하고 FAISS 로 인덱싱하여 효율적인 밀도 기반 검색을 가능하게 합니다.

2.2. 명시적 브라우저 원시 연산 (Explicit Browser Primitives)

기존의 단순 검색을 넘어, 인간의 실제 탐색 행동을 모방하기 위해 세 가지 최소한의 도구 (Primitive) 를 정의합니다:

1. Search: 쿼리에 대한 상위 K 개 결과 (제목, URL, 스니펫) 를 반환합니다.
2. Open: 검색 결과 중 특정 URL 의 전체 문서 내용을 가져옵니다.
3. Find: 열려 있는 문서 내에서 특정 문자열 (예: 특정 엔티티) 을 정확히 찾습니다.
   이 구조를 통해 에이전트는 '검색' -> '문서 열기' -> '증거 위치 찾기'의 다중 스케일 정보 발견 과정을 학습합니다.

2.3. 궤적 합성 (Trajectory Synthesis)

• 교사 모델: GPT-OSS-120B 를 사용하여 오프라인 환경에서 97,000 개 이상의 긴 시간 범위 궤적을 생성합니다.
• 생성 프로세스: 모델은 정답을 보지 못한 채, 주어진 도구 (Search, Open, Find) 만을 사용하여 단계별 추론 (Reasoning) 을 수행하고 최종 답을 도출합니다.
• 필터링: 맥스 컨텍스트 길이 초과, 잘못된 도구 호출, 결론 도출 실패 등의 궤적을 제거하여 97,000 개 이상의 고품질 데이터를 확보합니다.

2.4. 학생 모델 훈련 (Student Training)

• 베이스 모델: NVIDIA Nemotron-3-Nano-30B-A3B 를 기반으로 합니다.
• SFT (Supervised Fine-Tuning): 합성된 궤적 중 정답이 맞는 경우 (약 55,000 개) 를 사용하여 모델을 미세 조정합니다. 최대 컨텍스트 길이 256K 토큰을 지원하여 긴 추론 체인을 학습합니다.

3. 주요 기여 (Key Contributions)

1. 재현 가능한 오프라인 합성 파이프라인: 고비용의 실시간 API 호출을 대체하여, 1500 만 개 문서 기반의 오프라인 환경에서 대규모 심층 연구 궤적을 합성하는 최초의 완전 오픈 소스 파이프라인을 제시합니다.
2. 심층 연구를 위한 명시적 브라우저 구조: 단순 검색을 넘어 'Open'과 'Find' 연산을 도입하여, 에이전트가 문서 내 증거를 명시적으로 위치시키고 검증하는 능력을 학습하도록 합니다.
3. 실증적 통찰 (Empirical Insights):
   • 데이터 필터링: 정답 유무가 아닌 궤적 구조 자체도 학습에 유용함을 발견했습니다 (틀린 궤적도 유용한 탐색 패턴을 제공함).
   • 코퍼스 커버리지: 오프라인 합성 시 골드 문서가 포함된 코퍼스 구축이 필수적임을 증명했습니다.
   • 검색 성공과 정답의 관계: 골드 문서를 검색 결과로만 찾는 것 (Search-hit) 과 실제로 문서를 열어 내용을 확인하는 것 (Open-hit) 사이에서 정답률에 큰 차이가 있음을 규명했습니다.

4. 실험 결과 (Results)

• BrowseComp-Plus (오프라인 벤치마크): OpenResearcher-30B-A3B 모델은 **54.8%**의 정확도를 기록했습니다. 이는 베이스 모델 (20.8%) 대비 +34.0%p 향상되었으며, GPT-4.1 (36.4%), Claude-4-Opus (36.8%) 등 강력한 상용 모델들을 능가했습니다.
• 실시간 웹 벤치마크 (BrowseComp, GAIA, xbench-DeepSearch): 오프라인 데이터로만 훈련된 모델이 실시간 웹 환경에서도 경쟁력 있는 성능 (BrowseComp 26.3%, GAIA 64.1%, xbench 65.0%) 을 보여주어, 오프라인 합성 데이터의 일반화 능력을 입증했습니다.
• 비용 효율성: 오프라인 검색을 사용하여 576 만 건의 검색 요청에 대한 비용을 $0으로 줄였으며 (API 사용 시 약 $28,800 예상), 병렬 처리와 재현성을 보장합니다.

5. 의의 및 결론 (Significance)

OpenResearcher 는 심층 연구 에이전트 개발의 장벽을 낮추는 중요한 이정표입니다.

• 접근성: 고비용의 상용 API 의존성을 탈피하여 연구 커뮤니티가 대규모 심층 연구 데이터를 자유롭게 생성하고 분석할 수 있게 합니다.
• 분석 가능성: 통제된 오프라인 환경을 통해 검색 실패 원인, 도구 사용 전략, 증거 노출과 정답 간의 인과관계 등을 정밀하게 분석할 수 있는 기반을 제공합니다.
• 미래 방향: 이 연구는 데이터 구축, 도구 설계, 실패 분석에 대한 체계적인 연구를 촉진하여, 더 강력하고 신뢰할 수 있는 자율적 연구 에이전트 개발을 위한 토대를 마련합니다.

요약하자면, OpenResearcher 는 비용과 재현성 문제를 해결하고, 명시적인 브라우저 인터랙션을 통해 고성능 오픈 소스 심층 연구 에이전트를 가능하게 한 혁신적인 프레임워크입니다.