OpenSeeker: Democratizing Frontier Search Agents by Fully Open-Sourcing Training Data

OpenSeeker 는 웹 그래프 역추적 기반의 사실 기반 확장형 QA 합성과 노이즈 제거 궤적 합성 기술을 통해 1 만 1,700 개의 합성 데이터만으로 산업계 선두 주자를 능가하는 최첨단 검색 에이전트 성능을 달성하고 모델과 전 데이터를 완전 오픈소스로 공개하여 연구 생태계를 민주화합니다.

핵심

🌐 오픈시커 (OpenSeeker): 인터넷 검색의 '비밀 레시피'를 모두 공개한 학자들의 도전

이 논문은 **"고성능 AI 검색 에이전트를 만드는 데 필요한 최고의 데이터와 방법론을, 대기업이 독점하지 않고 누구나 쓸 수 있게 공개했다"**는 매우 획기적인 소식을 전합니다.

기존에는 구글, 오픈AI 같은 거대 기업들만 막대한 자금과 비공개 데이터를 바탕으로 '초능력의 검색 AI'를 만들어 왔습니다. 하지만 이 연구팀은 **"데이터의 비밀을 공개하면, 학계와 일반인들도 그들과 어깨를 나란히 할 수 있다"**는 것을 증명했습니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 문제 상황: "비밀 레시피를 가진 셰프들" 🍳

지금까지 인터넷에서 복잡한 정보를 찾아주는 AI(검색 에이전트)를 만드는 것은 **'비밀 레시피'**를 가진 거대 기업들만의 게임이었습니다.

• 상황: 일반인들은 "어떻게 하면 AI 가 복잡한 문제를 해결하게 할까?"라고 궁금해했지만, 정답인 '고퀄리티 학습 데이터'는 기업들이 금고에 잠가두고 있었습니다.
• 결과: 학계나 작은 연구실에서는 좋은 AI 를 만들지 못해, AI 검색 기술 발전이 멈춰 있었습니다.

2. 해결책: "오픈시커 (OpenSeeker)"의 등장 🚀

서울대학교 (SJTU) 연구팀은 **"우리가 직접 최고의 레시피를 만들고, 그걸 모두 공개해버리겠다!"**라고 선언하며 OpenSeeker를 만들었습니다.

• 핵심: 모델 코드뿐만 아니라, **AI 를 가르친 모든 데이터 (질문, 답변, 검색 과정)**를 완전히 공개했습니다.
• 성과: 단순한 학습 (SFT) 만으로, 수천 억 원의 예산을 들인 대기업 AI 들보다 더 잘하는 성과를 냈습니다.

---

3. 어떻게 그렇게 잘 만들었을까? (두 가지 마법) 🪄

이 연구팀은 AI 를 가르칠 때 두 가지 독특한 방법을 썼습니다.

① "미로 만들기 공방" (Fact-grounded QA Synthesis) 🕸️

• 기존 방식: AI 에게 "사과가 몇 원이야?" 같은 쉬운 질문만 주면, AI 는 인터넷을 검색할 필요 없이 머릿속 지식으로 답합니다.
• OpenSeeker 의 방법:
  1. 미로 설계: 인터넷이라는 거대한 지도 (그래프) 에서 서로 연결된 페이지들을 찾아냅니다.
  2. 정보 은폐 (Obfuscation): 중요한 단어를 "어떤 유명한 과일"처럼 모호하게 바꿔서 질문을 만듭니다.
  3. 결과: AI 는 정답을 찾으려면 여러 단계를 거쳐 (A 페이지 → B 페이지 → C 페이지) 정보를 연결해야만 합니다. 마치 미로 찾기 게임을 풀듯이 복잡한 추론을 하도록 훈련시킨 것입니다.
  • 비유: 단순히 "서울타워 높이가 뭐야?"라고 묻는 게 아니라, "2010 년에 서울타워 옆에 생긴 식당에서 먹은 메뉴 중 가장 비싼 메뉴의 가격을 찾아줘"처럼, 여러 단계를 거쳐야만 답이 나오는 문제를 대량으로 만들어낸 것입니다.

② "소음 제거 이어폰" (Denoised Trajectory Synthesis) 🎧

• 기존 방식: 인터넷 검색 결과를 AI 에게 그대로 보여주면, 광고나 관련 없는 글 (소음) 이 너무 많아 AI 가 헷갈립니다.
• OpenSeeker 의 방법:
  1. 선생님 (Teacher): AI 가 검색할 때, 중요한 내용만 요약해서 정리된 깨끗한 정보를 보고 정답을 찾게 합니다. (이때는 소음이 없습니다.)
  2. 학생 (Student): 실제 학습할 때는 광고와 소음이 가득한 원본 정보를 보여줍니다.
  3. 효과: 학생 AI 는 "선생님은 깨끗한 정보로 답을 찾았는데, 나는 이 messy 한 정보에서도 똑같은 답을 찾아야 해!"라고 학습합니다.
  • 비유: 시끄러운 카페에서 대화하는 훈련입니다. 선생님 (AI) 은 조용한 방에서 정답을 외우고, 학생 (학습 중인 AI) 은 시끄러운 카페 소음 속에서 그 정답을 찾아내도록 훈련시켜, 소음 속에서도 핵심을 찾아내는 능력을 길러줍니다.

---

4. 놀라운 결과: "작은 팀이 거인을 이겼다" 🏆

이 연구팀은 단 11,700 개의 데이터만으로 AI 를 훈련시켰습니다. (대기업들은 보통 수백만, 수천만 개의 데이터를 쓰거나, 더 복잡한 학습 과정을 거칩니다.)

• 중국어 검색 (BrowseComp-ZH): 알리바바의 '통의 딥리서치' (수천억 원 투자, 복잡한 학습 과정) 보다 **더 좋은 점수 (48.4 vs 46.7)**를 받았습니다.
• 영어 검색: 다른 오픈소스 모델들보다 압도적으로 잘했습니다.
• 의의: "데이터의 양"보다 **"데이터의 질 (어떻게 만들었는가)"**이 훨씬 중요하다는 것을 증명했습니다.

---

5. 결론: "모두를 위한 검색 기술" 🌍

이 논문은 단순히 AI 성능을 높인 것을 넘어, AI 기술의 민주화를 의미합니다.

• 과거: "우리가 가진 비싼 데이터를 안 알려주니까 너희는 못 해." (대기업의 독점)
• 현재 (OpenSeeker): "우리가 최고의 레시피와 재료를 다 공개했으니, 너희도 함께 발전하자." (학계와 대중의 참여)

한 줄 요약:

"거대 기업들이 독점하던 '고성능 검색 AI'의 비법을, 학자들이 직접 최고의 레시피로 만들어 전 세계에 무료로 공개했습니다. 이제 누구나 이 레시피로 더 똑똑한 AI 를 만들 수 있습니다."

이제부터는 누구나 이 데이터를 활용해 더 나은 AI 검색 기술을 개발할 수 있게 되었습니다. 이것이 바로 OpenSeeker가 가져온 혁명입니다.

기술 요약

OpenSeeker: 완전한 오픈소스 학습 데이터를 통한 최첨단 검색 에이전트의 민주화

1. 문제 정의 (Problem)

최근 대규모 언어 모델 (LLM) 에이전트 분야에서 '딥 서치 (Deep Search)' 능력은 필수적인 역량이 되었으나, 고성능 검색 에이전트 개발은 구글, OpenAI 등 거대 기업에 의해 독점되고 있습니다. 그 핵심 원인은 투명하고 고품질의 학습 데이터 부재입니다.

• 데이터 장벽: 기존 오픈소스 모델들은 가중치만 공개하거나 데이터의 일부만 공개하며, 완전한 학습 데이터 (질문 - 답변 쌍 및 추론 궤적) 를 공개하지 않아 연구 커뮤니티의 혁신을 저해했습니다.
• 기존 오픈소스의 한계: 기존 연구들은 데이터 품질이 낮거나, 단순한 검색 패턴 매칭에 그쳐 복잡한 다단계 추론 (Multi-hop reasoning) 을 수행하지 못했습니다.
• 목표: 산업계 수준의 성능을 내면서도, 학습 데이터와 모델 가중치를 완전히 공개하여 검색 에이전트 연구의 민주화를 실현하는 것입니다.

2. 방법론 (Methodology)

OpenSeeker 는 두 가지 핵심 기술 혁신을 통해 고품질의 학습 데이터를 자동 생성하고, 이를 기반으로 모델을 학습시킵니다.

가. 사실 기반 확장 가능 제어형 QA 합성 (Fact-grounded Scalable Controllable QA Synthesis)
단순한 검색이 아닌 복잡한 다단계 추론을 요구하는 질문을 생성하기 위해 웹 그래프를 역공학 (Reverse-engineering) 합니다.

1. 그래프 확장 (Graph Expansion): 웹 코퍼스에서 시드 (Seed) 페이지를 샘플링하고, 이를 기반으로 연결된 페이지들을 탐색하여 지역적 의존성 서브그래프를 구성합니다.
2. 엔티티 추출 (Entity Extraction): 서브그래프의 핵심 주제를 추출하고, 관련 엔티티들을 구조화된 '엔티티 서브그래프'로 정제하여 텍스트 노이즈를 제거합니다.
3. 질문 생성 및 은폐 (Question Generation & Obfuscation):
   • 생성된 구조를 기반으로 다단계 추론이 필수적인 초기 질문을 생성합니다.
   • 엔티티 은폐: 구체적인 엔티티를 모호한 설명으로 변환하여 에이전트가 키워드 검색으로 단계를 건너뛰는 것을 방지하고, 실제 그래프 탐색을 강제합니다.
4. 이중 기준 검증 (Dual-Criteria Verification):
   • 난이도: 기본 모델이 외부 도구 없이 (Closed-book) 정답을 낼 수 없어야 함.
   • 해결 가능성: 엔티티 서브그래프 전체를 문맥으로 제공했을 때 (Oracle) 정답을 도출할 수 있어야 함 (논리적 일관성).

나. 노이즈 제거 궤적 합성 (Denoised Trajectory Synthesis)
웹 검색 중 발생하는 방대한 노이즈 (불필요한 정보) 를 처리하는 능력을 학습시키기 위해 '교사 - 학생 (Teacher-Student)' 비대칭 학습 방식을 도입합니다.

1. 합성 단계 (Teacher): 과거 도구 응답을 요약 (Summarization) 하여 정제된 문맥 (Denoised History) 을 제공함으로써, 교사 모델이 고품질의 추론과 행동 (Tool Call) 을 생성하도록 유도합니다.
2. 학습 단계 (Student): 최종 학습 데이터에서는 요약된 문맥 대신 원본의 거친 (Raw) 도구 응답을 제공합니다.
3. 효과: 모델은 정제된 답안 (Teacher 의 출력) 을 예측하되, 입력은 노이즈가 많은 원본 데이터이므로, 모델이 스스로 노이즈를 제거하고 핵심 정보를 추출하는 능력을 내재화하게 됩니다.

3. 주요 기여 (Key Contributions)

1. 완전한 오픈소스: 모델 가중치뿐만 아니라 **전체 학습 데이터 (11.7k 개의 합성된 QA 쌍 및 전체 궤적)**를 공개했습니다. 이는 순수 학술 팀이 최첨단 성능을 달성하면서 데이터를 완전히 공개한 첫 사례입니다.
2. 고성능 데이터 생성 기술: 사실 기반 확장 가능 제어형 QA 합성과 노이즈 제거 궤적 합성 기술을 통해 산업계 수준의 고품질 데이터를 자동 생성하는 파이프라인을 제시했습니다.
3. 단순 SFT 로 달성한 SOTA: 복잡한 강화학습 (RL) 이나 지속적인 사전 학습 (CPT) 없이, **단순한 지도 미세조정 (SFT)**만으로 오픈소스 및 폐쇄형 모델들을 능가하는 성능을 달성했습니다.

4. 실험 결과 (Results)

OpenSeeker-v1-30B-SFT 모델은 11.7k 개의 합성 샘플로 단일 학습 실행 (Single training run) 을 통해 여러 벤치마크에서 최첨단 (SOTA) 성능을 기록했습니다.

• 주요 벤치마크 성능:
  • BrowseComp-ZH (중국어): 48.4 점 (Alibaba 의 Tongyi DeepResearch(46.7 점) 보다 우위, Tongyi 는 CPT+SFT+RL 을 사용함).
  • BrowseComp (영어): 29.5 점 (기존 오픈소스 모델인 DeepDive-32B 의 15.3 점 대비 압도적 우위).
  • xbench-DeepSearch: 74.0 점.
  • WideSearch: 59.4 점.
• 비교 분석:
  • 동급의 30B 파라미터 모델 중 SFT 만을 사용한 모델들 중 가장 높은 평균 성능을 보였습니다.
  • 데이터 양이 비슷하거나 적은 (10k~15k) 다른 오픈소스 데이터셋 (WebSailor, WebLeaper 등) 과 비교했을 때 모든 벤치마크에서 우월한 성능을 입증했습니다.
  • 특히 중국어 데이터는 샘플 수 (1.4k) 가 적음에도 불구하고, 평균 토큰 수와 도구 호출 횟수에서 벤치마크보다 훨씬 복잡한 난이도를 가지며 높은 성능을 발휘했습니다.

5. 의의 및 결론 (Significance)

• 기업의 데이터 독점 타파: 고수익 기업들이 '데이터 해자 (Data Moat)'로 삼고 있던 고성능 검색 에이전트 개발의 핵심 자원을 오픈소스화하여, 학술계와 개발자들이 산업계 수준의 기술을 재현하고 발전시킬 수 있는 기반을 마련했습니다.
• 데이터의 질이 양보다 중요함: 적은 양의 고품질 합성 데이터 (11.7k) 가 방대한 양의 저품질 데이터나 복잡한 학습 파이프라인 (RL 등) 보다 효과적임을 입증했습니다.
• 미래 지향성: OpenSeeker 는 검색 에이전트 연구의 투명성과 협력을 촉진하며, 향후 더 복잡한 에이전트 프레임워크 개발을 위한 촉매제 역할을 할 것으로 기대됩니다.

요약: OpenSeeker 는 웹 그래프 구조를 역이용한 정교한 데이터 합성 기술과 노이즈 제거 학습 전략을 통해, 단순한 SFT 만으로도 산업계 최고 수준의 검색 에이전트 성능을 달성하고 이를 전적으로 오픈소스화한 획기적인 연구입니다.