기술 요약: SearchSwarm – 에이전트형 LLM의 심층 연구를 위한 장기적 과제 수행용 위임 지능(Delegation Intelligence)을 향하여

1. 문제 정의

대규모 언어 모델(LLM)은 심층 연구와 같이 요구되는 컨텍스트가 무한히 확장될 수 있는 복잡하고 장기적인 실세계 과제를 수행하는 에이전트로 점점 더 많이 배치되고 있습니다. 그러나 모델의 컨텍스트 창은 본질적으로 유한합니다. 기존의 컨텍스트 관리 전략은 대부분 수동적입니다. 즉, 특정 길이에 도달하면 대화 이력을 요약하거나, 고정된 규칙에 따라 과거의 관찰 내용을 무차별적으로 폐기합니다. 이러한 방식은 사전 계획이 결여되어 있으며, 일관된 추론에 필요한 핵심 정보를 유지하는 데 종종 실패합니다.

메인 에이전트가 작업을 분해하고 하위 태스크를 하위 에이전트에게 위임하는 패러다임이 더 능동적인 해결책을 제공할 수 있지만, 이를 효과적으로 실행하려면 **위임 지능(delegation intelligence)**이 필요합니다. 이 능력은 다음을 포함합니다:

1. 복잡한 과제를 관리 가능한 하위 태스크로 분해하기.
2. 언제 그리고 무엇을 위임할지 결정하기.
3. 반환된 결과를 진행 중인 워크플로우에 통합하기.

이러한 특정 능력을 위한 학습 데이터는 자연 발생적인 텍스트에서 매우 희귀합니다. 자연어 코퍼스는 명시적인 다중 에이전트 협업을 거의 보여주지 않기 때문입니다. 따라서 이러한 데이터를 어떻게 합성하고 모델이 위임 지능을 습득하도록 훈련할 것인지에 대한 방법론은 오픈 소스 커뮤니티에서 여전히 미개척 영역으로 남아 있습니다.

2. 방법론

저자들은 심층 연구 맥락에서 위임 지능을 위한 학습 데이터를 구축하기 위해 설계된 프레임워크인 SearchSwarm을 제시합니다. 이 접근 방식은 독립적인 컨텍스트 내에서 호출되는 단일 모델 인스턴스를 사용하는 "메인-분배, 서브-실행(main-distributes, sub-executes)" 패러다임을 따릅니다.

2.1 하네스(Harness) 설계

본 방법론의 핵심은 추론 시 고품질의 위임 동작을 유도하기 위해 설계된 하네스(도구 인터페이스와 시스템 프롬프트의 조합)입니다. 이 하네스는 네 가지 핵심 원칙을 강제합니다:

• 위임 권장: 메인 에이전트는 토큰 소모가 크고 인지적으로 낮은 수준의 작업(예: 다단계 정보 수집)을 하위 에이전트에게 오프로드하도록 유도됩니다. 이는 메인 에이전트의 제한된 컨텍스트를 고수준의 계획, 검증 및 합성을 위해 보존하기 위함입니다.
• 포괄적인 브리핑: 하위 에이전트는 이전 단계에 대한 기억이 없는 새로운 컨텍스트에서 작동합니다. 하네스는 메인 에이전트가 하위 태스크 설명, 전체 목표와의 관련성, 확립된 사실, 남은 불확실성, 이미 탐색된 방향을 포함한 상세한 브리프(brief)를 작성하도록 요구합니다. 이는 하위 에이전트를 메인 에이전트의 진행 상황과 일치시킵니다.
• 핵심 판단 유지: 메인 에이전트는 연구 전체에 대한 완전한 뷰를 가진 유일한 개체로 남습니다. 메인 에이전트는 방향성 결정(예: 어떤 가설을 추구할지, 언제 종료할지)을 책임지며, 하위 에이전트의 결과를 맹목적으로 신뢰하기보다 검증해야 합니다.
• 인용 기반 보고: 환각을 방 prevention하고 검증을 가능하게 하기 위해, 하위 에이전트는 보고서의 모든 중요한 결론에 인라인 인용을 첨부하도록 제한됩니다. 이를 통해 메인 에이전트는 결론을 특정 소스 URL로 추적할 수 있습니다.

2.2 데이터 합성 및 훈련

하네스를 사용하여 저자들은 지도 미세 조정(SFT) 데이터를 합성합니다:

1. 궤적 수집(Trajectory Collection): 모델은 하네스 가이드에 따라 심층 연구 과제를 수행합니다. 궤적은 두 가지 구성에서 수집됩니다: (a) 메인과 서브 에이전트 역할을 모두 수행하는 단일 모델, (b) 더 강력한 모델을 메인 에이전트로, 더 약한 모델을 서브 에이전트로 쌍을 지어 메인 에이전트가 더 엄격한 통제를 행사하도록 하는 구성.
2. 필터링: 최종 정답이 올바른 궤적만을 유지합니다. 서브 에이전트 궤적은 대응하는 메인 궤적이 정답인 경우에만 유지됩니다. 바람직하지 않은 동작(예: 반복적인 도구 호출, 환각된 인용)은 제거됩니다.
3. 미세 조정: 베이스 모델은 환경 마스킹(environment masking)을 사용한 다음 토큰 예측(next-token prediction)을 통해 미세 조정됩니다. 손실(loss)은 모델 출력(사고 및 도구 호출)에 대해서만 계산되며 환경 반환값에 대해서는 계산되지 않습니다. 이는 모델이 관찰된 컨텍스트를 바탕으로 적절한 추론과 도구 호출을 생성하는 법을 배우도록 보장합니다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 합니다:

1. 위임 지능의 탐구: 초장기적 horizon 과제를 위한 위임 지능의 첫 번째 탐구 중 하나를 제시하며, 오픈 소스 커뮤니티를 위해 완전한 레시피(하네스, 데이터 구축, 훈련)를 제공합니다.
2. 고성능 모델: 결과물인 SearchSwarm-30B-A3B는 4개의 주요 벤치마크에서 유사한 규모(30B 파라미터)의 모든 모델 중 최고 수준의 성능을 달야냅니다.
3. 오픈 소스 공개: 저자들은 위임 지능 및 다중 에이전트 협업에 대한 향후 연구를 촉진하기 위해 하네스, 모델 가중치 및 학습 데이터를 공개합니다.

4. 실험 결과

SearchSwarm-30B-A3B는 BrowseComp, BrowseComp-ZH, GAIA, xbench-DeepSearch-2505의 네 가지 벤치마크를 통해 평가되었습니다.

• 성능:
  • BrowseComp: 68.1 (30B 모델 중 최고; MiroThinker-1.7-mini의 67.9를 상회).
  • BrowseComp-ZH: 73.3 (30B 모델 중 최고; MiroThinker-1.7-mini의 72.3을 상회).
  • GAIA: 82.5 (30B 모델 중 최고; MiroThinker-1.7-mini의 80.3을 상회).
  • xbench-DeepSearch-2505: 80.8 (30B 모델 중 최고; LongSeeker의 78.0을 상회).
• 경쟁력: 이 모델은 10배 이상 큰 모델들(예: DeepSeek V3.2, GPT-5.2-Thinking)과 경쟁할 수 있는 수준이며, 특정 지표에서는 여러 더 큰 폐쇄형 모델들을 능가합니다.
• 절제 연구(Ablation Studies):
  • 하네스의 효과: 베이스 모델에 단순히 위임 도구를 추가했을 때는 완만한 개선(+2.3 포인트)을 보였으나, 전체 하네스 설계 원칙을 적용했을 때는 상당한 이득(+베이스 프레임워크 대비 +10.0 포인트)을 얻었습니다.
  • 일반화: 학습된 위임 지능은 서브 에이전트 도구가 비활성화된 단일 에이전트 설정에서도 일반화되어, 명시적인 서브 에이전트 사용 없이도 베이스 모델보다 높은 성능을 보였습니다. 또한, 학습 데이터가 단답형 쿼리로만 구성되었음에도 불구하고 개방형 심층 연구 과제로 일반화되었습니다.

5. 의의 및 주장

본 논문은 위임 지능이 장기적 과제의 컨텍스트를 관리하는 데 있어 핵심적인 능력이라고 주장합니다. 모델이 과제를 지능적으로 분해하고, 서브 에이전트에게 포괄적인 컨텍스트를 제공하며, 결과를 검증하도록 훈련함으로써, 경량 모델(30B)이 훨씬 더 큰 프런티어 시스템에 필적하는 성능을 달성할 수 있음을 보여줍니다.

저자들은 위임이 단순한 작업 전달이 아니라, 모델이 고정된 규칙 기반의 절단에 의존하는 대신 모델이 생성한 브리프와 보고서를 사용하여 자신의 컨텍스트를 능동적으로 압축하는 정교한 형태의 컨텍스트 관리임을 강조합니다. 하네스, 데이터, 가중치를 포함한 전체 파이프라인의 공개는 다중 에이전트 협업 및 위임 전략에 대한 연구를 민주화하는 것을 목표로 합니다.

이 연구는 본 결과가 해당 규모에서 최고 수준임을 인정하면서도, 위임 지능 분야는 아직 초기 단계이며 스케일링 법칙(scaling laws) 및 더 복잡한 협업 패턴에 대한 추가적인 조사가 필요함을 밝히며 예비적 탐구로서의 위치를 정립합니다.