WideSeek-R1: Exploring Width Scaling for Broad Information Seeking via Multi-Agent Reinforcement Learning

이 논문은 수직적 확장 (깊이) 에 집중해 온 기존 LLM 접근법의 한계를 넘어, 다중 에이전트 강화학습을 통해 병렬 실행과 확장 가능한 오케스트레이션을 가능하게 하는 'WideSeek-R1'을 제안하여, 4B 파라미터 모델이 671B 단일 에이전트 모델과 comparable 한 성능을 내며 폭넓은 정보 검색 과제를 효과적으로 해결함을 보여줍니다.

핵심

와이드시크-R1 (WIDESEEK-R1): "한 명보다 열 명이 더 빠르다!"

이 논문은 최근 인공지능 (LLM) 이 어떻게 더 똑똑해져야 하는지에 대한 새로운 접근법을 제시합니다. 기존의 방식은 **"한 명의 천재가 더 깊이 생각하게 만드는 것"**이었다면, 이 논문은 **"여러 명의 전문가를 동시에 일하게 만드는 것"**이 더 효율적일 수 있다고 말합니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 문제: "한 명의 천재"는 왜 지칠까? (깊이 확장 vs 너비 확장)

지금까지 AI 를 발전시키는 방법은 주로 **'깊이 확장 (Depth Scaling)'**이었습니다.

• 비유: 마치 한 명의 천재 탐정이 사건을 해결하는 것과 같습니다. 그는 혼자서 모든 단서를 하나하나 조사하고, 밤새도록 고민하며 (여러 번의 대화), 복잡한 추리를 합니다.
• 한계: 하지만 조사해야 할 범위가 너무 넓어지면 (예: "전 세계의 모든 아이비리그 대학 정보를 표로 정리해줘"), 이 천재 탐정은 혼자서 모든 정보를 찾아야 하므로 시간이 너무 오래 걸리거나, 조사하다 보면 혼란에 빠져서 (컨텍스트 오염) 중요한 정보를 놓치게 됩니다.

이 논문은 여기서 **'너비 확장 (Width Scaling)'**이라는 새로운 길을 제안합니다.

• 비유: 이제 **한 명의 팀장 (리드 에이전트)**이 나서서 일을 분배합니다. 팀장은 직접 모든 것을 조사하지 않고, **여러 명의 조사원 (서브 에이전트)**에게 "너는 Harvard 정보 찾아줘, 너는 Yale 정보 찾아줘"라고 동시에 지시합니다.
• 효과: 여러 명이 동시에 일하므로 훨씬 빠르고, 각 조사원은 자신의 일만 집중하므로 실수가 줄어듭니다.

2. 해결책: WIDESEEK-R1 (팀워크를 배우는 AI)

기존에도 여러 AI 를 함께 쓰는 시스템이 있었지만, 대부분 **사람이 직접 "이렇게 일해라"라고 정해놓은 규칙 (워크플로우)**에 따라 움직였습니다. 마치 조종사가 직접 모든 버튼을 누르는 비행기 같았죠.

WIDESEEK-R1은 다릅니다.

• 비유: 이 시스템은 **스스로 팀워크를 배운 '스마트 팀'**입니다.
  • 팀장 (리드 에이전트): 복잡한 질문을 받아서 "이 일을 어떻게 쪼개서 여러 명이 동시에 할 수 있을까?"를 스스로 고민하고 일을 분배합니다.
  • 조사원 (서브 에이전트): 할당받은 일을 동시에 검색하고 정보를 찾아냅니다.
  • 학습 방법 (MARL): 처음에는 팀장도 조사원도 서툴러서 엉뚱한 일을 할 수 있습니다. 하지만 **보상 시스템 (상금)**을 통해 "잘한 팀은 상을 주고, 실패한 팀은 지적한다"는 식으로 수만 번의 연습을 시켰습니다. 그 결과, 팀원들끼리 자연스럽게 협력하는 법을 스스로 터득하게 되었습니다.

3. 놀라운 성과: 작은 모델이 거인을 이기다

이 논문의 가장 큰 놀라움은 크기입니다.

• 기존 방식 (DeepSeek-R1): 6710 억 개의 파라미터 (지식과 능력의 단위) 를 가진 거대 AI가 혼자서 모든 일을 했습니다. (비유: 거인)
• WIDESEEK-R1: 단 40 억 개의 파라미터를 가진 작은 AI 4B 모델을 팀으로 꾸렸습니다. (비유: 40 억 크기의 작은 인간 10 명 팀)

결과:

• 작은 AI 팀이 거인 AI 와 동일한 성능을 냈습니다!
• 게다가 팀원 수 (서브 에이전트) 를 더 늘리면 성능이 계속 좋아졌습니다. 하지만 거인 AI 는 혼자서 더 깊게 생각해도 성능이 더 이상 오르지 않는 한계 (포화 상태) 에 빠졌습니다.

4. 왜 이것이 중요한가요? (민주화된 AI)

• 비용 절감: 거대 AI 를 돌리려면 엄청난 전기와 비싼 컴퓨터가 필요합니다. 하지만 이 방법은 작은 AI 여러 개를 쓰면 되므로 훨씬 저렴합니다.
• 미래 지향: 앞으로 AI 는 "더 똑똑한 한 명"을 만드는 것보다, **"더 잘 협력하는 많은 개체"**를 만드는 방향으로 발전할 수 있음을 보여줍니다.

요약

이 논문은 **"혼자서 밤새워 고민하는 천재보다, 팀장에게 지시를 받고 동시에 일하는 전문가 팀이 더 빠르고 정확하다"**는 것을 증명했습니다. 특히, 이 팀워크는 사람이 규칙을 정해주는 게 아니라 AI 스스로 연습을 통해 배운 것이라서 더욱 혁신적입니다.

마치 한 명의 거인이 무거운 돌을 들어 올리는 대신, 작은 돌을 나르는 개미들이 협력하여 훨씬 더 큰 무언가를 해결하는 것과 같습니다. 🐜🏗️

기술 요약

1. 문제 정의 (Problem)

최근 대규모 언어 모델 (LLM) 의 발전은 주로 깊이 확장 (Depth Scaling) 에 집중되어 왔습니다. 이는 단일 에이전트가 긴 추론 과정 (Chain-of-Thought) 과 다단계 도구 사용을 통해 복잡한 문제를 해결하는 방식입니다. 그러나 작업의 범위가 넓어질수록 (예: 여러 엔티티의 정보를 수집하고 표로 정리하는 작업) 개별 에이전트의 능력보다는 조직적 능력 (Organizational Capability) 이 병목 현상이 됩니다.

기존의 단일 에이전트 방식은 다음과 같은 한계가 있습니다:

• 맥락 오염 (Context Pollution): 이전 서브태스크의 불필요한 정보가 누적되어 에이전트의 성능을 저하시킵니다.
• 순차적 실행의 비효율성: 독립적인 서브태스크를 한 번에 하나씩 처리해야 하므로 시간이 많이 소요됩니다.

또한, 기존 멀티 에이전트 시스템은 대부분 수동으로 설계된 워크플로우에 의존하거나, 에이전트 간의 교차 대화 (Turn-taking) 방식으로 인해 병렬 실행이 제한적입니다. 따라서 넓은 정보 탐색 (Broad Information Seeking) 과 같은 작업에 적합한 폭 확장 (Width Scaling) 을 위한 새로운 접근법이 필요합니다.

2. 방법론 (Methodology)

저자들은 WIDESEEK-R1을 제안하며, 이는 다중 에이전트 강화 학습 (MARL) 을 통해 훈련된 계층적 '리드 에이전트 - 서브에이전트' 프레임워크입니다.

핵심 아키텍처

• 리드 에이전트 (Lead Agent): 복잡한 작업을 독립적이고 병렬로 실행 가능한 서브태스크로 분해하고, 이를 서브에이전트에게 위임합니다. 리드 에이전트는 call_subagent 도구만 사용하도록 제한되어 맥락 오염을 방지하며, 서브에이전트들이 완료될 때까지 대기했다가 다음 단계를 진행합니다.
• 서브에이전트 (Subagents): 리드 에이전트로부터 할당된 작업을 병렬로 실행합니다. 각 서브에이전트는 격리된 컨텍스트에서 search(검색) 와 access(웹페이지 내용 요약) 도구를 사용하여 정보를 수집합니다.
• 공유 모델: 리드 에이전트와 모든 서브에이전트는 동일한 LLM (Qwen3-4B 기반) 을 공유하지만, 서로 다른 도구와 격리된 컨텍스트를 가집니다.

강화 학습 전략 (MARL)

기존 GRPO (Group Relative Policy Optimization) 를 멀티 에이전트 환경에 맞게 확장했습니다:

1. 그룹 수준 이점 할당 (Group-level Advantage Assignment): 각 멀티 에이전트 롤아웃 (Rollout) 에 대해 최종 결과 (정답 일치도) 로부터 하나의 이득 (Advantage) 을 계산하여 해당 그룹 내의 모든 에이전트와 토큰에 동일하게 적용합니다. 이는 복잡한 크레딧 할당 문제를 해결하고 학습 안정성을 높입니다.
2. 이중 수준 이점 재가중 (Dual-Level Advantage Reweighting):
   • 토큰 수준: 여러 턴에 걸친 토큰 수를 고려하여 가중치를 조정합니다.
   • 에이전트 수준: 서브에이전트 수가 많은 경우 그래디언트를 지배하는 것을 방지하고, 리드 에이전트가 무의미하게 에이전트를 생성하는 것을 억제하기 위해 에이전트 간 평균을 적용합니다.

데이터 구축

폭 확장을 학습하기 위해 2 만 개 (20k) 의 대규모 '넓은 정보 탐색' 데이터셋을 자동화 파이프라인을 통해 구축했습니다.

• 생성 과정: HybridQA 데이터에서 사용자 의도를 추출하여, 특정 수의 행 (10~50 개) 을 가진 표 형식의 복잡한 쿼리를 생성합니다.
• 검증: 두 개의 독립적인 답변을 생성하여 일관성을 확인하고, 셀 단위 매칭을 통해 품질이 낮은 데이터를 필터링합니다.

3. 주요 기여 (Key Contributions)

1. WIDESEEK-R1 프레임워크: MARL 을 통해 확장 가능한 오케스트레이션 (리드 에이전트) 과 병렬 실행 (서브 에이전트) 을 동시에 최적화하는 새로운 멀티 에이전트 시스템 제안.
2. 대규모 데이터셋 공개: 기존 멀티 홉 (Multi-hop) 데이터셋을 보완하는 2 만 개의 넓은 정보 탐색 태스크로 구성된 데이터셋 공개.
3. 폭 확장 (Width Scaling) 의 유효성 입증: 파라미터 수가 적은 모델 (4B) 이 단일 에이전트 거대 모델 (671B) 과 유사한 성능을 내며, 병렬 에이전트 수 증가에 따라 성능이 지속적으로 향상됨을 증명.

4. 실험 결과 (Results)

WideSearch 벤치마크 및 일반 QA 벤치마크에서 다음과 같은 결과를 달성했습니다:

• 성능 비교:
  • WIDESEEK-R1-4B는 WideSearch 벤치마크에서 **Item F1 점수 40.0%**를 기록했습니다.
  • 이는 단일 에이전트인 DeepSeek-R1-671B(6710 억 파라미터) 의 성능 (41.3%) 과 거의 동등하며, 4B/8B 기반의 기존 멀티 에이전트 베이스라인 (Qwen3-4B, AgentFlow 등) 을 크게 상회합니다.
  • 파라미터 효율성: DeepSeek-R1-671B 대비 약 170 배 적은 파라미터로 유사한 성능을 달성했습니다.
• 확장성 분석 (Scaling Behavior):
  • 깊이 확장 (Depth Scaling): 단일 에이전트의 턴 수를 늘려도 성능이 빠르게 정체됩니다.
  • 폭 확장 (Width Scaling): WIDESEEK-R1-4B 는 병렬 서브에이전트 수가 증가함에 따라 (최대 10 개까지) 일관된 성능 향상을 보입니다. 반면, 훈련되지 않은 베이스 모델은 에이전트 수가 증가할 때 노이즈가 쌓여 성능이 저하됩니다.
• 일반화 능력: 단일 홉 및 멀티 홉 QA 벤치마크 (NQ, HotpotQA 등) 에서도 기존 단일 에이전트 및 멀티 에이전트 모델보다 우수한 성능을 보여, 폭 확장이 일반 추론 능력을 해치지 않음을 입증했습니다.

5. 의의 및 결론 (Significance)

이 연구는 LLM 의 확장 전략을 '개별 능력 (Depth)'에서 '조직적 능력 (Width)'으로 전환할 필요성을 강조합니다.

• 효율적인 협업 아키텍처: 거대 모델을 사용하는 대신, 작은 모델들을 병렬로 조직화하고 MARL 로 훈련함으로써 비용 효율적이면서도 고성능의 정보 탐색 시스템을 구축할 수 있음을 보여줍니다.
• AI 민주화: 수천 억 파라미터 모델에 필적하는 성능을 40 억 파라미터 모델로 달성함으로써, 제한된 컴퓨팅 자원을 가진 연구자나 조직도 고급 추론 능력을 활용할 수 있는 길을 열었습니다.
• 미래 방향: 단일 에이전트의 한계를 넘어, 복잡한 문제를 해결하기 위한 효율적이고 병렬화된 에이전트 조직에 대한 연구의 새로운 지평을 제시합니다.

요약하자면, WIDESEEK-R1은 다중 에이전트 강화 학습을 통해 '넓은 정보 탐색'이라는 과제를 해결하기 위해 병렬 실행과 지휘 체계를 최적화한 혁신적인 접근법으로, 파라미터 크기에 구애받지 않는 새로운 확장 패러다임을 제시합니다.