기술 요약: MARS – 다중 에이전트 강화 학습을 통한 공진화하는 이중 시스템 딥 리서치

1. 문제 정의

대규모 추론 모델(LRM)은 복잡하고 지식 집약적인 과제를 수행할 때 두 가지 근본적인 한계에 직면합니다:

1. 정보 처리의 비효율성: 단순한 정보 처리 작업(예: 웹 페이지 분석 또는 논문 요약)을 수행할 때, LRM은 과도하게 분석하려는 경향이 있어 지나치게 많은 추론 토큰을 소비합니다. 이는 대규모 외부 정보를 처리하는 데 필요한 용량을 제한합니다.
2. 정적 지식: LRM은 훈련 데이터의 지식 컷오프에 국한되며, 외부 도구 없이는 최신 정보에 접근할 수 없습니다.

추론 모델과 외부 도구를 결합하는 기존 방식(예: WebThinker, Search-R1)은 일반적으로 고정되거나 독립적으로 훈련된 정보 처리기를 사용합니다. 이러한 처리기는 특정 다운스트림 추론 작업에 최적화되어 있지 않아, 프로세서가 너무 많은 무관한 정보를 제공하거나(과부하) 중요한 세부 정보를 놓치는(손실) 불일치가 발생합니다. 또한, 이러한 시스템은 정교하게 큐레이션된 궤적(trajectory)에 대한 지도 미세 조정(SFT)에 의존하는 경우가 많아 일반화 능력이 떨어지거나 효율적인 확장이 어려울 수 있습니다.

2. 방법론

저자들은 다중 에이전트 강화 학습(MARL)을 통해 단일 거대 언어 모델(LLM) 내에서 두 가지 인지 시스템의 공진화를 가능하게 하는 프레임워크인 **MARS (Multi-Agent System for Deep ReSearch)**를 제안합니다.

2.1 이중 시스템 협업 프레임워크

인간 인지의 이중 과정 이론(dual-process theory)에서 영감을 받은 MARS는 두 가지 시스템을 통합합니다:

• 시스템 1 (빠르고 직관적인 시스템): 고처리량 정보 처리를 담당합니다. 시스템 2가 제공하는 특정 "목적(purpose)"에 기반하여 원시 도구 출력(예: 검색 결과, 논문)에서 핵심 정보를 추출합니다.
• 시스템 2 (느리고 신중한 시스템): 전략적 추론, 계획 및 도구 호출을 담당합니다. 추론 컨텍스트를 유지하며 도구를 호출할 시점과 필요한 정보가 무엇인지 결정합니다.

워크플로우:

1. 시스템 2는 현재 컨텍스트를 분석하고 추론 단계를 생성하며, 선택적으로 특정 **목적($p_i$)**을 포함한 도구 호출을 요청합니다.
2. 외부 환경이 도구를 실행하여 가변 길이의 여러 문서를 포함할 수 있는 원시 출력을 반환합니다.
3. 빈 패킹(Bin-Packing): 가변 길이 출력을 효율적으로 처리하기 위해, First Fit Decreasing(FFD) 알고리즘을 사용하여 출력들을 최적의 크기로 묶습니다.
4. 시스템 1은 목적 $p_i$에 따라 이 묶음들을 병렬로 처리하여 정제된 정보($\tilde{o}_i$)를 추출합니다.
5. 정제된 정보는 시스템 2의 다음 턴을 위한 컨텍스트에 결합됩니다.

2.2 다중 에이전트 최적화 전략

저자들은 안정적이고 효과적인 공동 훈련을 보장하기 위해 세 가지 핵심 혁신을 통해 **그룹 상대 정책 최적화(GRPO)**를 다중 에이전트 설정으로 확장했습니다.

1. 디커플링된 그래디언트 계산 (Decoupled Gradient Computation): 시스템 1과 시스템 2는 동일한 궤적 수준의 보상을 공유하지만, 그래디언트 업데이트는 분리됩니다.

   • 시스템 2의 손실(loss)은 추론 및 계획 토큰에 대해서만 계산되며, 시스템 1의 출력 토큰은 마스킹됩니다.
   • 시스템 1의 손실은 빈 패킹된 입력을 조건으로 하여 그 자체의 추출 출력에 대해서만 계산됩니다.
   • 이를 통해 적절한 신용 할당(credit assignment)이 가능해집니다. 즉, 시스템 2는 더 나은 계획/목적을 학습하고, 시스템 1은 해당 목적에 특화된 추출 전략을 학습합니다.

2. 빈 패킹 최적화 (Bin-Packing Optimization): 시스템 1의 병렬 처리를 가능하게 하기 위해, 가변 길이의 도구 출력들을 길이에 따라 정렬하고 모델의 컨텍스트 창에 적합하도록 빈(bin)에 채웁니다. 이는 시스템 1이 수행해야 하는 생성 단계를 줄여줍니다.

3. 이점 가중치 균형 샘플링 (Advantage-Weighted Balanced Sampling): 롤아웃(rollout) 시, 시스템 2는 고정된 수의 샘플(궤적당 하나)을 생성하는 반면, 시스템 1은 가변적인 수의 샘플(도구 호출 및 빈 개수에 따라 다름)을 생성합니다. 한 시스템이 학습 과정을 지배하는 것을 방지하기 위해:

   • 그룹 내 모든 샘플에 대해 이점(advantage)을 사전 계산합니다.
   • 이후 시스템 1의 샘플을 다운샘플링하거나 (무작위 복제를 통해) 업샘플링하여 시스템 2의 샘플 수와 일치시킴으로써, 통계적 무결성을 유지하면서 균형 잡힌 최적화를 보장합니다.

2.3 훈련 설정: "Zero RL"

MARS의 핵심적인 측면은 훈련 체계입니다. 이는 "Zero RL" 설정 하에 작동합니다:

• 모델은 베이스 모델(예: Qwen2.5-7B 또는 Qwen3-8B)로부터 직접 훈련됩니다.
• **지도 미세 조정(SFT)**이나 더 강력한 모델로부터의 정책 증류(policy distillation)를 사용하지 않습니다.
• 이는 SFT 워밍업에 의존하는 WebThinker와 같은 베이스라인과 대조되며, 다중 에이전트 RL 프레임워크의 효능을 직접적으로 평가할 수 있게 합니다.

3. 주요 기여

1. 공진화 프레임워크: 공유된 궤적 보상을 통해 시스템 1(정보 처리)과 시스템 2(추론)가 공동으로 최적화되는 이중 시스템 프레임워크인 MARS를 도입했습니다. 이를 통해 시스템 1은 일반적인 요약이 아닌 태스크 관련 정보 추출을 학습합니다.
2. 다중 에이전트 RL를 위한 GRPO 적응: 안정적인 공동 훈련을 가능하게 하는 세 가지 특정 기술(신용 할당을 위한 디커플링된 그래디언트, 병렬 처리를 위한 빈 패킹, 이점 가중치 균형 샘플링)을 개발했습니다.
3. Zero RL 성능: SFT 없이도 8B 파라미터 모델이 SFT를 거친 더 큰 규모의 베이스라인을 능가하고 도전적인 벤치마크에서 독점적 모델(proprietary models)에 근접할 수 있음을 입증했습니다.

4. 실험 결과

저자들은 Humanity's Last Exam (HLE) 및 7개의 지식 집약적 QA 태스크를 포함한 여러 벤치마크에서 MARS를 평가했습니다.

• Humanity's Last Exam (HLE):

  • MARS (8B)는 **8.17%**의 정확도를 달성했습니다.
  • 이는 WebThinker (SFT를 적용한 32B, 6.87%)와 C-3PO (SFT를 적용한 72B, 5.79%)를 능가합니다.
  • 또한 Claude 3.7 Sonnet (7.89%) 및 o1 (7.75%)과 같은 독점적 모델과의 격차를 좁혔습니다.
  • 이러한 향상은 특정 도메인에 국한되지 않고 생물/의학, CS/AI, 수학 등 전 분야에 걸쳐 광범위하게 나타났습니다.

• 지식 집약적 QA 태스크:

  • MARS는 7개 태스크(NQ, TriviaQA, HotpotQA 등 포함)에서 C-3PO 베이스라인 대비 평균 **8.9%**의 향상을 기록했습니다.
  • 특히 멀티홉(multi-hop) 추론에서 큰 폭의 향상(+12.2% over C-3PO)을 보였으며, 이는 반복적인 검색-추론 과정을 요구하는 복잡한 추론 체인을 처리하는 프레임워크의 능력을 입증합니다.

• 절제 연구 (Ablation Studies):

  • 시스템 1 제거: 시스템 1을 제거하고 시스템 2가 원시 도구 출력을 직접 처리하게 했을 때, HLE 정확도가 1.91% 하락했습니다 (7.38% $\to$ 5.47%). 이는 시스템 1이 단순히 수동적인 요약기가 아니라, 태스크 관련 정보를 추출하기 위해 능동적으로 공진화함을 확인시켜 줍니다.
  • 도구 사용: 모델은 여러 도구(Search, Scholar, Python)를 효과적으로 활용하는 법을 배웁니다. 단 하나의 도구라도(특히 Search나 Python) 제거하면 특정 도메인에서 성능이 크게 저하되었습니다.
  • 훈련 역학: 분석 결과, 훈련이 진행됨에 따라 모델은 보수적인 "단발성(single-shot)" 검색에서 반복적인 증거 수집 단계로 전환되며, 시스템 1이 노이즈를 효과적으로 필터링하는 것을 보여주었습니다.

5. 의의 및 주장

본 논문은 MARS가 지도 미세 조정에 의존하지 않고 다중 에이전트 강화 학습을 통해 공진화하는 이중 시스템 아키텍처의 생존 가능성을 보여준다고 주장합니다.

• 효율성 vs. 용량: 이 프레임워크는 대량의 외부 정보를 처리하는 능력과 추론 품질 사이의 트레이드오프를 성공적으로 해결합니다. 시스템 1이 "읽기 부하"를 처리함으로써, 시스템 2는 컨텍스트 희석 없이 복잡한 추론에 집중할 수 있습니다.
• 학습된 전문화: 결과는 "최적의 정보 추출 전략"이 정적인 것이 아니라 추론 작업에 따라 달라짐을 시사합니다. 공진화를 통해 시스템 1은 시스템 2에게 유용한 통찰력을 추출하는 법을 배우며, 이는 고정된 프롬프트나 독립적인 훈련으로는 달성할 수 없는 능력입니다.
• 확장성: "Zero RL"의 성공은 다중 에이전트 RL 프레임워크 자체가 강력한 성능 동력임을 나타내며, 이는 거대한 모델 규모나 값비싼 SFT 데이터셋에 대한 의존도를 낮출 수 있음을 의미합니다.

저자들은 이 접근 방식이 최신 정보를 합성하는 동시에 강력한 다단계 추론을 유지할 수 있게 함으로써 딥 리서치의 신뢰성을 높이며, 교육 및 과학 문헌 검토 분야에 적용될 잠재력이 있다고 강조합니다. 또한 고위험 환경에서의 오정보 위험과 인간의 감독 필요성에 대해서도 언급하였습니다.