💬 NLP

A-MapReduce: Executing Wide Search via Agentic MapReduce

A-MapReduce는 광범위한 탐색 작업을 병렬적이고 수평적으로 구조화된 검색 프로세스로 변환하기 위해 MapReduce 패러다임을 활용함으로써, 기존의 순차적 에이전트 시스템보다 뛰어난 성능과 상당한 효율성 향상을 달성하는 새로운 멀티 에이전트 프레임워크입니다.

원저자: Mingju Chen, Guibin Zhang, Heng Chang, Yuchen Guo, Shiji Zhou

게시일 2026-02-03

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Mingju Chen, Guibin Zhang, Heng Chang, Yuchen Guo, Shiji Zhou

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

다음은 논문 **A-MapReduce: Agentic MapReduce를 통한 광범위한 탐색 실행(Executing Wide Search via Agentic MapReduce)**의 내용을 일상적인 비유를 사용하여 쉬운 개념으로 풀어낸 설명입니다.

거대한 문제: "끝없는 복도" vs "도서관"

매우 똑똑한 비서(AI 에이전트)에게 많은 정보를 찾아야 하는 질문을 던졌다고 상상해 보세요.

**심층 탐색(Deep Search)**은 비서에게 복잡한 수학 문제를 풀어달라고 요청하는 것과 같습니다. 비서는 논리 구조를 따라 한 단계씩, 차례대로 깊게 파고듭니다. 이는 효과적입니다.
**광범위 탐색(Wide Search)**은 비서에게 이렇게 묻는 것과 같습니다: "파리에 있는 맛집 100곳의 이름, 주소, 그리고 별점을 찾아줘."

현재의 AI 시스템은 이 "광범위 탐색"을 수행할 때도 심층 사고를 할 때와 같은 방식으로 처리하려고 합니다. 즉, 긴 복도를 걸어가며 식당 하나를 확인하고, 그다음 식당을 확인하고, 또 그다음 식당을 확인하는 식으로 한 줄로 길게 늘어서서 작업합니다.

문제점: 목록이 방대해지면 비서는 길을 잃습니다. 이전에 찾았던 것을 잊어버리거나, 같은 식당을 두 번 방문하거나, 목록을 다 마치기도 전에 시간이 다 되어버립니다. 이는 마치 거대한 도서관을 청소할 때, 한 통로씩 지나가며 청소하다가 지쳐서 이미 확인했던 책을 잊어버리는 것과 같습니다.

해결책: A-MapReduce ( "조립 라인" 방식)

저자들은 A-MapReduce라는 새로운 프레임워크를 제안합니다. 이들은 컴퓨터 과학의 개념(MapReduce)을 AI 에이전트에 적용했습니다.

A-MapReduce를 한 명의 사람이 복도를 걷는 것이 아니라, 고도로 조직화된 공장의 조립 라인이라고 생각해보세요.

1. "맵(Map)" 단계: 분해하기

단일 에이전트가 모든 것을 수행하는 대신, 시스템은 프로젝트 매니저 역할을 합니다.

비유: 1,000개의 상자를 포장해야 한다고 가정해 봅시다. 한 사람이 상자 하나씩 옮기는 대신, 프로젝트 매니저는 1,000개의 상자 전체 목록(즉, "작업 행렬/Task Matrix")을 만듭히다.
수행 내용: 매니저는 큰 질문("맛집 100곳 찾기")을 100개의 작고 구체적인 작업("식당 A 정보 찾기", "식당 B 정보 찾기")으로 나눕니다.
핵심 기술: 단순히 목록을 만드는 데 그치지 않고, 가장 효율적인 그룹화 방법을 찾아냅니다. 예를 들어, 에이전트들이 멀리 이동하지 않도록 동네별로 그룹을 묶을 수 있습니다. 이를 **적응형 배치(Adaptive Batching)**라고 합니다.

2. "리듀스(Reduce)" 단계: 합치기

비유: 10명의 작업자(탐색 에이전트)가 동시에(병렬로) 100개의 상자를 포장하면, 이들은 모두 중앙 스테이션으로 상자를 가져옵니다.
수행 내용: "리듀서(Reducer)" 에이전트는 이 분리된 정보 조각들을 가져와 하나의 완벽하고 정리된 표로 결합합니다. 만약 정보가 누락되었다면, 시스템은 처음부터 다시 시작하는 대신 정확히 어떤 상자를 열어 수정해야 하는지 파악합니다.

핵심 비결: "경험 메모리(Experience Memory)"

이 논문은 **경험 메모리(Experiential Memory)**라는 특별한 기능을 소개합니다. 이것은 인간 교사 없이도 시스템이 스스로 "실수를 통해 배우는" 방법입니다.

비유: 같은 요리를 100번 해본 베테랑 셰프를 상상해 보세요.
- 메모리가 없다면: 요리를 요청할 때마다 셰프는 처음부터 다시 시작합니다. 지난번에 토스트를 태웠거나 향신료를 빠뜨렸던 일을 기억하지 못하기 때문입니다.
- 메모리가 있다면: 셰프에게는 "레시피 노트"가 있습니다. 요리를 시작하기 전, 셰프는 노트를 확인합니다. 노트에는 이렇게 적혀 있습니다: "지난번에는 재료를 색깔별로 분류했더니 10분을 단축했다. 또한 오븐 온도를 확인하는 것을 잊었으니 이번에는 그것을 고치자."
논문에서의 작동 방식:
- 시스템은 작업을 마칠 때마다 무엇이 잘 되었고 무엇이 잘못되었는지에 대한 기록을 저장합니다.
- 다음에 유사한 질문을 받으면, 시스템은 이 기록을 꺼내 봅니다.
- 이 기록을 바탕으로 다음과 같이 결정합니다: "작업자를 10명 보낼까, 50명 보낼까? 도시별로 묶을까, 가격대별로 묶을까?"
- 시간이 흐를수록 시스템은 과거의 경험을 바탕으로 자신의 "조립 라인"을 끊임없이 개선하며 더 빠르고, 저렴하며, 정확해집니다.

왜 중요한가 (결과)

이 논문은 다섯 가지 벤치마크(WideSearch 및 DeepWideSearch 등)를 통해 이 시스템을 테스트하고 다른 최고 수준의 AI 시스템들과 비교했습니다.

더 빠릅니다: 느린 일렬 방식 대신 병렬 작업자(여러 에이전트가 동시에 작업)를 사용하기 때문에, 다른 시스템보다 작업을 45.8% 더 빠르게 완료했습니다.
더 저렴합니다: 작업을 반복하거나 길을 잃으며 낭비하는 시간이 없기 때문에, 동일하거나 더 나은 결과를 얻으면서도 더 적은 비용(API 비용)을 사용했습니다.
더 똑똑합니다: 전체 목록을 더 잘 추적하여 항목을 놓치지 않도록 함으로써 정확도(F1 점수)에서 더 높은 점수를 받았습니다.

한 문장 요약

A-MapReduce는 방대한 양의 정보를 찾는 혼란스럽고 느린 탐색 과정을, 과거에 무엇이 효과적이었는지 기억함으로써 매번 더 똑똑하고 효율적으로 진화하는 정교한 병렬 조립 라인으로 바꿉니다.

기술 요약: A-MapReduce: 에이전트 기반 MapReduce를 통한 광범위 탐색 실행

1. 문제 정의

현대의 거대 언어 모델(LLM) 기반 멀티 에이전트 시스템(MAS)은 반복적이고 수직적인 구조의 추론에 의존하는 "심층 탐색(deep search)" 작업에서 상당한 성공을 거두었습니다. 그러나 이러한 시스템은 대규모의, 폭 중심적인 검색을 특징으로 하는—즉, 방대한 양의 약하게 결합된 엔티티들을 커버하고 이를 구조화된 출력으로 집계하는 것을 목표로 하는—광범위 탐색(wide search) 작업에서는 어려움을 겪습니다.

수직적 추론을 중심으로 설계된 기존의 에이전트 프레임워크는 광범위 탐색에 적용될 때 두 가지 주요 한계에 직면합니다:

대상 관리 딜레마 (Target Management Dilemma): 대부분의 MAS는 암시적인 대화 이력이나 자유 형식의 계획에 의존하여 검색 대상을 관리합니다. 이는 장기 실행 과정에서 항목 누락, 중복 검색, 그리고 대상의 불일치를 초러합니다.
실행 패턴 딜레마 (Execution Pattern Dilemma): 현재의 시스템은 유사한 쿼리 간에 공유되는 구조적 패턴을 추상화하거나 재사용하지 않고, 매 쿼리마다 실행 파이프라인을 다시 계획합니다. 이는 경험의 축적과 실행 결정의 진화를 방해합니다.

저자들은 광범위 탐색이 심층 추론 문제가 아니라, 대규모 검색 대상의 조직화, 할당, 추적 및 집계가 필요한 수평적 구조의 검색 문제로 모델링되어야 한다고 주장합니다.

2. 방법론: A-MapReduce

이러러한 과제를 해결하기 위해 저자들은 데이터베이스 시스템의 MapReduce 패러다임에서 영감을 얻은 멀티 에이전트 실행 프레임워크인 A-MapReduce를 제안합니다. 이는 광범위 탐색을 구조화된 검색을 위한 분산 컴퓨팅 프로세스로 재개념화하며, 세 가지 핵심 구성 요소로 이루어집니다:

A. 에이전트 기반 MapReduce 실행

이 프레임워크는 실행 결정을 명시적으로 삼중항 $\Theta_q = (M_q, P_q, B_q)$ 로 구조화합니다:

태스크 매트릭스 ( $M_q$ ): 알려진 속성을 가진 $N$ 개의 타겟 엔티티를 인코딩하며, 검색 범위를 위한 명시적인 스키마 역할을 합니다.
템플릿 ( $P_q$ ): $M_q$ 의 열(column)들과 정렬된 플레이스홀더를 포함하는 쿼리 특화 문자열입니다.
배칭 전략 ( $B_q$ ): 원자적 태스크를 서로 겹치지 않는 배치로 분할하는 이산적 전략(예: 원자 단위, 속성 단위 또는 적응형 방식)입니다.

실행은 두 단계의 파이프라인을 따릅니다:

매핑 단계 (Mapping Stage): 매니저 에이전트( $A_{manage}$ )가 쿼리와 축적된 관찰 내용을 분석하여 고수준의 결정 $\Theta_q$ 를 샘플링합니다. 이는 $M_q$ 의 행(row)들로 템플릿 $P_q$ 를 채움으로써 원자적 검색 태스크를 인스턴스화합니다. 이후 이 태스크들은 $B_q$ 에 따라 배치로 분할됩니다.
리듀싱 단계 (Reducing Stage): 독립적인 검색 에이전트( $A_{search}$ )들이 배치를 병렬로 실행합니다. 매니저 에이전트는 부분적인 결과들을 하나의 통합된 테이블로 집계하고, 이를 스키마에 따라 검증하며, 완전성이 위반될 경우 경량화된 "델타 패치(delta-patch)" 라운드를 트리거합니다.

B. 경험 기반 진화

A-MAPREDUCE는 실행 결정의 지속적인 진화를 유도하기 위해 경험적 메모리(experiential memory) 메커니즘을 도입합니다. 메모리 $\mathcal{M}$ 은 다음을 저장합니다:

기록 세트 ( $D$ ): 쿼리, 실현된 결정, 실행 트레이스, 유틸리티 피드백을 포함한 역사적 태스크 수준 정보.
힌트 풀 ( $H$ ): 과거의 성공 사례로부터 추출된, 재사용 가능한 구조적 힌트(예: 최적의 배칭 전략 또는 템플릿 제약 조건).
증류 연산자 ( $F_\psi$ ): 중복과 의미적 표류를 방지하기 위해 기록들을 클러스터 수준의 대표적 힌트로 통합합니다.

진화 루프:

메모리 검색: 새로운 쿼리에 대해, 시스템은 의미적으로 유사한 긍정적(높은 유틸리티) 및 부정적(낮은 유틸리티) 역사적 기록을 검색합니다.
조건부 결정 샘플링: 시스템은 검색된 힌트와 예시 기록을 결합하여 경험적 사전 확률(experiential prior) $\Delta_q$ 를 구축합니다. 이 사전 확률은 결정 공간 내에서 역사적으로 유틸리티가 높았던 영역으로 $\Theta_q$ 의 샘플링을 편향시키는 결정 앵커 역할을 합니다.
피드백 업데이트: 실행 후, 시스템은 새로운 기록으로 메모리를 업데이트하고 유틸리티 피드백을 바탕으로 힌트 점수를 정교화하여, 실행 효율성과 견고성을 점진적으로 개선합니다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 설명합니다:

패러다임 재정의: 광범위 탐색을 제어 가능하고 MapReduce 스타일의 실행 프로세스로 재정의하는 오픈 소스 프레임워크인 A-MapReduce를 도입했습니다. 이는 지속적인 커버리지 추적, 병렬화된 매핑, 그리고 스키마 일관성을 갖춘 테이블로의 원칙적인 리덕션을 가능하게 합니다.
실용적 진화: MapReduce 실행을 경험적 메모리와 결 결합하는 경험 기반 진화 메커니즘을 개발했습니다. 이를 통해 시스템은 쿼리에 따라 결정 분포를 점진적으로 정교화하여, 점점 더 적응적이고 비용 효율적인 실행을 수행할 수 있습니다.
실험적 평가: 다섯 가지 에이전트 벤치마크에 대한 포괄적인 평가를 통해 A-MapReduce가 최첨단(SOTA) 성능을 달면서도 비용 효율성을 크게 향상시킨다는 것을 입증했습니다.

4. 실험 결과

저자들은 WideSearch, DeepWideSearch, 그리고 xBench, WebWalkerQA, TaskCraft에서 파생된 Agentic-Wide Subset을 통해 A-MapReduce를 평가했습니다.

성능: A-MapReduce는 WideSearch와 DeepWideSearch에서 최첨단 결과를 달 achieved 했습니다.
- WideSearch에서, 강력한 베이스라인(OpenAI o3 및 Gemini 2.5 Pro 백본 포함) 대비 평균 Item F1을 **5.64%에서 27.62%**까지 향상시켰습니다.
- DeepWideSearch에서, 오픈 소스 멀티 에이전트 프레임워크 대비 Core Entity Accuracy에서 3.52% ~ 19.09%, Column-F1에서 **9.71% ~ 30.18%**의 절대적 이득을 보였습니다.
- 성공률(Success Rate) 측면에서 DeepWideSearch에서 **4.43%**를 달성하여, 0~2% 근처에 머물렀던 베이스라인들을 크게 앞질렀습니다.
효율성 및 비용:
- A-MapReduce는 대표적인 멀티 에이전트 베이스라인들과 비교하여 실행 시간을 45.8% 단축했습니다.
- 더 높은 품질의 출력을 제공하면서도 평균적으로 태스크당 $1.10를 절감하고 API 비용을 최대 **47.5%**까지 줄이는 우수한 비용 대비 성능을 달성했습니다.
절제 연구 (Ablation Studies): 경험적 메모리를 제거하면 Item F1이 5.15%, Row F1이 5.73% 하락하는 동시에 비용이 증가했습니다. 구조적 결정(태스크 매트릭스 또는 배칭 전략)을 제거했을 때는 성능 저하가 더욱 심각하게 나타나, 구조화된 접근 방식의 필요성을 확인시켜 주었습니다.

5. 의의 및 주장

본 논문은 데이전트 시스템의 초점을 수직적 심층 추론에서 수평적 구조화된 검색으로 전환함으로써 A-MapReduce가 멀티 에이전트 시스템의 중요한 격차를 해소한다고 주장합니다. 그 의의는 다음과 같습니다:

명시적 상태 관리: 검색 목적을 스키마에 정렬된 태스크 매트릭스로 외재화함으로써, 프레임워크는 실행 상태를 관찰 가능하고 수정 가능하게 만들어, 장기 실행 작업에서 흔히 발생하는 커버리지 손실 및 증거 파편화와 같은 실패 모드를 완화합니다.
경험 기반 최적화: 본 프레임워크는 멀티 에이전트 시스템이 단순히 더 많은 콘텐츠를 검색하는 것을 넘어, 이력을 통해 실행 패턴을 증류함으로써 "계획하는 법을 학습"할 수 있음을 보여줍니다. 이는 기초 LLM의 재학습 없이도 효율성과 견고성을 점진적으로 개선합니다.
확장성: MapReduce에서 영감을 얻은 설계는 방대한 검색 대상의 병렬 처리를 허용하며, 기존의 순차적 프레임워크가 효율적으로 처리할 수 없는 광범위한 정보 탐색에 대한 확장 가능한 솔루션을 제공합니다.

저자들은 A-MapReduce가 광범위한 검색을 위한 자원 효율적이고 신뢰할 수 있는 패러다임을 제공하며, 복잡하고 데이터 집약적인 작업에 에이전트 시스템을 대규모로 배포하는 장벽을 낮출 수 있다고 결론짓습니다.