Agentic Aggregation for Parallel Scaling of Long-Horizon Agentic Tasks

이 논문은 긴 시간 범위의 에이전트 작업을 병렬로 확장할 때 기존 방법의 한계를 극복하고, 경량 도구를 활용해 병렬 실행 궤적들을 지능적으로 탐색 및 종합하는 'AggAgent'를 제안함으로써 성능을 크게 향상시키면서도 오버헤드를 최소화하는 효율적인 접근법을 제시합니다.

핵심

🧐 문제 상황: "100 명의 전문가를 모았는데, 답이 안 나온다?"

상상해 보세요. 아주 어렵고 복잡한 미스터리 사건 (예: "1990 년에 가장 높은 건물이 있던 도시의 2024 년 시장 중 가장 오래 재임한 사람은 누구인가?") 을 해결해야 합니다.

이때 우리는 8 명의 AI 전문가 (에이전트) 를 고용해서 동시에 조사하게 합니다.

• 과거의 방식 (단순 투표): 8 명이 각자 조사한 뒤 "정답은 A 입니다", "B 입니다"라고만 말하면, 우리는 "가장 많이 나온 답 (A)"을 고릅니다.
  • 문제점: 8 명 중 7 명이 실수하고 1 명만 정답을 알아냈다면, 다수결 원칙 때문에 틀린 답을 고르게 됩니다.
• 다른 방식 (요약본): 8 명이 쓴 긴 조사 보고서 (수백 페이지 분량) 를 모두 읽으려다 보면, AI 가 기억할 수 있는 공간 (컨텍스트 윈도우) 이 부족해져서 중요한 정보가 빠지거나, 요약하는 과정에서 핵심이 사라집니다.

💡 해결책: 'AggAgent' (수석 편집자)

이 논문은 **'AggAgent'**라는 새로운 역할을 제안합니다. 이는 단순히 답을 고르는 사람이 아니라, **8 명의 조사 보고서 전체를 넘나들며 진실을 찾아내는 '수석 편집자'**입니다.

🕵️‍♂️ 비유: "수석 편집자의 수사 과정"

1. 전체 상황 파악 (Get Solution):
   먼저 8 명의 조사 결과 (최종 답안) 를 한눈에 훑어봅니다. "아, 7 명은 '뉴욕'이라고 하고 1 명은 '휴스턴'이라고 했네?"라고 파악합니다.

2. 핵심 증거 찾기 (Search Trajectory):
   단순히 답만 믿지 않습니다. "왜 1 명은 휴스턴이라고 했지?"라고 의문을 품고, 그 사람의 긴 조사 기록 (수백 페이지) 에서 '휴스턴'이라는 단어가 나온 부분만 빠르게 찾아냅니다.

   • 기존 방식: 모든 페이지를 다 읽어야 했다면, AggAgent 는 필요한 부분만 '검색'합니다.

3. 상세 내용 확인 (Get Segment):
   검색 결과에서 의심스러운 대목이 보이면, 그 부분과 앞뒤 문맥을 자세히 읽어봅니다.

   • "아, 이 사람은 문서에서 '1990 년'이라는 날짜를 잘못 읽었구나!" 혹은 "저 사람은 최신 논문 하나를 발견했네!"라고 발견합니다.

4. 최종 결론 도출 (Finish):
   8 명의 조사 내용 중 가장 신뢰할 수 있는 사실들만 조합하여 새로운, 더 정확한 답을 만들어냅니다.

   • 예: "7 명이 틀렸고, 1 명이 맞았지만 그 이유를 다른 2 명이 보충해 주었으니, 이들을 합쳐서 최종 답을 내겠다."

🚀 왜 이것이 혁신적인가요?

1. 정보를 버리지 않음 (Full Fidelity):
   기존에는 긴 보고서의 핵심만 요약하거나, 최종 답만 봤기 때문에 중요한 단서가 사라졌습니다. AggAgent 는 필요할 때만 필요한 부분을 정확히 찾아내어, 정보의 손실 없이 모든 단서를 활용합니다.

2. 비용과 시간 절약 (Low Cost):
   모든 보고서를 한 번에 다 읽으면 AI 가 너무 느리고 비쌉니다. 하지만 AggAgent 는 필요한 부분만 검색해서 읽기 때문에, 8 명이 조사하는 비용에 비해 추가 비용은 거의 들지 않습니다. 마치 도서관에서 책 전체를 복사하는 대신, 필요한 페이지만 복사하는 것과 같습니다.

3. 틀린 답에서 정답을 찾아냄 (Synthesis):
   흥미로운 점은, 8 명 모두 틀린 답을 냈을 때도 AggAgent 가 각자의 보고서에서 '옳은 단서'를 찾아내어 정답을 만들어낼 수 있다는 것입니다. 마치 8 명이 각각 퍼즐 조각을 잘못 맞췄지만, 수석 편집자가 조각들을 잘게 잘라 다시 맞춰 완벽한 그림을 완성하는 것과 같습니다.

📊 결론: "함께 일하면 더 똑똑해진다"

이 연구는 여러 AI 가 나란히 일할 때, 단순히 '다수결'로 결정하는 것이 아니라, 하나의 똑똑한 AI 가 다른 AI 들의 작업 과정을 꼼꼼히 검토하고 조합하면, 훨씬 더 정확하고 복잡한 문제도 해결할 수 있다는 것을 증명했습니다.

한 줄 요약:

"100 명의 전문가가 각자 조사한 긴 보고서들을, 필요한 부분만 검색해서 꼼꼼히 비교·분석하는 '수석 편집자 AI'를 도입하면, 비용은 거의 들지 않으면서도 정답률을 획기적으로 높일 수 있다."

이 방법은 앞으로 AI 가 복잡한 연구, 법률 조사, 의료 진단 등 긴 시간과 많은 정보가 필요한 일을 할 때 매우 유용하게 쓰일 것으로 기대됩니다.

기술 요약

1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 의 성능을 향상시키기 위해 '테스트 타임 컴퓨팅 확장 (Test-time Scaling)' 기법이 주목받고 있으며, 특히 체인 오브 씽킹 (CoT) 작업 (수학, 코딩 등) 에서는 여러 추론 경로를 생성하고 집계하는 방식이 효과적입니다. 그러나 장기적 에이전트 작업 (Long-Horizon Agentic Tasks) (예: 심층 연구, 에이전트 검색, 웹 탐색) 에서는 기존 방식이 다음과 같은 고유한 한계에 직면합니다.

• 경로의 복잡성: 에이전트 작업은 수백 단계에 달하는 다중 턴 (multi-turn) 추론과 도구 호출 (tool calls) 이 교차하는 긴 경로를 가집니다.
• 정보 손실: 최종 답변만 집계하면 (Solution Aggregation) 경로 내의 풍부한 중간 증거와 추론 과정이 사라집니다.
• 컨텍스트 제한: 모든 경로를 하나의 컨텍스트 윈도우에 연결 (Concatenation) 하면 토큰 수 한계를 초과하여 처리가 불가능합니다.
• 압축의 비효율: 경로를 요약 (Summary Aggregation) 하면 중요한 세부 정보가 손실되며, 요약 과정 자체가 추가 비용과 지연을 유발합니다.

따라서, 여러 병렬 생성된 에이전트 경로 (Parallel Trajectories) 에서 풍부한 정보를 유지하면서도 비용 효율적으로 최종 답변을 합성하는 방법이 필요합니다.

2. 제안 방법: AggAgent (Methodology)

저자들은 AggAgent라는 새로운 집계 에이전트 (Aggregation Agent) 를 제안합니다. 이는 병렬 경로들을 단순히 텍스트로 나열하는 것이 아니라, 에이전트가 상호작용할 수 있는 **환경 (Environment)**으로 간주합니다.

• 핵심 아이디어: 집계 과정 자체를 에이전트 작업으로 프레임합니다. AggAgent 는 병렬 경로들을 메모리 내 배열 (in-memory array) 로 저장하고, 필요에 따라 경로를 탐색하며 정보를 추출합니다.
• 경량 도구 (Lightweight Tools): AggAgent 는 외부 API 호출 없이 메모리 내 경로 데이터만 조작하는 3 가지 도구를 사용합니다.
  1. get_solution: 하나 또는 모든 경로의 최종 답변을 검색합니다.
  2. search_trajectory: 키워드 기반 검색을 통해 특정 경로 내에서 관련 단계를 찾습니다 (ROUGE-L 점수로 랭킹).
  3. get_segment: 특정 경로의 연속된 단계 범위 (예: 5 단계) 를 전체 내용과 함께 읽습니다.
  4. finish: 합성된 최종 답변과 그 근거를 제출합니다.
• 작업 흐름 (Workflow):
  1. 초기 조사: 메타데이터와 get_solution 을 통해 모든 경로의 최종 답변을 파악하고 이견 (disagreement) 을 식별합니다.
  2. 심층 탐색: 이견이 있거나 중요한 주장이 있는 경우, search_trajectory와 get_segment 를 사용하여 해당 경로의 도구 관찰 결과 (tool observations) 와 추론 과정을 정밀하게 검증합니다.
  3. 합성 (Synthesis): 검증된 증거를 바탕으로 여러 경로의 정보를 조합하여 새로운 정답을 생성합니다. 단순히 가장 많은 답변을 선택하는 것이 아니라, 각 경로의 부분적 진실을 조합합니다.

3. 주요 기여 (Key Contributions)

1. 에이전트 집계 (Agentic Aggregation) 패러다임: 병렬 경로를 환경으로 간주하고 에이전트가 도구를 통해 필요 시 정보를 추출하는 새로운 집계 방식을 제시했습니다. 이는 정보 손실 없이 전체 경로의 충실도 (Full Fidelity) 를 유지하면서도 컨텍스트 윈도우 제한을 우회합니다.
2. 비용 효율성: 기존 요약 방식 (Summary Aggregation) 은 모든 경로를 요약하는 데 K 번의 LLM 호출이 필요하지만, AggAgent 는 단일 에이전트 롤아웃 비용 내에서 동작합니다. 실험 결과, 집계 비용은 병렬 실행 비용의 약 **5.7%**에 불과하여 Summary Aggregation (41% 오버헤드) 보다 훨씬 효율적입니다.
3. Pareto 최적의 성능 - 효율성 트레이드오프: 다양한 모델과 벤치마크에서 기존 방법 (다수결 투표, Best-of-N, Solution Aggregation 등) 을 모두 능가하는 성능을 보여주면서, 비용과 지연 시간을 최소화했습니다.

4. 실험 결과 (Results)

저자들은 3 개의 모델 계열 (GLM-4.7, Qwen3.5, MiniMax-M2.5) 과 6 개의 장기적 에이전트 벤치마크 (BrowseComp, HLE, DeepSearchQA, Healthbench-Hard 등) 에서 AggAgent 를 평가했습니다.

• 성능 향상:
  • 평균적으로 기존 최상위 베이스라인 (Solution Aggregation) 보다 5.3% 포인트 향상되었습니다.
  • 심층 연구 (Deep Research) 작업에서는 최대 10.3% 포인트의 성능 향상을 기록했습니다.
  • 특히, 개별 경로가 모두 틀린 경우에도 AggAgent 는 각 경로의 부분적 증거를 조합하여 정답을 도출하는 능력을 입증했습니다.
• 비용 및 지연 시간:
  • AggAgent 는 Summary Aggregation 대비 비용과 지연 시간을 획기적으로 줄였습니다 (예: K=8 일 때 Summary Aggregation 은 41% 추가 비용, AggAgent 는 5.7%).
  • 이는 AggAgent 가 모든 경로를 로드하지 않고 필요한 부분만 선택적으로 읽기 때문입니다.
• 모델 일반화: AggAgent 는 오프더셸 (off-the-shelf) LLM 과 함께 효과적으로 작동하며, 집계 에이전트로 더 강력한 모델을 사용할 경우 성능이 추가로 향상됨을 확인했습니다 (비대칭 모델 할당 전략).

5. 의의 및 결론 (Significance)

이 논문은 **에이전트 집계 (Agentic Aggregation)**가 장기적 에이전트 작업을 위한 병렬 테스트 타임 확장의 효과적이고 비용 효율적인 패러다임임을 입증했습니다.

• 정보 손실 없는 확장: 기존 방법들이 직면한 '정보 손실'과 '컨텍스트 제한'이라는 딜레마를 해결했습니다.
• 실용성: 외부 도구 호출 없이 메모리 내 데이터만 조작하므로 API 비용과 지연 시간이 거의 발생하지 않습니다.
• 미래 방향: 이 연구는 개별적으로 틀린 경로들에서도 정답을 합성할 수 있는 능력을 보여주며, 향후 집계 에이전트 (Aggregator Agent) 를 위한 파인튜닝이나 학습 연구에 중요한 기반을 제공합니다.

결론적으로, AggAgent 는 복잡한 장기적 에이전트 작업에서 병렬 추론의 잠재력을 최대한 끌어내면서도 실용적인 비용 구조를 유지하는 획기적인 솔루션입니다.