기술 요약: FUTUREWEAVER

문제 정의

단일 에이전트 환경(예: 자기 수정, 반복적 검증 또는 Best-of-N 샘플링을 통한)에서 테스트 시간 연산(test-time computation)을 확장하는 것이 대규모 언어 모델(LLM)의 성능 향상에 효과적임이 입증되었으나, 이를 멀티 에이전트 시스템으로 확장하는 데는 독특한 과제들이 존재한다. 기존 방식들은 종종 순차적으로 에이전트를 실행하는 경리한 오케스트레이터-워커(orchestrator-worker) 패러다임에 의존하며, 이로 인해 이질적인 에이전트 간의 시너지를 활용하지 못한다. 또한, 현재의 방법론들은 엄격한 예산 제약 하에서 연산을 할당하는 원칙적인 메커니즘이 부족하다. 이들은 고정된 추론 구조 내에서 최적화를 수행하거나, 에이전트 호출의 조합 공간에 대한 궤적 계획(trajectory planning) 문제로 취급하는 데 실패한다. 결과적으로, 시스템은 낮은 레버리지의 초기 단계에 과도하게 투자하거나 중요한 후기 조정 단계에 투자를 소홀히 하여, 충분한 예산이 있음에도 불구하고 하위 최적의 성능을 내는 결과를 초래할 수 있다.

방법론: FUTUREWEAVER

본 논문은 고정된 예산 하에서 멀티 에이전트 시스템의 테스트 시간 연산 할당을 최적화하기 위해 설계된 프레임워크인 FUTUREWEAVER를 제안한다. 이 프레임워크는 세 가지 핵심 구성 요소를 통합한다:

1. 협업 모듈 (Collaboration Modules)

순차적인 '한 번에 한 에이전트' 방식의 실행을 넘어, 저자들은 협업 모듈을 도입한다. 이는 여러 에이전트 간의 고수준 조정 전략(예: "검색 후 브라우징" 또는 "앙상블 추론")을 캡슐화하는 모듈형 호출 가능 함수이다.

• 추상화: 모듈은 $m = (S, \kappa)$로 정식화된다. 여기서 $S$는 워커 에이전트의 부분 집합이고 $\kappa$는 조정 전략이다.
• 발견: 모듈은 수동으로 설계되는 것이 아니라 **자기 놀이 성찰(Self-Play Reflection)**을 통해 자동으로 유도된다. 시스템은 검증 작업에 대해 궤적을 실행하고, 성공으로 이어지는 반복적인 상호작용 패턴을 식와하여 이를 재사용 가능한 모듈로 추상화한다.
• 행동 공간: 오케스트레이터의 행동 공간은 개별 기본 에이전트와 이러한 협업 모듈을 모두 포함하도록 확장된다 ($A' = A \cup M$).

2. 이중 수준 계획 아키텍처 (Dual-Level Planning Architecture)

에이전트/모듈 호출의 조합 공간을 엄격한 예산 내에서 탐색하기 위해, FUTUREWEAVER는 A* 탐색 및 투기적 디코딩(speculative decoding)에서 영감을 받은 이중 수준 계획 전략을 채택한다:

• 단기 지평 계획 (Short-Horizon Planning - 국소적 이득): 후보 행동 $\alpha_t$의 즉각적인 유망성을 평가한다. 이는 다음을 기반으로 이득 점수 $g(\alpha_t)$를 계산한다:

  • 자기 일관성 (Self-Consistency, SC): 샘플링된 행동들 사이의 국소적 합의를 측정하여 신뢰도를 가늠한다.
  • 성능 사전 지식 (Performance Prior, PP): 경험 버퍼에서 발견된 유사한 과거 궤적의 성공률로부터 도출된 경험적 신뢰도 점수이다.
  • 이득은 기하 평균으로 계산된다: $g(\alpha_t) = \sqrt{SC(\alpha_t) \cdot PP(\alpha_t)}$.

• 장기 지평 계획 (Long-Horizon Planning - 전역적 타당성): 후보 행동이 남은 예산 내에서 성공적인 궤적으로 이어질 수 있는지 추정하기 위해 **추상적 앞보기(abstract lookahead)**를 수행한다.

  • 오케스트레이터는 잠재적인 미래 모듈 시퀀스를 나타내는 **투기적 궤적(speculative trajectories)**을 (에이전트를 실제로 실행하지 않고) 기호적으로 생성한다.
  • 자기 놀이를 통해 도출된 비용 추정치를 사용하여, 예산을 초과하는 궤적은 필터링된다.
  • 타당성 점수 $h(\alpha_t)$는 예산 준수 가능한 지속 가능성을 허용하는 후보 행동의 비율을 기반으로 계산된다.
  • 이 점수는 단기 계획가(short-horizon planner)를 능동적으로 가이드하여, 국소적 결정이 전역적 타당성과 일치하도록 보장한다.

• 선택: 최종 효용은 $f(\alpha_t) = g(\alpha_t) + h(\alpha_t)$이다. 가장 높은 효용을 가진 행동이 선택되어, 즉각적인 진전과 장기적인 예산 준수 사이의 균형을 맞춘다.

3. 자기 놀이 성찰 (Self-Play Reflection)

이 오프라인 반복 프로세스는 프레임워크의 엔진 역할을 한다:

• 검증 작업의 일부에 대해 실행 궤적을 생성하여 경험 버퍼를 구축한다.
• 기본 에이전트와 발견된 모듈 모두에 대해 비용 추정치(관찰된 서브태스크 전체에 걸쳐 평균화됨)와 성능 추정치(궤적 수준의 성공률)를 제공한다.
• 성공적인 궤적에서 반복되는 패턴을 분석함으로써 협업 모듈의 발견을 주도한다.

실험 결과

저자들은 세 가지 벤치마크인 GAIA(일반 AI 어시스턴트 작업), BrowseComp-Plus(웹 브라우징), BigCodeBench(코딩)에서 FUTUREWEAVRE를 평가하였다. 이를 고정된 워크플로우(ADAS, AFlow), 테스트 시간 스케일링을 적용한 표준 ReAct(Best-of-N, Iterative Verification), 그리고 협업 모듈을 적용한 ReAct(Budget-Unaware/Aware)와 비교하였다.

• 성능: FUTUREWEAVER는 세 가지 벤치마크 모두에서 다양한 예산 설정에 걸쳐 모든 베이스라인을 일관되로 능가했다. 예를 들어, Claude 모델을 사용한 GAIA에서, $0.5$ 예산일 때 38.27%를 기록한 최상의 ReAct 변형 모델과 비교하여 48.15%의 정확도를 달연했다.
• 예산 활용: 총 비용이 제약 조건보다 훨씬 낮은 수준에서 정체되는 베이스라인들과 달리, FUTUREWEAVER는 예산을 공격적이고 효과적으로 활용하여 컴퓨팅 자원을 성능 향상으로 직접 전환했다.
• 구성 요소 분석: 절제 연구(Ablation studies) 결과, 단기 계획만으로도 성능 향상이 있었고, 장기 계획만으로는 더 높은 예산에서 약간 더 나은 성능을 보였으나, 이중 수준의 결합이 가장 강력한 결과를 냈음을 보여주었다. 이는 국소적 신호와 전역적 신호를 통합하는 것의 필요성을 확인시켜 준다.

의의 및 주장

본 논문은 FUTUREWEIVER가 멀티 에이전트 시스템의 핵심적 공백, 즉 예산 제약이 있는 연산 할당과 효과적인 협업을 위한 원칙적인 메커니즘의 부재를 해결한다고 주장한다.

• 핵심 기여: 본 연구는 멀티 에이전트 최적화를 단순한 자원 할당 문제가 아닌, 에이전트 및 모듈 호출의 조합 공간에 대한 궤적 계획 문제로 정식화한다.
• 혁신성: 자동 유도된 모듈을 통한 함수 호출 문제로 조정을 취급하고, 앞보기(lookahead)와 후보 생성(candidate generation)을 결합한 이중 수준 계획가를 채택함으로써, 시스템이 복잡한 협업을 언제 그리고 어떻게 호출할지 동적으로 결정할 수 있게 한다.
• 결과: 결과는 구조화된 협업과 앞을 내다보는 계획이 고정된 컴퓨팅 예산을 효과적인 멀티 에이전트 성능으로 전환하는 데 필수적임을 입증하며, 더 적응력 있고 컴퓨팅 효율적인 시스템을 구축하기 위한 유망한 방향을 제시한다.

저자들은 미래의 영향력에 대해 과장하지 않고, 엄격한 제약 조건 하에서의 멀티 에이전트 협업을 위한 추론 시간 최적화라는 프레임워크의 유효성 검증에 집중하고 있다.