기술 요약: ReM-MoA: 추론 메모리가 Mixture-of-Agents의 스케일링을 지속시킨다

문제 정의

Mixture-of-Agents (MoA) 아키텍처는 여러 거대 언어 모델(LLM) 에이전트를 계층적 추론 파이프라인으로 구성하여 추론 시점의 스케일링을 개선하는 것을 목표로 한다. 레이어의 깊이(레이어 수)와 너비(레이어당 에이전트 수)를 늘리는 것이 이론적으로는 집단적 추론의 확장 가능한 경로를 제공하지만, 기존의 MoA 변체들은 아키텍처가 깊어짐에 따라 성능 향상을 지속하는 데 실패한다. 경험적 관찰을 통해 세 가지 뚜렷한 실패 모드가 드러났다:

1. 퇴보(Degradation): 표준 MoA 시스템은 대개 얕은 깊이에서 정점을 찍은 후 이후 퇴보하는데, 이는 가공되지 않은 레이어 간 결합이 유용한 추론과 누적된 오류를 동시에 전파하기 때문이다.
2. 조기 정체(Early Plateauing): 로컬 잔차 전파(예: RMoA)를 사용하는 변체들은 인접하지 않은 이전 레이어에서 생성된 고품질의 추론을 회수하지 못해 성능이 정체되는 문제를 겪는다.
3. 포화 및 다양성 붕괴(Saturation and Diversity Collapse): 레이어 내 상호작용(예: AttentionMoA)이나 동일한 누적 컨텍스트에 의존하는 시스템은 에이전트들이 중복된 솔루션 경로로 수렴하게 만들어 탐색의 다양성을 붕괴시킨다.

기존 방법들은 정보 통합, 에이전트 간 상호작용 또는 품질 가이드 선택을 통해 이러한 문제를 해결하려고 시도하지만, 규모가 커짐에 따라 품질 보존(고품질 추론 궤적 유지)과 다양성 보존(에이전트들이 동일한 경로로 수렴하는 것을 방지) 사이의 균형을 성공적으로 유지하는 방식은 없다.

방법론: ReM-MoA

저자들은 문제를 공동의 품질-다양성 보존 과제로 다루도록 설계된 메모리 증강 MoA 프레임워크인 ReM-MoA를 제안한다. 이 프레임워크는 세 가지 상호 연결된 구성 요소로 이루어져 있다:

1. 순위 기반 추론 메모리 ($M$)

태스크 전반에 걸쳐 경험을 축적하는 에피소드 메모리 시스템과 달리, ReM-MoA는 단일 문제 인스턴스 내에서 구조화된 교차 레이어 추론 메모리를 유지한다.

• 메커니즘: 각 레이어 $l$에서, $N$개의 제안(proposer) 에이전트가 추론 흔적(trace)을 생성한다. 검토자 에이전트(Reviewer Agent)(LLM)는 이 흔적들을 비교 평가하여 각 흔적에 정수 점수와 타겟팅된 근거(rationale)를 할당한다.
• 저장: 메모리는 모든 이전 레이어의 엔트리 합집합을 저장한다 ($M_{\le l} = \bigcup_{k=1}^l M_k$). 각 엔트리는 (흔적, 점수, 근거)의 트리플로 구성된다.
• 접근: 메모리는 추가 전용(append-only)이며 모든 후속 레이어로부터 읽기 접근을 지원한다. 이를 통해 깊은 레이어는 단순히 인접한 레이어가 아닌, 임의의 깊이에서 온 추론 경로를 재방문하고 그 위에 구축할 수 있다.

2. 큐레이션된 다양화 메모리 라우팅 ($\Pi$)

다양성 붕괴를 방지하기 위해, 이 프레임워크는 동일한 레이어 내의 에이전트들이 동일한 컨텍스트를 소비하지 않도록 보장한다.

• 메커니즘: 라우팅 체계는 각 제안 에이전트에게 서로 다른 메모리 서브셋을 선택하여 제공한다. 이 서브셋들은 세 가지 유형의 라우팅 함수 패밀리에서 추출된다:
  • 대조적(Contrastive, $Conn$): 고득점(Top) 흔적과 저득점(Bot) 흔적을 결합하여 대조적인 신호를 제공한다.
  • 긍정적 강화(Positive Reinforcement, $Top$): 성공적인 패턴에 집중한다.
  • 실패 모드 집중(Failure-mode Focus, $Bot$): 흔히 발생하는 함정을 드러낸다.
• 분배: $N$개의 에이전트에 대해 라우팅 함수들은 이러한 패밀리들로 분산된다 (예: 한 에이전트는 대조적 신호를, 다른 에이전트는 긍정적 신호를, 또 다른 에이전트는 실패 집중 신호를 받음). 이는 레이어 전체가 메모리의 내용을 탐색하도록 보장하는 동시에, 개별 에이전트는 구별되는 품질 인식 참조 세트를 받도록 한다.

3. 검토자 증류 (선택적 강화)

검토자 에이전트의 순위 품질을 개선하기 위해, 저자들은 프런티어 모델 증류를 사용하는 선택적 파이프라인을 도입한다.

• 프로세스: 강력한 교사 모델(예: GPT-5.5)이 멀티 도메인 학습 데이터셋 상에서 ReM-MoA가 생성한 흔적들의 점수와 근거를 감독한다.
• 미세 조정: 더 작은 베이스 검토자 모델이 교사의 판단을 모방하도록 파라미터 효율적 방식인 LoRA를 사용하여 미세 조정된다. 이를 통해 시스템은 추론 도메인을 넘나들며 일반화할 수 있는 범용 검토자를 생성한다.

주요 기여

1. 스케일링 실패의 경험적 특성화: 본 논문은 기존 MoA 시스템에서 발생하는 세 가지 구체적인 실패 모드(퇴보, 정체, 다양성 붕괴)를 식별하고 특성화한다. 이는 가공되지 않은 결합, 제한된 교차 레이어 접근, 그리고 균질화된 컨텍스트에 의해 발생한다.
2. ReM-MoA 프레임워크: 순위 기반 추론 메모리와 큐레이션된 다양화 메모리 라우팅을 통해 스케일링을 지속시키는 프레임워크를 제안한다. 이 접근법은 성공적인 추론 궤적을 보존하는 동시에, 에이전트들에게 성공 및 실패 흔적의 구별되는 조합을 노출함으로써 탐색 다양성을 유지한다.
3. 선택적 증류 파이프라인: 검토자 모듈을 업그레이드하여 시스템이 보유하지 않은 도메인으로도 전이될 수 있도록 하는 멀티 도메인 검토자 증류 파이프라인을 도입한다.
4. 포괄적 평가: 다섯 가지 추론 벤치마크(수학, 형식 논리, 코드, 지식, 상식)에 걸친 광범한 실험을 통해 ReM-MoA가 깊이 및 너비 스케일링 모두에서 기존 변체들을 능가함을 입증한다.

실험 결과

저자들은 MATH, MMLU-redux, Formal Logic, CRUX (code), HellaSwag의 다섯 가지 벤치마크에서 ReM-MoA를 Standard MoA, RMoA, AttentionMoA와 비교 평가하였다.

• 깊이 스케일링 ($L=1$ to $9$, $N=3$):

  • Standard MoA는 크게 퇴보했다 (예: $L=9$에서 MMLU-redux에서 약 9.1 포인트 하락).
  • RMoA와 AttentionMoA는 조기에 정체되거나 포화되었다.
  • ReM-MoA는 깊이가 증가함에 따라 일관되게 향상되었다. ReM-MoA와 가장 강력한 베이스라인 간의 성능 격차는 깊이가 깊어질수록 단조롭게 벌어졌다 (예: Formal Logic에서 $L=9$일 때 +7.3 포인트 리드).
  • ReM-MoA$^*$ (증류된 검토자 포함)는 모든 벤치마크에서 지속적인 스케일링을 더욱 확장시켰으며, 이전에 정체되었던 태스크들의 성장 트렌드를 지속적인 성장으로 전환시켰다.

• 너비 스케일링 ($N=3$ to $8$, $L=3$):

  • ReM-MoA는 모든 너비 설정에서 모든 베이스라인을 능가했다.
  • 너비 스케일링은 깊이에 비해 수확 체감 현상을 보였으나, ReM-MoA는 일관된 우위를 유지했으며, $N$이 증가함에 따라 격차가 +2.30에서 +3.68 포인트로 넓어졌다.

• 절제 연구 (Ablation Studies):

  • 교차 레이어 접근(읽기 권한을 직전 레이어로 제한)을 제거했을 때 가장 큰 성능 저하가 발생하여, 비인접 레이어에 접근하는 것의 필요성을 확인했다.
  • 라우팅 다양화(모든 에이전트에게 하나의 참조 세트를 공유)를 제거하면 전체 모델의 실패와 유사한 퇴보가 발생하여, 레이어 내 다양성이 결정적임을 입증했다.
  • **근거(rationales)**를 제거하면 성능 저하는 작았지만 스케일링 트렌드는 유지되었는데, 이는 근거가 필수적인 골격이라기보다 정교화 도구로 작용함을 나타낸다.

• 증류 전이 (Distillation Transfer):

  • 네 가지 도메인에서 증류된 검토자는 (평가 도메인을 제외하고) 멀티 도메인 증류 모델이 달성한 이득의 44%를 회복하였으며, 이는 미지의 추론 도메인으로의 전이 가능성을 보여준다.

의의 및 주장

본 논문은 구조화된 교차 레이어 추론 메모리가 확장 가능한 멀티 에이전트 추론을 위한 핵심적인 누락된 메커니즘이라고 주장한다. 고품질 추론의 보존을 탐색 다양성의 유지와 분리함으로써, ReM-MoA는 기존 아키텍처에서 관찰되는 스케일링 붕괴를 극복한다.

저자들은 ReM-MoA가 스케일링 이득이 단순히 집계나 상호작용의 함수가 아니라, 추론 흔적이 어떻게 저장되고, 순위가 매겨지며, 선택적으로 라우팅되는지의 함수라는 새로운 패러다임을 구축한다고 단언한다. 이 프레임워크는 적절한 메모리 아키텍처가 있다면 멀티 에이전트 시스템이 깊이와 너비 양쪽으로 스케일링할 때 성능 향상을 지속할 수 있음을 보여주며, 이는 기존 분야에서 이전에 달성되지 못했던 속성이다. 선택적 증류 파이프라인은 이러한 이점이 태스크별 검증기 없이도 다양한 도메인에 걸쳐 일반화될 수 있음을 시사한다.