Recursive Multi-Agent Systems

"Recursive Multi-Agent Systems"(RecursiveMAS) 논문에 대한 상세한 기술 요약입니다.

1. 문제 제기

현재의 대규모 언어 모델 (LLM) 은 제한된 용량, 단시적 생성, 또는 해 공간의 비효율적인 탐색으로 인해 복잡한 작업에 어려움을 겪는 경우가 많습니다. 전문 에이전트를 협력 워크플로우로 조직화하여 이를 해결하려는 다중 에이전트 시스템 (MAS) 이 등장했지만, 기존 접근법은 다음과 같은 중대한 한계에 직면해 있습니다:

• 텍스트 매개 지연: 표준 MAS 는 에이전트 간의 명시적 텍스트 생성과 교환에 의존합니다. 이는 에이전트가 진행하기 전에 다른 에이전트의 텍스트 생성이 완료될 때까지 기다려야 하는 재귀적이거나 반복적인 설정에서 특히나 상당한 지연과 토큰 오버헤드를 초래합니다.
• 훈련 비효율성: 전체 MAS 를 최적화하는 것은 어렵습니다. 모든 모델 파라미터를 업데이트하는 것은 계산 비용이 많이 들며, 순차적 텍스트 의존성은 역전파 중 그래디언트 소실을 초래하여 복잡한 협력 역학의 학습을 방해합니다.
• 정적 적응: 많은 기존 방법은 프롬프트 엔지니어링이나 반복적 컨텍스트 정제에 의존하는데, 이는 정렬을 개선하지만 에이전트의 내부 추론 능력이나 시스템의 협력 구조를 근본적으로 진화시키지는 못합니다.

저자들은 다음과 같이 질문합니다: 에이전트 협력 자체가 재귀를 통해 확장될 수 있으며, 이를 텍스트 공간이 아닌 잠재 공간 (latent space) 에서 작동함으로써 더 효율적으로 달성할 수 있는가?

2. 방법론: RecursiveMAS

이 논문은 전체 다중 에이전트 시스템을 통합된 잠재 공간 재귀 계산으로 간주하는 RecursiveMAS 프레임워크를 소개합니다. 에이전트를 텍스트를 교환하는 별개의 개체로 취급하는 대신, RecursiveMAS 는 에이전트를 재귀 루프의 계층으로 간주하여 토큰이 아닌 **잠재 표현 (잠재 상태 임베딩)**을 전달하고 정제합니다.

핵심 아키텍처 구성 요소

1. 잠재 사고 생성 (내부 루프):

   • 각 에이전트는 토큰이 아닌 **잠재 사고 (연속적인 숨겨진 상태 임베딩)**의 자동 회귀 생성을 수행합니다.
   • **내부 재귀 링크 (Inner RecursiveLink, $R_{in}$)**는 에이전트의 마지막 계층 출력을 다음 단계의 입력 임베딩 공간으로 다시 연결합니다. 이를 통해 에이전트는 텍스트로 디코딩하지 않고도 내부 추론 상태를 반복적으로 정제할 수 있습니다.
   • $R_{in}$은 경량 2 계층 잔차 투영 모듈입니다: $R_{in}(h) = h + W_2 \sigma(W_1 h)$.

2. 에이전트 간 협력 (외부 루프):

   • 이질적인 에이전트 (서로 다른 모델 크기/아키텍처) 는 **외부 재귀 링크 (Outer RecursiveLink, $R_{out}$)**를 통해 연결됩니다.
   • $R_{out}$은 한 에이전트의 잠재 상태를 다음 에이전트의 임베딩 공간으로 변환하여 서로 다른 모델 유형 간에 원활한 정보 전달을 가능하게 합니다.
   • 시스템은 폐쇄 루프를 형성합니다: 에이전트 $A_1 \to A_2 \to \dots \to A_N \to A_1$. 마지막 재귀 라운드의 최종 에이전트만이 잠재 상태를 최종 텍스트 출력으로 디코딩합니다.

3. 내부 - 외부 루프 훈련 패러다임:

   • 내부 루프 훈련: 각 에이전트는 개별적으로 워밍업됩니다. 내부 $R_{in}$은 에이전트가 생성한 잠재 사고를 정답의 의미 분포와 정렬되도록 훈련됩니다 (코사인 유사성 회귀 사용). 이는 에이전트가 의미 있는 잠재 상태를 생성할 수 있도록 보장합니다.
   • 외부 루프 훈련: 전체 시스템이 공동 최적화됩니다. 외부 $R_{out}$ 모듈은 공유 그래디언트 기반 크레딧 할당 메커니즘을 사용하여 훈련됩니다. 최종 출력에 대한 표준 교차 엔트로피 손실을 사용하여 그래디언트가 모든 에이전트와 재귀 라운드를 가로지르는 전체 재귀 계산 그래프를 통해 역전파됩니다. 이를 통해 시스템이 반복적으로 협력하는 방법을 학습할 수 있습니다.

이론적 장점

이 논문은 잠재 공간 재귀에 대한 두 가지 주요 이론적 근거를 제시합니다:

• 런타임 복잡도: RecursiveMAS 는 비싼 어휘 공간 디코딩 ($O(|V|)$) 을 잠재 공간 투영 ($O(d_h^2)$) 으로 대체합니다. 숨겨진 차원 $d_h$가 어휘 크기 $|V|$보다 훨씬 작기 때문에 복잡도가 크게 감소합니다.
• 그래디언트 안정성: 이론적 분석에 따르면, 텍스트 기반 재귀는 소프트맥스 연산과 엔트로피 제약으로 인해 그래디언트 소실 (그래디언트 노름 $\approx 0$) 을 겪습니다. 반면, RecursiveMAS 는 잠재 공간의 잔차 연결을 통해 안정적이고 거의 일정한 그래디언트 (노름 $\approx 1$) 를 유지하여 효과적인 심층 재귀 훈련을 가능하게 합니다.

3. 주요 기여

1. 시스템 수준 재귀: 단일 모델에서 이질적 다중 에이전트 시스템으로 재귀 확장 원리를 확장한 최초의 프레임워크로, 전체 MAS 를 통합된 잠재 공간 루프로 취급합니다.
2. 경량 재귀 링크: 기본 LLM 의 방대한 파라미터를 업데이트하지 않고도 잠재 사고 생성과 에이전트 간 상태 전이를 가능하게 하는 새로운 파라미터 효율적 모듈 ($R_{in}$ 및 $R_{out}$).
3. 내부 - 외부 루프 최적화: 에이전트 능력 (내부) 과 시스템 협력 (외부) 을 분리하는 2 단계 훈련 알고리즘으로, 전체 시스템의 안정적인 공동 최적화를 가능하게 합니다.
4. 일반화성: 이 프레임워크는 아키텍처에 구애받지 않으며 순차적, 전문가 혼합 (Mixture-of-Experts), 증류, 도구 통합 심의 등 다양한 협력 패턴을 지원합니다.

4. 실증 결과

저자들은 4 가지 다른 협력 패턴과 다양한 모델 계열 (Qwen, Llama, Gemma, Mistral) 을 사용하여 9 개 벤치마크(수학, 과학, 의학, 검색, 코드) 에서 RecursiveMAS 를 평가했습니다.

• 정확도: RecursiveMAS 는 고급 단일 에이전트 및 다중 에이전트 베이스라인 (재귀 텍스트 기반 시스템 포함) 대비 평균 정확도 8.3% 향상을 달성했습니다.
  • 추론 집약적 작업에서 주목할 만한 개선: AIME2025 에서 +18.1%, AIME2026 에서 +13.0%.
• 효율성 (속도):
  • 추론 속도 향상: 텍스트 기반 재귀 MAS 대비 1.2 배에서 2.4 배의 엔드 - 투 - 엔드 추론 속도 향상을 달성했습니다. 텍스트 기반 시스템은 누적 토큰 생성 비용으로 인해 고통받기 때문에 재귀 깊이가 증가함에 따라 속도 향상폭이 커집니다.
  • 토큰 감소: 대부분의 상호작용이 압축된 잠재 공간에서 발생하므로 텍스트 기반 베이스라인 대비 토큰 사용량을 **34.6% 에서 75.6%**까지 줄였습니다.
• 확장 법칙:
  • 재귀 깊이: 재귀 라운드 수 ($r=1, 2, 3$) 가 증가함에 따라 성능이 일관되게 향상됩니다.
  • 훈련 대 추론: 더 깊은 재귀 훈련은 성능 프런티어를 상향시키고, 더 깊은 재귀 추론은 학습된 잠재 구조를 추가로 활용합니다.
• 비용: RecursiveMAS 훈련은 단일 에이전트의 전체 파인튜닝이나 LoRA 파인튜닝보다 훨씬 저렴합니다. 경량 재귀 링크 모듈만 업데이트되기 때문입니다 (전체 파라미터의 약 0.31%).

5. 의의

RecursiveMAS 는 다중 에이전트 시스템의 설계 및 훈련 방식을 변화시키는 패러다임 전환을 나타냅니다:

• 효율성: 다중 에이전트 협력의 "토큰 세"를 해결하여 prohibitive 한 지연이나 비용 없이 복잡한 작업을 위한 반복적 추론을 실현 가능하게 합니다.
• 확장성: 단일 모델이 깊이와 함께 확장되는 방식과 유사하게, 시스템 수준 성능을 재귀 루프를 심화함으로써 확장할 수 있음을 보여줍니다. 다만 이는 협력 생태계에 적용된 것입니다.
• 안정성: 협력을 잠재 공간으로 이동시킴으로써 텍스트 기반 시스템에서 역사적으로 심층 재귀 훈련을 괴롭혀 온 그래디언트 불안정성 문제를 극복합니다.
• 일반화: 이 프레임워크가 순차적, 병렬, 증류 등 다양한 에이전트 토폴로지에 걸쳐 일반화될 수 있는 능력은 에이전트 협력을 확장하기 위한 견고하고 보편적인 접근법을 시사합니다.

결론적으로, RecursiveMAS 는 잠재 공간 재귀가 다중 에이전트 시스템을 위한 실현 가능하고 우수한 확장 축임을 증명하며, 더 유능하고 효율적이며 훈련 가능한 협력형 AI 로 가는 길을 제시합니다.