HieraMAS: Optimizing Intra-Node LLM Mixtures and Inter-Node Topology for Multi-Agent Systems

1. 연구 배경 및 문제 정의 (Problem)

대규모 언어 모델 (LLM) 기반의 다중 에이전트 시스템 (MAS) 은 다양한 작업에서 단일 에이전트보다 뛰어난 성능을 보여주고 있습니다. 그러나 기존 연구들은 다음과 같은 한계를 가지고 있습니다.

• 단일 단위 처리: 각 에이전트를 단일한 LLM 으로 간주하여, 에이전트 내부의 LLM 혼합 (Mixture) 을 활용하지 못함.
• 분리된 최적화: 통신 토폴로지 (Communication Topology), 역할 할당 (Role Assignment), LLM 라우팅 (LLM Routing) 을 각각 독립적으로 최적화하거나, 이 중 일부만 고려함.
• 신용 할당 문제 (Credit Assignment Challenge):
  1. 노드 수준: 최종 작업 성공 여부가 개별 에이전트의 오류를 가려 (Masking), 하위 에이전트가 잘못된 방향으로 학습할 수 있음.
  2. 에지 (Edge) 수준: 개별 통신 링크의 기여도를 분리하기 어렵고, 잘못된 링크가 강화되거나 제거될 수 있음.

이러한 문제들을 해결하기 위해 HieraMAS는 에이전트 내부의 LLM 혼합과 에이전트 간의 통신 토폴로지를 통합적으로 최적화하는 새로운 프레임워크를 제안합니다.

2. 제안 방법론: HieraMAS (Methodology)

HieraMAS 는 계층적 협업 구조를 도입하며, 두 가지 핵심 혁신을 통해 문제를 해결합니다.

2.1. 초노드 (Supernode) 구조 및 내부 LLM 혼합

기존의 단일 에이전트 노드를 **초노드 (Supernode)**로 대체합니다. 각 초노드는 특정 기능적 역할 (Role) 을 수행하며, 내부적으로 다음과 같은 구조를 가집니다.

• Propose-Synthesis 구조: 여러 개의 제안자 (Proposer) LLM 이 다양한 답변을 생성하고, 하나의 합성자 (Synthesizer) LLM 이 이를 통합하여 최종 응답을 생성합니다.
• 이질적 LLM 혼합: 각 역할 내에서 비용과 성능을 고려하여 서로 다른 크기와 능력을 가진 LLM 들을 동적으로 선택합니다.
• Skip Token: 불필요한 제안자나 역할 전체를 'Skip' 토큰으로 제거하여 비용을 절감하고 시스템 구조를 적응적으로 조정합니다.

2.2. 두 단계 학습 알고리즘 (Two-Stage Training Algorithm)

공동 최적화의 어려움 (Credit Assignment) 을 해결하기 위해 학습을 두 단계로 분리합니다.

• 1 단계: 초노드 최적화 (Supernode Optimization)

  • 목표: 각 초노드 내의 최적 LLM 조합과 역할 선택을 학습.
  • 방법: 무작위로 샘플링된 그래프 토폴로지를 사용하여 다양한 통신 패턴에 노출시킴.
  • 핵심 기법 (Multi-Level Rewards): 최종 보상뿐만 아니라 노드 수준의 보상을 결합한 다단계 보상 구조를 사용합니다. 이는 개별 에이전트의 오류가 시스템 전체 성공으로 가려지는 것을 방지하고, 정교한 신용 할당을 가능하게 합니다.

• 2 단계: 그래프 분류기 학습 (Graph Classifier Training)

  • 목표: 에이전트 간 최적의 통신 토폴로지 학습.
  • 문제 해결: 에지 단위의 최적화는 신용 할당이 어렵기 때문에, 전체 그래프를 하나의 단위로 분류하는 문제로 재정의합니다.
  • 방법:
    1. 다양한 무작위 방향 비순환 그래프 (DAG) 로 구성된 후보 풀 (Candidate Pool) 을 생성합니다.
    2. 고정된 LLM 선택기로 각 후보 그래프를 실행하여 보상을 계산합니다.
    3. **그래프 분류기 (Graph Classifier)**를 훈련시켜 특정 쿼리에 가장 적합한 그래프 토폴로지를 선택하도록 합니다. 이는 에지 단위의 불확실성을 제거하고 전역 최적화를 가능하게 합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 MAS 패러다임: 에이전트 내부 (Intra-node) 의 LLM 혼합과 에이전트 간 (Inter-node) 통신을 통합한 계층적 협업 프레임워크를 처음 제안했습니다.
2. 통합 최적화 프레임워크: LLM 선택, 역할 유지/삭제, 통신 토폴로지를 하나의 정책으로 공동 최적화하여 시스템 전체의 효율성을 극대화합니다.
3. 신용 할당 문제 해결:
   • 다단계 보상 (Multi-level Rewards) 을 통해 노드 수준의 정확한 피드백을 제공합니다.
   • 토폴로지 최적화를 '그래프 분류' 문제로 변환하여 에지 단위 신용 할당의 비실현성을 우회합니다.
4. 성능 및 비용 효율성: 다양한 벤치마크에서 최첨단 (SOTA) 성능을 달성하면서도, 기존 방법 대비 비용 대비 성능 (Cost-performance) 이 뛰어납니다.

4. 실험 결과 (Results)

데이터셋: HumanEval++ (코딩), MATH (수학 추론), MMLU-Redux (일반 지식)

• 성능: HieraMAS 는 평균 정확도 **94.61%**를 기록하여, 기존 최상위 방법론 (AFlow, MASRouter 등) 보다 월등히 높은 성능을 보였습니다. 특히 HumanEval++ 와 MATH 에서 가장 좋은 결과를 달성했습니다.
• 비용 효율성:
  • Full-Graph (모든 에이전트 연결) 대비 약 3 배 이상 저렴한 비용으로 동급 이상의 성능을 달성했습니다.
  • AFlow 대비 학습 비용이 약 18 배 낮았습니다.
  • LLM 선택 전략: 모든 에이전트에 가장 강력한 모델을 사용하는 대신, 역할과 작업 특성에 맞춰 약한 모델과 강한 모델을 혼합하여 비용을 절감하면서도 정확도를 유지했습니다.
• 학습된 토폴로지 분석: 학습된 토폴로지는 완전 연결 그래프보다 훨씬 희소 (Sparse) 하고 불규칙한 구조를 보였습니다. 예를 들어, '비평가 (Critic)'는 정보 소스 (Source) 로, '심리학자/의사'는 정보 수신자 (Sink) 로 자주 선택되는 등 역할에 따른 명확한 정보 흐름 패턴이 학습되었습니다.

5. 의의 및 결론 (Significance)

HieraMAS 는 다중 에이전트 시스템의 설계에 있어 **내부적 혼합 (Internal Mixture)**과 **외부적 구조 (External Topology)**가 상호 보완적으로 작용할 수 있음을 입증했습니다.

• 이론적 기여: 다중 에이전트 시스템에서의 복잡한 신용 할당 문제를 다단계 보상과 그래프 분류 접근법을 통해 체계적으로 해결한 이론적 근거를 제시했습니다.
• 실용적 가치: 제한된 예산 하에서 복잡한 추론 작업을 수행할 수 있는 비용 효율적인 MAS 아키텍처를 제공하며, 실제 산업 응용 (코딩, 수학, 전문 지식 QA 등) 에 적용 가능한 확장성을 보여줍니다.

결론적으로, HieraMAS 는 단일 에이전트의 능력을 내부적으로 증폭시키고, 에이전트 간 협업을 최적의 구조로 조율함으로써 차세대 지능형 다중 에이전트 시스템의 새로운 표준을 제시합니다.