기술 요약: GRADE – 효율적인 다중 에이전트 추론을 위한 게이트 기반 라우팅 및 적응형 깊이 제어

문제 정의

본 논문은 대규모 언어 모델(LLM)의 규모를 확장할 때 발생하는 수익 체감 현상과 선형적으로 증가하는 비용 문제를 다룹니다. 다중 에이전트 협업은 단일 모델보다 훨씬 적은 활성 파라미터 예산으로도 성능을 높일 수 있는 경로를 제시하지만, 기존 방식들은 세 가지 결정적인 한계점을 가집니다:

1. 제한된 깊이 적응성: 대부분의 시스템은 쿼리의 난이도와 상관없이 모든 쿼리를 전체 에이전트 스택을 통해 라우팅하며, 이질적인 다중 에이전트 풀(pool) 전반에 걸친 적응형 계산이나 조기 종료(early exit)를 구현하지 못합니다.
2. 조잡한 통신 제어: 기존 시스템은 일반적으로 모든 메시지를 브로드캐스트하거나 집계 시 필터링 없이 통합합니다. 공동으로 학습된 계층적 프레임워크 내에서 (언제, 누구와 통신할지를 결정하는) 학습된 선택적 에이전트 간 통신은 아직 탐구되지 않았습니다.
3. 재보정(Recalibration)의 부재: 기존 시스템은 추론 시 전문가가 교체될 때 게이트 임계값을 재보정하는 메커니즘이 부족합니다. 전문가를 조용히 교체하면 원래 모델의 출력 분포에 맞춰 튜닝된 임계값이 무효화되어 성능 붕괴를 초래합니다.

방법론: GRADE 프레임워크

저자들은 동적으로 계산량을 할당하고, 에이전트를 선택하며, 네 개의 공동 학습된 게이트를 통해 통신을 관리하는 계층적 다중 에이전트 시스템인 GRADE(Gated Routing and Adaptive Depth for Efficient Reasoning)를 제안합니다.

아키텍처

GRADE는 3단계 계층 구조로 작동합니다:

• 레벨 0 (오케스트레이터): 인코딩된 쿼리를 소비하여 직접 답변을 제공하거나 더 깊은 레벨로 라우팅할 수 있는 경량 모델($M_0$)입니다.
• 레벨 1 (매니저): 쿼리 표현을 투영하고 하위 에이전트의 할당을 편향시키기 위한 그룹화 신호를 제공하는 두 개의 매니저 모듈입니다. 이들은 토큰을 생성하지 않으며 관련 전문가를 모집하는 역할을 촉진합니다.
• 레벨 2 (하위 에이전트): **전문가 레지스트리(Expert Registry)**에서 추출된 특화된 전문가 에이전트 풀입니다. 각 에이전트는 동결된 LLM 백엔드, 경량 학습 가능 어댑터, 답변 헤드, 그리고 **보정 맵(calibration map)**으로 구성됩니다.

조정 게이트(Coordination Gates)

네 개의 학습된 게이트(작은 MLP)가 단일 순전파 과정에서 시스템의 동작을 제어합니다:

1. 할당 게이트(Assignment Gate): 쿼리와 에이전트 간의 친밀도 및 매니저의 그룹화 신호를 기반으로 활성화할 하위 에이전트를 선택합니다. 이는 동적 토폴로지(Bernoulli 샘플링) 또는 고정된 top-$k$를 지원합니다.
2. 깊이 게이트(Depth Gate): 탐색할 계층 수준을 결정합니다 (0: 오케스트레이터만 사용; 1: 매니저; 2: 전체 하위 에이전트 풀). 이를 통해 적응형 계산을 가능하게 합니다.
3. 교차 읽기 게이트(Cross-Read Gate): 조합 전 바이너리 마스크를 통해 어떤 에이전트 쌍이 정보를 교환할지를 결정하는 선택적 통신 메커니즘입니다.
4. 가지치기 게이트(Prune Gate): 활성 브랜치에 가치 추정치를 할당하여, 비용이 많이 드는 교차 주의(cross-attention) 결합 단계 이전에 효용이 낮은 브랜치를 제거합니다.

학습: CoGRPO

시스템은 CoGRPO(Collaborative Group-Relative Policy Optimization)를 사용하여 엔드투엔드로 학습됩니다. 이는 Group-Relative Policy Optimization(GRPO)의 크리틱(critic) 없는 변형입니다.

• 공동 정책(Joint Policy): 시스템은 깊이, 에이전트 할당, 통신 마스크, 가지치기 결정에 대해 공동 정책을 최적화합니다.
• 신용 할당(Credit Assignment): 학습된 크리틱 대신, CoGRPO는 롤아웃에 참여하는 모든 게이트와 에이전트에 대해 공유된 그룹 상대적 이점($\hat{A}$)을 계산합니다. 이 "협력적 신용 할당"은 모든 참여자를 동일한 스칼라 이점 신호로 업데이트합니다.
• 보상 함수: 보상은 최종 정답 신호, 로그 확률을 위한 마진 항, 에이전트 수준의 정렬 항, 그리고 불필요한 계산을 억제하기 위한 비용 페널티를 결합합니다.

핫스왑 가능한 전문가(Hot-Swappable Experts)

추론 시 게이트를 재학습하지 않고도 전문가를 교체할 수 있도록, GRADE는 에이전트별 보정 맵($\kappa_a$)을 채택합니다. 이는 64개의 앵커 쿼리만을 사용하여 새로운 전문가의 임베딩 분포를 학습된 분포와 일치시키는 학습 가능한 아핀 정규화(affine normalization)입니다.

주요 기여

1. 조정 하네스(Coordination Harness): 쿼리별 계산 할당, 선택적 통신, 브랜치 가지치기를 가능하게 하는 네 개의 공동 학습된 게이트를 갖춘 통합 프레임워크입니다.
2. CoGRPO: 가치 함수 없이 모든 참여 구성 요소에 공유된 이점을 할당하여 다중 에이전트 계층 구조의 안정적인 학습을 가능하게 하는 새로운 크리틱 없는 학습 레시피입니다.
3. 전문가 레지스트리 및 보정: 핵심 조정 로직을 재학습할 필요 없이, 에이전트별 보정을 통해 성능을 유지하면서 런타임에 안전하게 전문가를 교체할 수 있는 메커즘입니다.

실험 결과

GRADE는 GSM8K, MMLUPro, GPQA, AIME-2025에서 평균 ~17B의 활성 파라미터(쉬운 쿼리의 경우 0.5B에서 어려운 쿼리의 경우 ~32B까지 다양)를 사용하여 평가되었습니다.

• 성능: GRADE는 GSM8K(94.8%), MMLUPro(78.2%), GPQA(57.4%)에서 모든 베이스라인을 능가합니다. 특히, MMLUPro에서는 가장 강력한 베이스라인인 Puppeteer보다 4.8포인트, GPQA에서는 3.3포인트 높은 성능을 보이면서도 약 절반의 활성 컴퓨팅 자원을 사용했습니다.
• 효율성: MMLUPro에서 GRADE는 3.1~11.4초의 지연 시간(쿼리 난이도에 따라 다름)과 52GB VRAM을 사용하여 최고 정확도를 달 기록했습니다(Puppeteer의 고정된 13초 지연 시간 및 56GB VRAM 대비).
• AIME-2025: 이 올림피아드 수준의 수학 벤치마크에서 Puppeteer가 1.9포인트의 우위(27.2% vs 25.3%)를 점했습니다. 저자들은 이를 GRADE의 더 작은 하위 에이전트(3B–7B)의 개별 역량이 Puppeteer의 더 큰 모델에 비해 부족하기 때문이라고 분석했습니다.
• 어블레이션 연구(Ablations):
  • 계층 구조: 깊이 게이트와 매니저 레벨을 제거하면 정확도가 7.2포인트 하락합니다.
  • 통신: 교차 읽기(Cross-Read)를 비활성화하면 정확도가 4.2포인트 하락하여, 선택적 에이전트 간 통신의 중요성을 입증했습니다.
  • 보정: 보정을 제거하면 전문가 교체 시 즉각적으로 18포인트의 정확도 하락이 발생하며 회복에 20개 이상의 쿼리가 필요하지만, 보정된 교체는 9개 이내의 쿼리로 회복됩니다.

의의 및 주장

본 논문은 GRADE가 다중 에이전트 추론의 이득이 "추가된 용량이 아니라 절제(restraint)에서 온다"는 것을 보여준다고 주장합니다. 이 시스템은 더 많은 계산량을 추가하는 것이 아니라, 쉬운 쿼리에 대해서는 계산을 유보하고, 불필요한 브랜치를 제거하며, 선택적으로 통신하는 법을 학습함으로써 최첨단(SOTA) 결과를 달성합니다.

저자들은 다음을 강조합니다:

• 동적 라우팅은 고정된 $k$-ensemble보다 우수합니다. 에이전트를 과잉 할당하는 것(예: $k=3$ 대신 $k=5$ 사용)은 노이즈를 주입하고 성능을 저하시킵니다.
• 선택적 통신(Cross-Read)은 필수적입니다. 전체 통신을 강제하는 것($\rho=1.0$)은 중복된 노이즈를 도입하여 성능을 해칩니다.
• 보정은 런타임 적응성을 위한 안전 장치입니다. 이를 통해 코어 조정 로직을 재학습하지 않고도 전문가를 교체할 수 있습니다.

이 연구는 계층적 다중 에이전트 시스템이 협력적 RL로 학습될 경우, 쿼리의 난이도에 따라 깊이와 통신 전략을 적절히 조절할 수 있다면 훨씬 낮은 활성 파라미터 예산으로도 단일 모델 및 평면적(flat) 앙상블보다 뛰어난 성능을 낼 수 있음을 확립합니다.