기술 요약: SHARP – 다중 에이전트 시스템을 위한 샤플리 기반 신용 기반 최적화 (Shapley Credit-based Optimization for Multi-Agent Systems)

1. 문제 정의

대규모 언어 모델(LLM)을 외부 도구와 결가된 다중 에이전트 시스템(MAS)과 통합하는 것은 복잡한 추론 및 계획 과제를 해결하기 위한 유망한 패러다임을 제공한다. 그러나 이러한 시스템을 학습시키는 데에는 신용 할당(credit assignment) 문제가 걸림돌이 된다. 협력적 MAS 아키텍처(일반적으로 플래너와 특화된 워커 에이전트로 구성됨)에서, 특정 에이전트가 의사 결정 궤적의 성공 또는 실패에 대해 구체적으로 어떤 책임을 지는지 파악하기 어렵기 때문이다.

기존 방법들은 다중 에이전트 팀을 하나의 단일 개체로 취급하는 **희소하고 전역적으로 브로드캐스트되는 보상(sparse, globally broadcast rewards)**에 주로 의존한다. 이러한 접근 방식은 개별적인 기여를 포착하지 못하여, 고품질의 개별 행동이 전체 팀의 성과에 의해 가려지는 비효적인 강화 학습(RL) 업데이트를 초래한다. 또한, 현재의 가치-자유 최적화 방법(예: DPO, GRPO) 및 특화된 MARL 프레임워크는 결합된 행동 공간 내에서 개별 에이전트의 한계 기여도를 분리해 내는 데 어려움을 겪는 경우가 많다.

2. 방법론: SHARP 프레임워크

이러한 한계를 해결하기 위해 저자들은 정밀하고 세밀한 신용 할당을 통해 다중 에이전트 학습을 안정화하도록 설계된 프레임워크인 **SHARP (Shapley-based Hierarchical Attribution for Reinforcement Policy)**를 제안한다.

2.1. 시스템 아키텍처

SHARP는 공유 정책 $\pi_\theta$를 사용하는 자기 놀이(self-play) 다중 에이전트 모델링 패러다임을 채택한다.

• 역할: 단일 모델이 역할별 시스템 프롬프트를 통해 이질적인 역할(Planner 및 Workers)을 인스턴스화한다.
• 실행: 플래너는 고수준의 하위 작업 쿼리를 생성하며, 이는 워커 에이전트가 외부 도구(예: 검색, 계산기, 코드 인터프리터)와 상호작용하도록 트리거한다.
• 최적ization: 전체 과정은 공유 정책 하의 단일 궤적으로 엔드투엔드(end-to-end) 최적화되어 통일된 파라미터 업데이트를 가능하게 한다.

2.2. 삼중 분해 보상 메커니즘 (Tripartite Decomposed Reward Mechanism)

SHARP의 핵심 혁신은 단일한 브로드캐스트 신호를 넘어선 보상 분해 원칙이다. 궤적 $i$에 대한 에이전트 $m$의 총 대리 보상 $\bar{R}_{i,m}$은 세 가지 구성 요소의 가중 결합이다:

1. 전역 브로드캐스트-정확도 보상 ($R^b$): 최종 응답이 정답(ground truth)과 일치하는지를 나타내는 이진 터미널 신호($0$또는$1$)이다. 이는 전역적인 과제 정렬을 보장하며 모든 에이전트에게 브로드캐스트된다.
2. 샤플리 기반 한계 기여 보상 ($R^{mc}$): 이 구성 요소는 협력 게임 이론의 **샤플리 값(Shapley values)**을 사용하여 각 에이전트의 구체적인 기여도를 정량화한다.
   • 역설적 마스킹 (Counterfactual Masking): 시스템은 환경과 다른 에이전트들을 유지하면서, 의사 결정 궤적에서 특정 에이전트를 제거(마스킹)했을 때 발생하는 성능 차이($\Delta$)를 측정함으로써 해당 에이전트의 인과적 영향을 격리한다.
   • 플래너 신용 (Planner Credit): 플래너의 신용은 워커 풀의 양(+)의 한계 기여도의 평균으로 정의되며, 이를 통해 플래너의 목적을 집단적 효용과 일치시킨다.
   • 워커 신용 (Worker Credit): 전체 궤적과 특정 워커가 제거된 궤적 사이의 과제 성공도 차이로 계산된다.
3. 도구 프로세스 보상 ($R^{tool}$): 도구 호출의 유효성과 실행 가능성을 평가하는 프로세스 수준의 신호로, 에이전트가 단순히 도구 사용을 환각(hallucinate)하는 것이 아니라 올바르게 실행하도록 보장한다.

2.3. 최적화 전략

SHARP는 개선된 그룹 상대적 정책 최优化 (Group Relative Policy Optimization, GRPO) 접근 방식을 활용한다.

• 이점 정규화 (Advantage Normalization): 에이전트별 이점(advantage)은 해당 특정 에이전트 역할을 위한 보상의 평균을 빼고 표준 편차로 나눔으로써 궤적 그룹 전체에 걸쳐 정규화된다.
• 클리핑된 대리 목적 함수 (Clipped Surrogate Objective): 프레임워크는 협력적 학습 과정을 불안정하게 만들 수 있는 큰 편차를 방지하기 위해 클리핑된 목적 함수를 사용하여 안정적인 정책 업데이트를 보장한다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 설명한다:

1. SHARP 프레임워크: 에이전트별 이점을 정규화하고 정밀한 신용 할당을 제공하여 다중 에이전트 학습을 안정화하는 새로운 RL 프레임워크로, 이질적인 에이전트를 정렬하기 위한 통합된 솔루션을 제공한다.
2. 유연한 보상 분해: 다양한 LLM 크기와 다중 에이전트 구조(순차 체인, 통신 그래프, 계층적 플래너-워커 패러다임)에 적용 가능한 삼중 보상 메커니즘(전역 정렬, 샤플리 기반 한계 기여, 프로세스 유효성)을 도입한다.
3. 실증적 검증: SHARP가 단일 에이전트 RL 및 기존 다중 에이전트 프레임워크를 포함한 최첨단 베이스라인보다 성능이 크게 우수함을 입증하는 광범위한 실험을 수행한다.

4. 실험 결과

저자들은 다섯 가지 실제 벤치마크인 MuSiQue, GAIA-text, WebWalkerQA, FRAMES, DocMath-Eval에 대해 SHARP를 평가했다.

• 성능 향상: Qwen3-8B 백본을 사용하여, SHARP는 단일 에이전트 접근 방식 대비 평균 23.66%, 기존 다중 에이전트 베이스라인 대비 **14.05%**의 매치(match) 개선을 달알성했다.
• 절제 연구 (Ablation Studies): 샤플리 기반 신용 할당을 제거했을 때 성능이 크게 하락하였으며, 이는 한계 기여 모델링이 단순한 아키텍처 복잡성보다 성공의 핵심 동력임을 확인시켜 준다.
• 확장성: SHARP는 강력한 스케일링 법칙을 보여주었으며, 8B 백본에서 단일 에이전트 베이스라인 대비 14.41포인트의 향상을 달성했다. 모델 크기가 커질수록 성능 이득이 확대되었다.
• 안정성: 변동성을 보였던 베이스라인들과 달리, SHARP는 180회의 최적화 단계 동안 정확도에서 단조로운 개선을 보여주었으며, 이는 보상 분산을 줄였음을 나타낸다.
• 협업 분석: SHARP는 "유용한" 하위 에이전트의 비율을 높이고 "해로운" 하위 에이전트 호출을 5.48%에서 4.40%로 감소시킴으로써 에이전트 간 상호작용을 재형성했다.

5. 의의 및 주장

본 논문은 SHARP가 협력적 다중 에이전트 시스템의 신용 할당 병목 현상을 해결하기 위한 수학적으로 근거 있는 토대를 제공한다고 주장한다. 집합적 결과로부터 개별 인과적 영향을 명시적으로 분리함으로써, SHARP는 다음을 가능하게 한다:

• 안정적인 공동 최적화: 이질적인 에이전트 간의 일관된 협력을 촉진한다.
• 해석 가능성: 어떤 에이전트가 과제에 긍정적 또는 부정적으로 기여하는지에 대한 통찰을 제공한다.
• 일반화: 다양한 과제 분포와 모델 규모에 걸쳐 견고한 성능을 입증한다.

저자들은 SHARP를 단순한 성능 향상 도구가 아니라, 계층적 MAS에서의 확장 가능하고 해석 가능한 협업을 위한 원칙적인 접근 방식으로 규정하며, 정밀한 신용 할당이 도구 증강 다중 에이전트 시스템의 효과적인 학습에 필수적임을 시사한다.