기술 요약: 의미 있는 에이전트: 제거 기반 귀속을 통한 다중 에이전트 LLM 최적화

문제 제기

대규모 언어 모델 (LLM) 이 소프트웨어 엔지니어링 및 의료 진단과 같은 복잡한 작업을 위한 협력적 다중 에이전트 시스템 (MAS) 으로 점점 더 배포됨에 따라, 시스템 수준의 실패와 성능 개선이 특정 에이전트에게 귀속되기 어려워졌습니다. 에이전트의 기여도는 단순히 기반 모델의 능력에 의존하는 것이 아니라, 할당된 역할, 다른 에이전트와의 상호작용, 그리고 시스템의 통신 토폴로지에 크게 의존합니다. 기존 귀속 할당 접근법은 엄격하고 통일된 프레임워크가 부족합니다. 이러한 방법들은 종종 에이전트 연합의 재평가나 맥락 내 시뮬레이션, 독립적 심사관과 같은 상이한 제거 절차에 의존하며, 이러한 설계 선택이 서로 다른 협력 토폴로지에서 어떻게 상호작용하는지를 체계적으로 조사하지 않습니다. 결과적으로, 실무자들은 정확성, 계산 비용, 해석 가능성을 균형 있게 잡는 귀속 방법을 선택하기 위한 명확한 지침이 부족합니다.

방법론

저자들은 에이전트 귀속을 프로토콜 조건부 협력 게임으로 공식화하여 Covert 등 (2021) 의 프레임워크를 확장했습니다. 이 통일된 프레임워크는 세 가지 매개변수를 통해 귀속 쿼리를 정의합니다:

1. 제거 프로토콜 ($b$): 에이전트가 시스템에서 "제거"되는 방법.
2. 연합 분포 ($w_i(S)$): 기여도를 추정하는 데 사용되는 다양한 에이전트 부분집합 (연합) 의 가중치.
3. 목표 지표 ($G$): 실행 추적에서 도출된 스칼라 점수 (예: 작업 성공, 토큰 사용량).

핵심 구성 요소

• 공식적 정의: MAS 는 프로토콜 $b$에 조건부인 유틸리티 함수 $\nu$를 가진 튜플 $(A, \Gamma, \nu)$로 정의됩니다. 귀속 점수 $\phi^b_i$는 한계 기여도 $\Delta^b_i(S)$의 가중 평균입니다.
• 제거 프로토콜:
  • 에이전트 제거 (Ablation): 에이전트를 완전히 제거합니다 (null 프로토콜). 이는 구조적 중요성을 포착하지만, 오케스트레이터와 같은 중요한 역할이 제거될 경우 시스템 실패를 초래할 수 있습니다.
  • 내성적 제거 (Introspective Removal): LLM 심사관을 사용하여 맥락 내 프롬프팅을 통해 에이전트의 부재를 시뮬레이션합니다. 이는 시스템 충돌을 피하지만 시뮬레이션의 충실도에 의존합니다.
  • 모델 교체 (Novel): 에이전트의 백본 모델을 다른 모델 (예: 더 약한 오픈소스 모델) 로 교체하되 역할을 인스턴스화한 상태로 유지하는 토폴로지 보존 프로토콜입니다. 이는 시스템 그래프를 파괴하지 않고 역할에 할당된 특정 모델 용량의 한계 유틸리티를 측정합니다.
• 연합 분포: 본 논문은 Leave-One-Out (LOO), 샤플리 값, 그룹 구조를 위한 오웬 값, 그리고 그래프 제약을 위한 마이어슨 값을 비교합니다.

실험 설정

이 프레임워크는 세 가지 벤치마크 (PlanCraft, WorkBench, BrowseComp-Plus) 와 네 가지 통신 토폴로지 (독립형, 중앙 집중형, 분산형, 하이브리드) 에 걸쳐 구현되었습니다. 연구는 폐쇄형 모델 (Gemini-2.5-Flash, Claude 3.5 Haiku, GPT-5-mini) 과 모델 교체 프로토콜을 위한 오픈소스 대체 모델 (Qwen3.5-122B-A10B) 을 사용하여 귀속 방법을 평가했습니다.

주요 기여

1. 통일된 프레임워크: 본 논문은 MAS 귀속을 위한 공식적이고 프로토콜 조건부 게임 이론적 프레임워크를 수립하여, 귀속 점수가 보편적 중요도 점수가 아니라 특정 쿼리 (프로토콜, 분포, 지표) 에 상대적임을 명확히 합니다.
2. LOO 의 효율성: 저자들은 Leave-One-Out (LOO) 귀속이 단순함에도 불구하고 샤플리, 오웬, 마이어슨과 같은 결합적 방법과 마찬가지로 병목 에이전트를 효과적으로 식별하지만, 계산 비용의 일부 (토큰 사용량 3.2 배에서 7.5 배 감소) 로 달성할 수 있음을 입증했습니다.
3. 제거 프로토콜의 충실도: 연구는 제거 프로토콜이 서로 다른 귀속 게임을 유도함을 밝혔습니다. 에이전트 제거는 구조적 병목 (예: 중앙 집중형 시스템의 오케스트레이터) 을 강조하는 반면, 내성적 제거(LLM 심사관 사용) 는 실제 제거를 충실히 근사하지 못하여, 특히 복잡한 토폴로지에서는 실제 제거 값과 상관관계가 낮습니다.
4. 최적화를 위한 모델 교체: 모델 교체의 도입은 능력 할당 분석을 가능하게 합니다. 기여도가 낮은 에이전트를 저렴한 오픈소스 모델로 교체함으로써 시스템은 성능을 희생하지 않고 비용을 절감할 수 있습니다.
5. 지표의 분해: 의료 MAS 에서 저자들은 진단 정확도와 윤리적 정렬에 대한 기여도가 종종 분리되어 있음을 보여줍니다. 정확도를 향상시키는 에이전트는 윤리적 점수를 저하시킬 수 있으며, 그 반대의 경우도 마찬가지입니다.

주요 결과

• 비용 대 성능: PlanCraft 벤치마크에서 LOO 기반 모델 교체를 사용하여 하위 순위 에이전트를 교체한 결과, 청구 가능한 토큰 사용량이 최대 35% 감소하는 동시에 작업 성공률이 최대 17% 향상되었습니다. 반면, 계층적 토폴로지에서의 에이전트 제거는 종종 성능을 저하시켰습니다.
• 프로토콜의 불일치: 중앙 집중형 및 하이브리드 토폴로지에서는 에이전트 제거가 오케스트레이터에 높은 귀속 점수 (~0.3) 를 부여한 반면, 모델 교체는 동일한 역할에 낮거나 음의 귀속 점수를 부여하여 오케스트레이터의 특정 모델 용량이 한계 병목이 아님을 나타냈습니다.
• 내성적 한계: 내성적 제거는 에이전트 제거와 제한된 일치도를 보였습니다 (예: 하이브리드 설정에서 $R^2$가 -9.94 까지 낮음), 이는 LLM 심사관이 진정한 에이전트 제거를 신뢰할 수 있게 시뮬레이션할 수 없음을 확인시켜 주었습니다.
• 의료 사례 연구: MDTeamGPT 에서 윤리적 귀속이 음수인 에이전트 (전문가, 분류, CoT 검토자) 를 오픈소스 모델로 교체한 결과, 윤리적 정렬 점수가 4% 증가하면서 진단 정확도는 유지되었고 윤리 작업의 토큰 사용량은 최대 78.8% 감소했습니다.
• 코드 생성 사례 연구: MetaGPT 에서 음의 귀속을 가진 제품 관리자 에이전트를 저렴한 모델로 교체한 결과, pass@1 이 62% 에서 79% 로 향상되었고 비용은 38% 절감되었습니다.

중요성과 주장

본 논문은 비용 효율적인 MAS 귀속 및 개입을 위한 원칙적인 접근법을 제공한다고 주장합니다. 그 중요성은 다음과 같습니다:

• 귀속의 신비 해소: 단일 "올바른" 귀속 점수는 없으며, 프로토콜과 분포의 선택이 답을 결정한다는 점을 명확히 합니다.
• 실용적 최적화: 이론적 귀속 할당을 넘어 실행 가능한 시스템 공학으로 나아가는 MAS 성능 및 비용 최적화를 위한 구체적이고 저비용의 방법 (LOO + 모델 교체) 을 제시합니다.
• 안전 및 윤리: 윤리와 같은 비성능 지표를 위한 복잡한 시스템 감시에 귀속 프레임워크의 유용성을 입증하여, 한 지표 (정확도) 를 최적화하는 것이 다른 지표 (윤리) 를 실수로 해칠 수 있음을 보여주며, 표적 개입이 이러한 트레이드오프를 해결할 수 있음을 보여줍니다.

저자들은 한계에 대해 겸손하게 언급하며, 결합적 평가의 계산 비용으로 인해 현재 분석은 중규모 시스템 (4~6 개 에이전트) 으로 제한되어 있으며, 동적 에이전트 모집이나 인스턴스 수준 귀속으로 프레임워크를 확장하는 것은 향후 과제로 남아 있다고 밝혔습니다.