기술 요약: 블랙웰의 정보성 기반 다중 에이전트 의사결정

문제 제기

대형 언어 모델 (LLM) 의 급속한 발전은 질문 응답 (QA) 과 같은 복잡한 과제를 해결하기 위해 여러 에이전트가 협력하는 다중 에이전트 시스템에 대한 관심을 고조시켰습니다. 현재 집계 전략은 주로 투표(예: 다수결 투표) 와 **다중 에이전트 토론 (MAD)**에 의존합니다. 그러나 이러한 방법들은 대부분 임시방편적입니다. 실증 연구에 따르면, 다중 라운드 토론은 종종 단순한 투표보다 성능이 떨어지며, 때로는 다수가 가진 오개념에 수렴하거나 단일 에이전트 기준보다 더 나쁜 결과를 초래합니다. furthermore, 프로토콜과 관계없이 LLM 은 다중 턴 설정에서 빈번히 성능 저하를 보입니다.

이 논문이 다루는 핵심 문제는 다중 LLM 시스템이 사용 가능한 모든 정보를 추출하지 못하는 시기와 이유에 대한 형식적 이해의 부재입니다. 기존 접근법들은 에이전트들의 결합된 지식의 이론적 한계와 비교하여 최종 결정의 정보성에 대한 형식적 보장을 제공하지 못합니다.

방법론

저자들은 블랙웰의 정보성 프레임워크, 즉 정보 구조를 비교하기 위한 의사결정 이론적 접근법을 통해 다중 에이전트 의사결정을 분석합니다.

이론적 분석

1. 정보 구조와 가변 (Garbling): 본 논문은 의사결정 문제를 $(S, A, \phi, \rho)$ 튜플로 형식화합니다. 여기서 $S$는 상태 (진실 레이블), $A$는 행동 (예측), $\phi$는 효용 (부정적 손실), $\rho$는 사전 확률을 나타냅니다. 정보 구조는 상태에 주어진 관측 신호의 조건부 분포로 정의됩니다.
2. 가변 정리: 핵심 개념은 "가변"으로, 한 정보 구조가 다른 정보 구조의 노이즈 버전인 경우를 의미합니다. 저자들은 개인 정보 $d_{1:M}$을 집단적 결정 $g$로 매핑하는 모든 집계 메커니즘 (투표 및 토론 포함) 이 원래의 결합된 개인 정보 $(d_1, \dots, d_M)$에 대한 가변을 구성함을 증명합니다.
3. 상한: 따라서 블랙웰 순서에 따라 투표나 토론에서 도출된 정보 구조는 모든 에이전트의 결합된 개인 정보보다 더 많은 정보를 제공하지 않습니다. 최적의 의사결정 규칙은 베이지안 결합 사후 확률 최대화로 식별됩니다:
   $$\hat{y}^* = \arg\max_{y} \Pr(y | x, d_{1:M})$$
   이 규칙은 정보 이론적 상한선 역할을 합니다.

제안된 방법: MA-PoP

이론적 상한에 영감을 받아, 저자들은 원시 개인 훈련 데이터에 접근하지 않고도 결합된 사후 확률을 근사하는 실용적 방법인 MA-PoP(Multi-Agent Product of Posteriors) 를 제안합니다.

1. 사후 확률 추정: 개인 데이터 $d_m$을 사용할 수 없으므로, 이 방법은 여러 응답 ($N$개의 몬테카를로 샘플) 을 샘플링하고 자연어 추론 (NLI) 크로스-인코더를 사용하여 이러한 응답과 후보 옵션 간의 의미적 유사성을 계산함으로써 각 에이전트의 사후 확률 $\Pr(y|x, d_m)$을 추정합니다.
2. 사후 확률 곱 추정기: 에이전트들의 개인 정보가 조건부 독립이며 사전 확률이 균일하다고 가정할 때, 결합된 사후 확률은 개별 사후 확률들의 곱으로 근사됩니다:
   $$\Pr(y | x, d_{1:M}) \propto \prod_{m=1}^M \Pr(y | x, d_m)$$
   이 공식은 조건부 독립 하에서 정확하며, 에이전트들이 상관되어 있을 때는 증거 누적 근사로 작용합니다.
3. 보정: 객관식 문제에서 옵션의 순열을 처리하고 잘 형성된 확률을 보장하기 위해, 이 방법은 곱셈 전에 유사성 점수를 보정하기 위해 Deep Sets 아키텍처를 사용합니다.

주요 기여

1. 형식적 특성화: 본 논문은 투표와 토론이 에이전트들의 결합된 개인 증거에 접근하는 것보다 정보적으로 열등함을 보여주는 블랙웰 기반 형식화를 제공합니다. 이러한 프로토콜들이 결합된 사후 확률에 비해 필연적으로 정보를 잃는 정보 집계 사례임을 확립합니다.
2. MA-PoP 알고리즘: 저자들은 에이전트별 사후 확률을 곱하여 결합된 사후 확률을 직접 근사하는 실용적 추정기 (MA-PoP) 를 구체화합니다. 이 추정기는 조건부 독립 하에서 정확하며 이질적인 환경에서 견고합니다.
3. 실증적 검증: MMLU 전문 의학/형식 논리, HellaSwag, CommonsenseQA, HH-RLHF, MedMCQA 등 여섯 가지 QA 벤치마크에 대한 광범위한 실험은 MA-PoP 가 최첨단 토론 방법 (중앙집중식, 분산형, 희소, 자유 MAD) 과 투표 기반 기준선 (다수결 투표, 자기 일관성, 로그-선형 의견 풀링, 역 놀라움 인기) 보다 우수함을 입증합니다.

결과

• 성능: MA-PoP 는 이질적 환경에서 평가된 모든 데이터셋에서 가장 높은 정확도를 달성합니다 (예: MMLU Pro. Med. 에서 0.8787, CSQA 에서 0.8800).
• 토론의 한계: 결과는 다중 라운드 토론이 단일 턴 집계와 비교하여 종종 체감하거나 부정적인 수익을 낳음을 확인시킵니다. 일부 경우 (예: HellaSwag) 에서는 전통적인 토론 방법이 최선의 단일 에이전트보다도 성능이 낮지만, MA-PoP 는 보완적 지식을 성공적으로 활용합니다.
• 효율성: MA-PoP 는 계산적으로 효율적이며, 단일 라운드 투표와 유사한 토큰 사용량을 요구하고 다중 라운드 토론 방법보다 훨씬 낮습니다. 추가 보정 단계 (NLI 점수 매기기) 는 샘플당 1 초 미만이 소요됩니다.
• 견고성: 이 방법은 에이전트 다양성이 감소한 경우 (예: 2 개 에이전트) 와 동질적 환경에서도 효과적이지만, 조건부 독립 가정 위반으로 인한 에이전트 중복이 증가함에 따라 성능 향상은 정체됩니다.
• 보정: MA-PoP 는 보정되지 않은 방법들에 비해 기대 보정 오차 (ECE) 와 최대 보정 오차 (MCE) 를 크게 개선합니다.

중요성과 주장

이 논문은 다중 LLM 시스템에서 대화형 토론의 한계가 다중 에이전트 협력 자체에서 비롯된 것이 아니라, 정보를 폐기하는 비최적 집계 전략에서 비롯된다고 주장합니다. 의사결정을 블랙웰의 정보성 프레임워크에 기반하게 함으로써, 저자들은 베이지안 결합 사후 확률 최대화가 정보 이론적 기준 규칙임을 입증합니다.

MA-PoP 의 중요성은 에이전트들의 개인 훈련 데이터나 복잡한 반복적 통신에 접근할 필요 없이 이 최적 규칙을 근사할 수 있는 능력에 있습니다. 저자들은 겸손하게 이 방법이 조건부 독립 가정에 의존한다고 지적합니다. LLM 들이 중복된 사전 훈련 데이터를 공유하는 현실적 시나리오에서는 추정기가 과도하게 확신할 수 있습니다. 그러나 실증적 결과는 부분적 의존성이 있더라도 이 방법이 기존 토론 및 투표 프로토콜에 비해 안정적이고 우수한 대안을 제공함을 시사합니다. 이 연구는 형식적 정보 이론적 보장을 가진 것으로 다중 에이전트 의사결정을 휴리스틱 과정으로부터 재정의합니다.