기술 요약: 다양한 증거, 더 나은 예측: 정보 비대칭 하에서의 다중 에이전트 심의

문제 정의

대규모 언어 모델(LLM)을 활용하는 다중 에이전트 시스템은 여러 에이전트 간의 심의가 추론과 보정(calibration)을 개선한다는 가정하에 미래 사건을 예측하는 데 점점 더 많이 사용되고 있다. 그러나 기존 방식은 일반적으로 모든 에이전트에게 동일한 증거 코퍼스를 제공한다. 저자들은 이러한 설계의 결정적인 결함을 지적한다. 즉, 에이전트들이 동일한 정보를 공유할 때, 심의는 진정한 신념 수정(belief revision)이 아닌 "군집 현상(herding)"으로 붕괴된다는 것이다. 이러한 동질적인 환경에서 에이전트들은 독립적으로 동일한 결론에 도달하며, 반복적인 교환은 단지 공유된 사전 확률(prior)을 강화할 뿐이다. 최근의 이론적 연구는 동일한 입력값 하에서 다중 에이전트 토론이 기대 정확도가 라운드를 거듭해도 개선되지 않는 마팅게일(martingale)처럼 작동함을 시사하며, 실증 연구에서도 서로 다른 제공자 간의 LLM 오류 상관관계가 매우 높음(종종 60% 이상)을 보여준다. 결과적으로, 동질적인 입력을 가진 다중 에이전트 시스템은 단일 에이전트 베이스라인보다 큰 이점을 제공하지 못한다.

방법론: InfoDelphi와 설계된 정보 비대칭

정보의 동질성으로 인한 오류 상관관계를 해결하기 위해, 저자들은 정보 비대칭을 제한이 아닌 활용해야 할 설계 원칙으로 취급하는 **설계된 정보 비대칭(designed information asymmetry)**을 제안한다. 그들은 이 원칙을 InfoDelphi라는 다중 에이전트 예측 프레임워크에 구현한다.

1. 이론적 기초

저자들은 앙상블 평균 제곱 오차(MSE)의 편향-분산-공분산 분해를 사용하여 정보 비대칭의 이점을 정형화한다.

• 상관된 오류: 에이전트들이 동일한 증거($E$)를 받을 때, 그들의 예측 오류는 동일한 원인에 의해 발생하며, 이는 높은 에이전트 간 오류 상관관계($Cov(\epsilon_i, \epsilon_j) \approx Var(\epsilon)$)로 이어진다. 이는 앙상블 MSE의 다양성 항을 붕괴시켜 집합(aggregation)의 이점을 상쇄시킨다.
• 분할을 통한 탈상관화: 저자들은 증거 코퍼스 $E$를 공유된 공적 부분 집합($E_{pub}$)과 서로 소인 사적 부분 집합($E_{priv}$)으로 분할할 것을 제안한다.
  • $\rho$를 공적 증거의 비율이라고 하자.
  • 이론적 분석(Proposition 3.1)은 $\rho$가 1(모두 공적)에서 0(모두 사적)으로 감소함에 따라 에이전트 간 오류 상관관계가 단조 감소함을 입증한다.
  • 구체적으로, 공적 비율이 $\rho=0.5$이고 분산 성분이 동일할 때, 에이전트 간 상관관계는 기준점인 1.0의 절반인 0.5로 떨어진다.
• 근거 공유(Rationale Sharing): 에이전트들이 서로의 사적 신호로부터 이득을 얻을 수 있도록 하기 위해, 본 프레임워크는 단순한 수치적 확률 추정치가 아닌 **근거(rationales, 추론 흔적)**의 교환을 요구한다. 저자들은 데이터 처리 부등식(Data Processing Inequality)을 통해, 숫자만을 교환하는 것은 실제 진리(ground truth)에 대한 정보가 감소할 수밖에 없는 마르코프 체인을 형성한다고 주장한다. 근거를 공유하는 것은 이 체인을 깨뜨려 사적 증거가 에이전트 경계를 넘어 전파될 수 있게 한다.

2. InfoDelphi 프레임워크

InfoDelphi는 세 단계로 작동한다:

1. 증거 라우팅: 증거 코퍼스는 BM25 관련성 순위에 따라 분할된다.
   • 점수가 가장 높은 문서들(질의와 가장 관련성이 높은 문서들)은 공유된 공적 풀($E_{pub}$)을 형성하여 의사소통을 위한 공통 기반을 제공한다.
   • 나머지 문서들은 관련성 점수에 따라 라운드 로빈 방식으로 에이전트들에게 할당되어 서로 소인 사적 부분 집합($E_{priv}$)을 생성한다. 이를 통해 각 에이전트는 핵심 맥락을 공유하면서도 고유한 주변부 증거를 보유하게 된다.
2. 반복적 심의: 에이전트들은 여러 라운드의 예측을 수행한다. 각 라운드에서 에이전트는 자신의 사적 관점($E_{pub} \cup E_{priv}$)과 구조화된 근거를 포함한 다른 에이전트들의 이전 예측 이력 요약을 바탕으로 조건화된 예측을 수행한다.
3. 신뢰도 가중 집합: 최종 예측은 로짓(logit) 공간에서 집합된다. 집합 가중치($w_j$)는 에이전트의 예측의 극단성($|logit(p_j)|$)에 의해 결정된다. 이 메커니즘은 더 강력한 사적 증거를 보유한 에이전트의 예측을 증폭시키는데, 이들은 대개 더 극단적(확신에 찬)인 예측을 내놓기 때문이다.

주요 기여

1. 설계된 정보 비대칭: 본 논문은 정보 비대칭을 다중 에이전트 추론을 위한 일급 설계 원칙으로 취급할 것을 제안하며, 공적/사적 증거 분할이 에이전트 간 오류 상관관계를 줄인다는 것을 이론적으로 증명한다.
2. InfoDelphi 프레임워크: 저자들은 관련성 인지 증거 라우팅, 근거 기반 반복 심의, 신뢰도 가중 집합을 통해 이 원칙을 구현하는 구체적인 프레임워크를 소개한다.
3. POLYGYM 벤치마크: 정보 활용 능력을 검색 품질로부터 격리하기 위해, 저자들은 실제 예측 시장(Polymarket)에서 파생된 375개의 이진 예측 질문으로 구성된 통제된 벤치마크인 POLYGYM을 구축한다. 결정적으로, 모든 방법론은 동일한 고정된 사전 검색 증거 풀 위에서 작동하므로 검색 전략에 따른 변동성을 제거한다.

실험 결과

실험은 $J=3$명의 에이전트와 $R=2$번의 심의 라운드를 사용하여 POLYGYM에서 수행되었다.

• 성능: InfoDelphi는 0.178의 브라이어 점수(Brier score)와 **77.9%**의 정확도를 달로했다. 이는 가장 강력한 단일 에이전트 베이스라인(예: Chain-of-Thought, Superforecaster) 및 다중 에이전트 베이스라인(예: Standard Debate, MoA)보다 브라이어 점수에서는 12–18%, 정확도에서는 4–8 퍼센트 포인트 더 높은 성능을 보였다.
• 다양성의 필요성: 절제 연구(Ablation studies)를 통해 정보 비대칭을 제거했을 때(즉, $\rho=1.0$, 모두 공적 설정) 심의의 이점이 대부분 사라지며, 성능이 표준 토론 수준으로 저하됨을 확인했다.
• 근거 공유의 중요성: 근거 공유를 제거했을 때(숫자만 교환) 성능이 크게 저하되어(브라이어 점수가 0.211로 증가), 폐쇄형 시스템에서의 수치 교환은 집단적 정확도를 개선할 수 없다는 이론적 주장을 검증했다.
• 일반화: 프레임-워크는 GPT-5.4-mini, DeepSeek-V3.2, Llama-4-Scout를 포함한 다양한 모델 백엔드에서 일관된 개선을 보여주었으며, 모델의 능력에 따라 이득이 확장됨을 입증했다.
• 메커니즘 검증: 분석 결과, 신뢰도 가중 집합이 효과적인 이유는 더 강력한 사적 증거를 가진 에이전트가 더 극단적인 예측을 생성하기 때문임을 보여주었다. 또한, 정보 비대칭은 동질적 환경(90–92% 분산 감소)과 비교하여 에이전트 간 다양성을 유지(73% 분산 감소)함으로써, 시스템이 합의의 에코 체임버(echo chamber)로 붕괴되는 것을 방지했다.

의의 및 주장

본 논문은 입력의 다양성이 효과적인 다중 에이전트 추론을 가능케 하는 핵심 요소라고 주장한다. 저자들은 모든 에이전트에게 동일한 컨텍스트 윈도우를 제공하는 표준 관행이 다중 에이전트 상호작용의 가치를 근본적으로 제한한다고 주장한다. InfoDelphi를 통해 설계된 정보 비대칭을 도입함으로써, 중복된 심의를 생산적인 신념 수정으로 전환한다.

저자들은 확률적 예측을 이 원칙을 테스트하기 위한 까다로운 시험대로 규정하며, 이는 노이즈가 많고 모순적인 증거를 합성해야 하기 때문이다. 관찰된 견고한 개선은 협업적 질의응답이나 과학적 가설 평가와 같이 공유된 증거를 바탕으로 추론하는 다른 다중 에이전트 시스템에도 광범위하게 적용될 수 있음을 시사한다.

저자들은 이론적 증명이 이상적인 가정(선형 오류 분해, 사적 노이즈의 독립성)에 의존하고 있으며, 현재 구현이 라우팅 및 집합을 위해 표준적인 기법들을 사용하고 있어 더 정교한 대안의 여지가 남아 있다는 점을 인정하며 한계점에 대해 겸허한 태도를 유지한다. 또한, 프레임워크의 상한선은 여전히 초기 증거 검색의 품질에 의해 제약받는다는 점을 언급한다.