기술 요약: 예측 시장 결제를 위한 멀티 에이전트 AI 오라클 시스템의 설계 및 평가

1. 문제 정의

예측 시장은 불확실한 사건을 예측하기 위해 집단 지성을 결집하지만, 그 효용성은 실제 결과에 따라 계약을 결제하는 메커니즘인 **오라클(oracle)**의 신뢰성에 달려 있다. 현재의 오라클 설계는 근본적인 트레이드오프에 직면해 있다. 체인링크(Chainlink)와 같은 완전 자동화 시스템은 빠르고 확장 가능하지만 주관적이거나 모호한 결과 처리에 어려움을 겪는 반면, UMA나 칼시(Kalshi)와 같은 인간 중재 시스템은 높은 정확도를 제공하지만 상당한 지연 시간과 비용이 발생한다.

최근 연구들은 단일 대규모 언어 모델(LLM) 오라클이 중간 계층으로서 역할을 수행하여 구조화된 데이터에 대해 높은 정확도를 달رش할 수 있음을 보여주었으나, 자기 수정 메커니즘이 없는 경우 환각(hallucination), 시계열 추론 오류, 아첨(sycophancy)과 같은 실패 모드를 그대로 물려받는다는 한계가 있다. 본 논문은 멀티 에이전트 오라클 아키텍처의 공백을 다루며, LLM 앙상블이 단일 모델 베이스라인보다 결제 정확도를 개선할 수 있는지, 그리고 그러한 개선이 발생하는 조건은 무엇인지 조사한다. 구체적으로, 멀티 에이전트 시스템이 개별 모델의 실패를 완화할 수 있는지, 아니면 설득적 오류 전파(persuasive error propagation)와 같은 새로운 실패 모드를 유발하는지를 규명하고자 한다.

2. 방법론

2.1 데이터셋 및 증거 계층

본 연구는 검증된 실제 결과를 포함하는 Kalshi의 1,189개 해결된 예측 시장 질문 데이터셋인 KalshiBench v2를 사용하여 시스템을 평가한다. 학습 데이터 오염을 방지하기 위해, 사용된 모델들의 학습 컷오프 이후인 2025년 5월 1일 이후에 종료된 시장들로 데이터셋을 필터링하였다.

• 증거 검색: 모든 에이전트는 임베딩 기반 검색 엔진인 Exa를 통해 공통된 증거 계층을 공유한다. 쿼리는 결제 시점에 가용한 정보를 반영하도록 발행 날짜에 따라 필터링된다. 이 설계는 추론 능력과 검색 품질을 분리한다.
• 카테고리: 데이터셋은 정치(26.16%), 스포츠(22.62%), 엔터테인먼트(19.34%)를 포함한 16개 카테고리로 구성된다.

2.2 에이전트 구성

세 가지 다양한 LLM을 오라클 에이전트로 채택하였다:

1. GPT-5 Nano (OpenAI)
2. DeepSeek-V3 (DeepSeek)
3. Llama-3.3-70B-Instruct-Turbo (Meta)

2.3 평가된 아키텍처

두 가지 멀티 에이전트 아키텍처를 단일 LLM 베이스라인과 비교하였다:

• 아키텍처 A (독립적 집계): 에이전트들이 질문을 독립적이고 병렬적으로 해결한다. 결과는 다수결 투표 또는 신뢰도 가중 투표에 의해 결정된다. 이는 체인링크와 같은 탈중앙화된 오라클 네트워크를 모사한다.
• 아키텍처 B (심의적 합의): 에이전트들이 구조화된 2라운드 토론에 참여한다. 1라운드에서 에이전트들은 독립적으로 답변한다. 2라운드에서 그들은 익명화된 동료의 추론을 검토하고 답변을 수정할 수 있다. 최종 결과는 계층적 다수결 투표에 의해 결정된다.

2.4 평가 지표

• 결제 정확도(Resolution Accuracy): 실제 정답(ground truth)에 대한 이진 정확도.
• 오류 상관관계(Error Correlation): 오류 벡터의 피어슨 상관계수 및 조건부 오류 확률($P(B \text{ wrong} | A \text{ wrong})$).
• 에스컬레이션 분석(Escalation Analysis): 에이전트 간 합의(만장일치 vs. 분열)와 평균 신뢰 점수를 사용하여 커버리지-정확도 트레이드오프 곡선을 구축함으로써, 인간 중재를 위한 라우팅 임계값을 결정한다.

3. 주요 기여

1. 멀티 에이전트 아키텍처의 실증적 비교: 본 연구는 직접적인 금융적 결과가 따르는 예측 시장 결제 영역에서 독립적 집계와 심의적 합의를 최초로 체계적으로 평가한다.
2. 실패 모드 분류 체계: 본 논문은 다섯 가지 뚜렷한 실패 메커니즘을 식별하고 특징짓는다:
   • 검색 실패(Retrieval Failure): 상위 단계에서 중요한 증거를 놓침.
   • 시계열 추론 오류(Temporal Reasoning Error): 시간 제한이 있는 증거를 잘못 해석함.
   • 환각(Hallucination): 주장이나 기준 해석을 조작함.
   • 공유 편향(Shared Bias): 모든 모델이 제시된 증거를 공통적으로 잘못 해석함.
   • 설득적 오류 전파(Persuasive Error Propagation): 심의 시스템에서 나타나는 독특한 실패로, 확신에 찬 틀린 모델이 토론 중 옳은 모델을 변화시키는 현상.
3. 원칙적인 에스컬레이션 프레임워크: 자동화 속도와 인간 중재 비용 사이의 트레이드오프를 최적화하기 위해, 에이전트 간 불일치 및 신뢰 수준에 기반한 결정 규칙을 정의하여 하이브리드 AI-인간 시스템을 위한 라우팅 기준을 제안한다.

4. 결과

4.1 정확도 성능

• 독립적 집계 (아키텍처 A): 신뢰도 가중 투표를 사용하여 **83.43%**라는 가장 높은 정확도를 달성하였다. 이는 최상의 단일 모델 베이스라인(DeepSeek, 82.42%)보다 1.01 퍼센트 포인트 향상된 수치이다.
• 심의적 합의 (아키텍처 B): 멀티 에이전트 토론 문헌의 예상과는 반대로, 심의는 성능을 약 **76.11%**로 저하시켰다. 이 결과는 모든 단일 모델 베이스라인보다 낮았다. 최상의 심의 결과(DeepSeek)조차 최악의 개별 베이스라인(Llama)보다 4 퍼센트 포인트 이상 뒤처졌다.
• McNemar 검정: 아키텍처 A는 아키텍처 B보다 통계적으로 유의미하게 우수한 성능을 보였다 ($p < 10^{-10}$). A는 B가 놓친 117개의 질문을 올바르게 해결한 반면, B는 A가 놓친 질문 중 37개만을 바로잡았다.

4.2 오류 상관관계 및 이론적 한계

• 상관된 오류: 모델 간의 오류 상관관계는 중간에서 높음 수준($r = 0.529–0.689$)이었다. DeepSeek와 Llama가 가장 높은 상관관계($r=0.689$)를 보였다.
• 콘도르셋 천장(Condorcet Ceiling): 이러한 상관관계로 인해, 관찰된 다수결 투표 정확도(82.93%)는 오류가 독립적일 때 기대되는 이론적 콘도르셋 천장(~91%)에 훨씬 못 미쳤다. 이는 한 모델이 실패할 때 다른 모델들도 동일한 근거(예: 모호한 증거)로 인해 함께 실패하는 경우가 많음을 나타낸다.

4.3 카테고리별 분석

• 고성능 도메인: 잘 알려진 카테고리인 **스포츠(92.9%)**와 **금융(93.3%)**은 높은 정확도를 보였으며, 현재 단일 LLM 역량의 한계치에 근접했다.
• 저성능 도메인: 암호화폐(66.1%) 및 기업(58.0%)과 같이 모호한 카테고리는 모든 아키텍처에서 개선되지 않았으며, 이는 아키텍처의 취약성보다는 근본적인 어려움을 시사한다.
• 심의의 영향: 심의는 "기업"과 같이 정보 밀도가 높은 카테고리에서는 간혹 도움이 되었으나, 일반적으로 설득적 오류 전파로 인해 다른 카테고리에서는 정확도를 떨어뜨렸다.

4.4 에스컬레이션 프레임워크

• 만장일치의 신호성: 에이전트 간 합의는 정확도의 가장 강력한 예측 인자이다. 만장일치 결정은 **88.34%**의 정확도를 기록한 반면, 분열된(2-1) 투표는 **57.82%**로 떨어졌다.
• 고신뢰 만장일치: 만장일치이면서 높은 신뢰도(평균 신뢰도 > 0.91)를 가진 질문을 필터링했을 때, 데이터셋의 **47.4%**에 대해 **97.87%**의 정확도를 달성하였다.
• 라우팅 전략: 본 논문은 만장일치이며 신뢰도가 높은 질문은 자동 결제하고, 분열되거나 신뢰도가 낮은 질문은 인간 중재로 에스컬레이션하는 하이브리드 시스템을 제안한다.

5. 의의 및 주장

본 논문은 멀티 에이전트 시스템이 독립적 집계를 통해서는 단일 모델 베이스라인보다 완만하지만 통계적으로 유의미한 이점을 제공하는 반면, 심의적 합의는 역효로 작용한다고 주장한다. 심의 시스템의 성능 저하는 설득적 오류 전파와 LLM의 아첨(sycophancy), 즉 토론 상황에서 확신에 찬 잘못된 추론이 옳은 모델의 답변을 수정하게 만드는 현상 때문인 것으로 분석된다.

연구는 멀리 에이전트 LLM 시스템의 이점이 상관된 추론 오류에 의해 근본적으로 제한된다는 결론을 내린다. 즉, 검증 가능한 논리적 도출보다 모호한 실제 증거의 해석이 필요한 도메인에서 토론 기반 아키텍처는 잘못된 논거를 증폭시킬 위험이 있다. 따라서 본 논문은 자동화된 결제를 위한 우월한 아키텍처로 신뢰도 가중 투표를 결합한 독립적 집계를 권고하며, 불확실한 사례를 인간 중재로 라우팅하는 원칙적인 에스컬레이션 프레임워크를 함께 제시한다. 이 접근법을 통해 하이브리드 오라클 시스템은 질문의 상당 부분(47%)에 대해 완벽에 가까운 정확도를 달성하면서도 비용과 지연 시간을 관리할 수 있다.