기술 요약: 다중 에이전트 토론 기반 LLM에서의 매파적-비둘기파적 잠재 신념 모델링

문제 정의

연방공개시장위원회(FOMC)의 정책 결정(인상, 동결 또는 인하)을 정확하게 예측하는 것은 금융 시장과 거시 건전성 정책에 매우 중요하다. 그러나 기존 문헌은 두 가지 주요 한계점에 직면해 있다:

1. 심의 역학의 간과: 대부분의 연구는 FOMC를 단일한 실체로 취급하며, 다양한 "매파적"(긴축) 또는 "비둘기파적"(완화) 신념을 가진 위원들이 토론을 통해 합의에 도달하는 내부 심의 과정을 모델링하는 데 실패한다.
2. 정적 분석: 기존 방식은 정적인 텍스트 분석이나 단일 모델 예측에 의존하며, 비정형 질적 텍스트(예: 베이지북)와 정량적 거시경제 지표를 통합하면서 개별 신념의 진화를 모델링하는 데 어려움을 겪는다.

본 연구는 LLM을 사용하여 위원회의 집단적 의사결정 과정을 구조적으로 시뮬레이션함으로써 FOMC 결정 예측 문제를 해결한다.

방법론

1. 다중 에이전트 토론 프레임워크

제안된 프레임워크는 FOMC를 $n$개의 자율적인 LLM 에이전트 시스템(다수결 투표를 용이하게 하기 위해 $n=7$로 설정)으로 모델링한다. 각 에이전트는 고유하고 사전에 할당된 정책 신념 프로필(예: 강한 매파, 완만한 비둘기파, 중립)을 가진 위원을 나타낸다.

• 입력값: 에이전트들은 질적 텍스트(베이지북 발췌문)와 정량적 데이터(실업률, 인플레이션율, 과거 정책 금리)의 조합을 전달받는다.
• 반복 프로세스: 프로세스는 $T$ 라운드(최대 10라운드) 동안 실행된다.
  • 라운드 $t=0$: 각 에이전트는 오직 자신의 내부 파라미터와 입력 데이터를 기반으로 초기 예측($z^{(0)}_i$)을 생성한다.
  • 라운드 $t>0$: 에이전트들은 이전 라운드의 모든 에이전트로부터 얻은 예측과 그 근거($Z^{(t-1)}$)를 관찰한다. 이들은 원래의 데이터와 함께 이러한 사회적 맥락을 통합하여 자신의 예측($z^{(t)}_i$)을 업데이트한다.
• 종료: 토론은 모든 에이전트가 합의에 도달하거나 최대 라운드 수에 도달할 때 종료된다. 최종 출력은 다수결 투표이다.

2. 잠재 신념 모델링

해석 가능성을 높이기 위해, 저자들은 각 에이전트의 기저에 깔린 "매파-비둘기파" 입장을 나타내는 이산 잠재 변수 $\theta \in \Theta$를 도입한다.

• 이론적 정식화: 의사결정 과정은 베이지안 생성 모델로 정식화된다. 에이전트 출력의 확률은 특정 신념에 따른 출력의 확률과, 입력값 및 동료의 반응에 따른 해당 신념의 사후 확률으로 분해된다.
• 핵심 가정: 일단 잠재 신념 $\theta$가 고정되면, 에이전트의 최종 레이블은 특정 입력 텍스트 및 데이터와 조건부 독립이다. 이는 신념이 에이전트가 외부 증거와 동료의 영향을 해석하는 방식을 매개함을 의미한다.
• 수학적 구조:
  $$P(z^{(t+1)}_i | x, v, Z^{(t)}, \phi_i) = \sum_{\theta \in \Theta} P(z^{(t+1)}_i | \theta, \phi_i) P(\theta | x, v, Z^{(t)}, \phi_i)$$
  여기서 사후 신념 $P(\theta | \dots)$는 관측된 데이터의 가능성(likelihood)과 동료의 반응이 해당 신념과 일치하는 정도를 바탕으로 업데이트된다.

3. 실험 설정

• 데이터셋: 2000년 1월부터 2025년 12월까지의 예정된 FOMC 회의. 데이터셋은 단순한 연속적 추세를 피하기 위해 균형 있게 선택된 60개의 특정 시점(인상 15, 동결 30, 인하 15)을 포함한다.
• 데이터 소스:
  • 텍스트: 베이지북의 "전반적인 경제 활동" 또는 "요약" 문장.
  • 정량적 데이터: 인플레이션 및 실업률(FRED), 과거 정책 금리(Bloomberg).
• 모델: 다양한 토론 패턴을 장려하기 위해 온도를 1로 설정한 GPT-4o-mini. 레이블과 근거를 추출하기 위해 구조화된 출력이 강제되었다.
• 절제 연구(Ablation Studies): 본 연구는 다음 요소들을 제거한 변형 모델들과 전체 모델을 비교하였다:
  1. 베이지북 텍스트.
  2. 과거 정책 금리 추세.
  3. 명시적 신념 할당(신념 프롬프트 없이 표준 다수결 투표 사용).
  4. 다중 라운드 토론(라운드 0의 예측만 사용).

주요 결과

성능 지표

제안된 전체 방법(실험 1)이 모든 구성 중 가장 높은 성능을 달-성했다:

• 정밀도(Precision): 0.549
• 재현율(Recall): 0.467
• F1-점수: 0.476

절제 연구 결과

• 텍스트의 중요성: 베이지북을 제거했을 때(실험 2) 성능이 크게 저하되어(F1: 0.385), 질적인 지역 경제 데이터가 정확한 예측에 매우 중요하다는 점을 확인했다.
• 토론의 역할: "토론 없음" 베이스라인(실험 6, 라운드 0의 다수결 투표)은 F1 0.415를 기록했다. 반복적인 토론 프로세스는 정확도를 향상시켰으며, 이는 사회적 영향과 의견 정교화가 유익함을 입증한다.
• 신념의 영향: 명시적 신념 할당을 제거했을 때(실험 5) F1은 0.399가 되었다. 더 결정적으로, 신념이 없는 모델은 "동결"을 예측하는 강한 편향을 보였다(420개 예측 중 280개). 다양한 신념을 도입함으로써 이러한 편향을 완화하고 더 다양하고 정확한 결과를 이끌어냈다.
• 과거 금리: 과거 정책 금리 추세를 제거했을 때(실험 4) 정확도에 미치는 영향은 미미했는데, 이는 데이터셋이 추세의 예측력이 낮은 전환점에 초점을 맞추도록 큐레이션되었기 때문으로 보인다.

행동 분석

전이 행렬(transition matrix)은 토론 과정이 에이전트들을 초기 편향에서 합의로 효과적으로 이동시켰음을 보여주었다. 예를 들어, "강한 매파" 에이전트들은 처음에 33건에서 "인상"을 예측했으나 토론 후 30건으로 조정되었으며, "중립" 에이전트들은 최종 분포에서 상당한 변화를 보였다. 모델은 방향성 오류(예: 실제 결과가 "인하"인데 "인상"을 예측하는 경우)를 성공적으로 피했다.

의의 및 주장

본 논문은 금융 분야의 통화 정책에 구조화된 토론 기반 다중 에이전트 LLM 프레임워크를 적용한 첫 번째 사례라고 주장한다. 주요 기여는 다음과 같다:

1. 구조적 시뮬레이션: 중앙은행을 블랙박스로 취급하는 것을 넘어, FOMC의 심의적이고 합의를 구축하는 성격을 명시적으로 모델링한다.
2. 해석 가능성: 잠재 신념 변수를 도입함으로써, 개인의 성향(매파/비둘기파)이 경제 데이터와 사회적 영향의 해석을 어떻게 매개하는지에 대한 이론적 메커니즘을 제공한다.
3. 경험적 검증: 제도적 특징(다양한 신념 및 반복적 토론)을 통합하는 것이 표준적인 단일 모델 또는 정적 접근 방식보다 우수한 예측 정확도를 제공함을 입증한다.

저자들은 신념 공간의 이산적이고 작은 크기, 단일 LLM 제품군에 대한 의존성, FOMC 데이터로의 제한 등 한계를 인정하며 겸허한 입장을 유지한다. 이들은 향후 연구에서 연속적인 신념 공간을 탐구하고 이 프레임워크를 다른 중앙은행(예: ECB, BOJ)에 적용할 수 있을 것이라고 제언한다.