Preference Optimization Drives Monoculture in LLM Prediction Markets

기술 요약: 선호도 최적화가 LLM 예측 시장의 단일문화(Monoculture)를 유발함

1. 문제 제기

예측 시장은 참여자의 오류가 독립적이라는 이론적 가정에 의존한다. 이 조건 하에서 시장 가격은 군중의 최선의 추정치로 수렴한다 (Wolfers & Zitzewitz, 2004; Hanson, 2003). 그러나 LLM 에이전트가 Kalshi나 Polymarket과 같은 플랫폼에서 활발하게 거래하는 주체로 등장함에 따라, 다음과 같은 중요한 질문이 제기된다: 만약 "군중"이 동일한 학습 파이프라인을 공유하는 LLM들로 구성된다면, 오류의 독립성이 유지될 수 있는가?

기존 문헌은 상관관계가 있는 오류를 허위 정보 전파(herding)나 정보 폭포(information cascades)와 같은 행동적 현상으로 설명한다. 본 논문은 그 원인이 구조적인 데 있다고 주장한다: 즉, 정렬 학습(Alignment training) 자체, 구체적으로는 **직접 선호도 최적화(Direct Preference Optimization, DPO)**가 모델들을 공유된 선호 출력 분포로 강제한다는 것이다. 이는 에이전트들이 비록 서로 다른 인스턴스일지라도 함께 실패하고 함께 성공하게 만드는 "선호도 최적화 단일문화"를 형성하며, 결과적으로 시장의 집단 지성을 저해한다.

2. 방법론

저자들은 이 가설을 검증하기 위해 통제된 실험 설계를 사용하였다:

• 시장 메커니즘: 유동성 파라미터 $b=100$과 두 가지 결과를 가진 로그 시장 점수 규칙(Logarithmic Market Scoring Rule, LMSR).
• 거래 프로토콜: 50개의 이진 질문(TruthfulQA)이 $N$개의 에이전트(1명에서 40명 사이)에게 주어진다. 에이전트들은 자신의 명시된 확신도가 현재 시장 가격을 초과할 때만 순차적으로 거래하며 베팅한다. 부(wealth)는 질문 전반에 걸쳐 지속되므로, 정확한 에이전트는 자본을 축적할 수 있다.
• 지표:
  • 쌍별 오류 상관관계 ($\rho$): 에이전트들의 이진 오류 벡터 간의 피어슨 상관계수.
  • 유효 예측자 수 ($N_{eff}$): $N_{eff} = \frac{N}{1 + (N-1)\rho}$로 계산된다. 이 지표는 상관관계가 있는 $N$명의 에이전트 그룹이 가진 독립적인 예측 능력을 정량화한다.
• 실험 변수:
  • 스케일링: 동일 모델 내에서 $N \in \{5, 10, 20, 40\}$ 에이전트를 테스트.
  • 모델 다양성: 동일 모델 쌍 vs 교차 모델 쌍(Llama, Qwen, Mistral, GLM) 비교.
  • 인과적 절제 실험(Causal Ablations): Princeton NLP 및 AllenAI Tulu 3 파이프라인의 동일한 가중치 체크포인트를 사용하여 특정 학습 단계(사전 학습/ICL, 지도 미세 조정(SFT), DPO)의 영향을 격리하여 분석.
  • 완화 전략: 온도 다양성(temperature diversity), 역할 다양성(epistemic roles), 교차 모델 혼합 테스트.

3. 주요 기여 및 결과

A. 단일문화 효과 (The Monoculture Effect)
연구 결과, DPO로 미세 조정된 LLM 에이전트들은 높은 쌍별 오류 상관관계($\rho \approx 0.70$)를 보였다.

• 수익 체감: 10명의 동일 모델 에이전트는 단 $\approx 1.4$명의 독립적인 예측자 수준의 예측력만을 제공한다 ($N_{eff} \approx 1.38$).
• 정확도의 정체: 에이전트 수를 5명에서 40명으로 늘려도 시장 정확도는 개선되지 않고 평탄하게 유지된다(66.0~69.6%). 이는 단일 독립 에이전트(70.2%)의 성능에도 미치지 못한다.
• 오류 분포: 경험적 데이터는 독립성을 가정할 때 기대되는 이항 분포와 비교하여, 만장일치(모든 에이전트가 맞거나 모두 틀림)의 스파이크를 보여준다.

B. DPO의 인과적 식별
통제된 절제 실험을 통해, 본 논문은 **선호도 최적화(DPO)**가 이러한 상관관계의 주요 동인임을 격리해냈다:

• Princeton NLP 절제 실험: 동일한 SFT 가중치를 사용했을 때, DPO로의 전환은 상관관계를 $\Delta\rho = +0.46$만큼 증가시켰다 (단, SFT 베이스라인은 거의 무작위 수준의 정확도를 보임).
• Tulu 3 절제 실험: 유의미한 정확도 수준에서, SFT에서 DPO로의 전환은 8B 모델에서 $\Delta\rho = +0.24$, 70B 모델에서 $\Delta\rho = +0.28$의 상관관계 증가를 가져왔다.
• 결론: 사전 학습이 "지식 단일문화"를 만든다면, 정렬 파이프라인(특히 DPO)은 정책을 보상 모델이 선호하는 분포의 모드(mode)로 밀어 넣음으로써 이를 "답변 단일문화"로 증폭시킨다.

C. 완화 전략
본 논문은 상관관계를 줄이기 위한 세 가지 전략을 테스트했다:

1. 교차 모델 다양성: 서로 다른 모델 제품군(예: Llama와 Qwen2.5)을 혼합하면 $\rho$가 0.68에서 0.40으로 감소하며, $N_{eff}$는 1.4에서 2.2로 상승한다. 이것이 가장 효과적인 완화책이다.
2. 역할 다양성: 뚜렷한 인식론적 역할(회의론자, 베이지안 등)을 부여하면 정확도 손실 없이 $\rho$를 0.44로 낮출 수 있다.
3. 온도 다양성: 온도를 높이면 $\rho$는 감소하지만 상당한 정확도 저하(4.4% 하락)가 발생한다.

D. 적대적 강건성 (Adversarial Robustness)

• LMSR vs. 토론(Debate): 적대적 환경(예: 정직한 에이전트 1명 vs 악의적 에이전트 9명)에서, LMSR 시장은 다중 에이전트 토론보다 우수한 성능을 보인다. 토론은 적대적 압력 하에서 붕괴하지만(1 대 9 상황에서 정확도 44.0%), LMSR은 강력한 합의를 뒤집는 데 막대한 자본 비용을 부과하는 볼록한 비용 함수 덕분에 더 높은 정확도(59.6%)를 유지한다.
• 자기 억제(Self-Deterrence): 가격 임계값 기반의 건너뛰기 규칙을 갖춘 적대자들은 정직한 합의가 강력할 때 자발적으로 거래를 거부하며, 이는 시장을 더욱 안정시킨다.

4. 의의 및 주장

본 논문은 표준 정렬 파이프라인이 LLM 기반 예측 시장의 무결성을 근본적으로 훼손한다고 주장한다.

• 구조적 실패: LLM 시장에서 "군중의 지혜"가 작동하지 않는 것은 규모의 문제가 아니라 선호도 최적화의 구조적 결과이다.
• 무결성 지표: 저자들은 $N_{eff}$를 시장 플랫폼의 핵심 무결성 지표로 제안한다. 동일 모델 에이전트 1,000명으로 구성된 시장은 실질적으로 약 1.4명의 독립적인 에이전트가 제공하는 정보와 다를 바 없다.
• 다양성 요구: LLM이 더 정교하게 정렬될수록, 이들로 구축된 시장은 더욱 단일문화화된다. 시장의 효용성을 회복하기 위해서는 단순히 동일한 에이전트의 수를 늘리는 것이 아니라, 교차 모델 다양성이나 역할 다양성을 우선시해야 한다.

결론적으로, LMSR은 적대적 조작에 대한 강건성을 제공하지만, 공유된 정렬 학습에 의해 도입된 내재적 상관관계를 극복할 수는 없으며, 따라서 예측 작업을 위한 다중 에이전트 시스템 구축 방식의 변화가 필요하다.