Wisdom Of The (AI) Crowd: Investigating Artificial Swarm Intelligence In Large Language Models

기술 요약: (AI) 군집의 지혜: 대규모 언어 모델에서의 인공 군집 지능 조사

문제 제기
인간의 군집 지능(‘대중의 지혜’)은 집단적 판단이 종종 개인의 추정치를 능가한다는 것을 보여주지만, 이 현상은 비용, 조정, 시간 및 사회적 편향에 대한 취약성 측면에서 상당한 확장성 제약에 직면해 있다. 판별적 AI 시스템은 정확도를 높이기 위해 앙상블 학습(예: 배깅, 부스팅)을 오랫동안 활용해 왔으나, 생성형 AI, 특히 대규모 언어 모델(LLM)이 군집 지능 효과를 모사할 수 있는지에 대한 이해에는 중대한 격차가 존재한다. 현재의 문헌은 LLM의 출력물을 집계하는 것(단일 모델의 반복적인 샘플링 또는 이질적인 모델의 결합을 통해)이 인간 집단과 유사하게 불확실한 과업에 대한 추정 오차를 줄일 수 있는지에 대한 체계적인 조사가 부족한 실정이다.

연구 방법론
저자들은 GPT-5, Gemini 2.5 Pro, Claude Sonnet 4.5라는 세 가지 독점적 LLM을 대상으로 960개의 수동 실행 프롬프트를 포함하는 통제된 실험을 수행하였다. 본 연구는 불확실성과 검증 가능한 실제 정답(ground truth) 사이의 균형을 맞춘 8가지 추정 과업을 사용하여 피험자 내 설계(within-subject design)를 활용하였다.

• 과업 구성: 규모 추론(전 세계 소득이나 지하철 재건축 비용과 같은 양에 대한 차수 추론)이 필요한 5개의 페르미 문제(Fermi problems)와 익명화된 과거 금융 데이터(주가 및 구독자 수 등)에 기반한 3개의 경제 추정 문제를 포함하였다.
• 집계 모드:
  • 모델 내 집계 (A1–A3): 내부적 확률적 분산을 포착하기 위해 각 모델을 과업당 30회 독립적으로 프롬프트하였다.
  • 모델 간 집계 (B1): 모델 간 다양성을 평가하기 위해 세 모델 각각에서 10회씩 실행한 것을 결합한 이질적 군집(총 30회 실행)을 구성하였다.
• 지표: 연구는 개별 및 집계된(중앙값/평균) 추정치에 대한 평균 절대 오차(MAE)와 평균 절대 백분율 오차(MAPE)를 측정하였다. 또한, 저자들은 자기 보고된 90% 신뢰 구간의 보정(calibration) 상태를 분석하였으며, 상대적 구간 너비와 상대적 추정 오차 사이의 스피어만 서열 상관계수를 계산하여 메타인지적 인식을 평가하였다.

주요 기여

1. LLM 군집의 개념화: 본 논문은 인간 집단으로부터의 군집 지능 원리를 인공 시스템에 적용하여 "LLM 군집(LLM Swarms)"이라는 새로운 개념을 도입한다. 저자들은 이를 단일 모델을 반복적으로 샘플링하거나 다양한 아키텍처 및 규모를 가진 여러 모델을 결합하여 생성된 앙상블로 정의한다.
2. 개념 증명 방법론: 저자들은 불확실한 추정 과업에 대해 LLM 군집을 평가하기 위한 엄격한 실험 프레임을 구축하였다. 이 접근 방식은 (페르미 문제와 익명화된 경제 데이터를 사용함으로써) 단순한 데이터 검색을 피하면서도 검증 가능한 실제 정답을 유지한다.
3. 집계의 이점에 대한 실증적 증거: 본 연구는 집계된 LLM 출력이 추정 오차를 줄인다는 최초의 체계적인 실증적 증거를 제공한다. 이는 모델 내 샘플링과 모델 간 이질성 모두가 의사 결정의 질을 유의미하게 향提升함을 입증한다.

결과

• 오차 감소: 집계는 모든 모델과 과업에서 일관되게 오차를 감소시켰다. MAPE 감소 폭은 미미한 개선부터 이질적 모드인 B1(과업 F2)에서 관찰된 최대 37.41 퍼센트 포인트의 상당한 이득까지 다양했다.
• 과업 의존성: 집계의 효과는 과업의 특성에 따라 크게 좌우되었다. 역사적 통계적 닻(statistical anchors)을 보유한 경제 예측 과업(Eco1–Eco3)은 참조점 없이 추상적 추론이 필요한 페르미 문제(F1–F5)보다 더 일관되고 상당한 개선을 보였다.
• 모델 분산: Claude Sonnet 4.5는 낮은 내부 분산(높은 일관성)을 보였는데, 이는 GPT-5 및 Gemini 2.5 Pro가 보여준 더 큰 확률적 다양성에 비해 모델 내 집계의 이점을 제한하는 요소로 작용했다.
• 신뢰 구간: 개별 모델은 종종 기대되는 90% 보정률을 달아가하지 못했으나, 이질적 집계(B1)는 8개 과업 모두에서 집계된 신뢰 구간 내에 실제 정답을 포착하는 데 성공하였다.
• 메타인지적 인식: 자기 보고된 신뢰 구간의 너비와 추정 오차 사이에 양의 상관관계(Spearman's $\rho$ = 0.242–0.568, 모든 $p < 0.001$)가 관찰되었다. 이는 LLM이 일종의 메타인지적 인식을 갖추고 있어, 더 불확실한 추정에 더 넓은 구간을 할당함을 시사하며, GPT-5가 가장 강력한 상관관계($\rho = 0.568$)를 보였다.

의의 및 주장
본 논문은 집단 지성과 생성형 AI의 교차점에서 새로운 연구 흐름을 확립한다고 주장한다. 저자들은 LLM 군집이 특히 시간 민감적인 맥락에서 의사 결정을 지원하기 위해 인간의 군집을 대체할 수 있는 확장 가능하고 저비용이며 신속한 대안을 제공한다고 상정한다. 저자들은 LLM이 단일 모델 샘플링에서의 공유된 훈련 편향 및 "에코 체임버(echo chamber)" 효과로 인해 인간의 군집 역학을 완벽하게 복제하지 못할 수도 있지만, 이질적 집계가 개별 모델의 오류를 효과적으로 완화할 수 있다고 주장한다.

본 연구는 자신의 발견을 확정적인 해결책이라기보다 초기 증거로서 겸허하게 제시한다. 저자들은 "AI 군집의 지혜"가 보편적인 것이 아니라 과업 구조(예: 통계적 닻의 존재)와 모델 다양성에 달려 있음을 강조한다. 저자들은 결론적으로, LL-M 군집이 집단적 인간 지식의 산물인 시스템들을 집계하는 "2차 군집 지능(second-order swarm intelligence)"을 제공할 수 있다고 제언한다. 그러나 환각(hallucinations), 블랙박스 추론, 그리고 인간과 비교했을 때의 진정한 인지적 다양성 결여와 관련된 한계가 고위험 애플리케이션에 있어 여전히 중요한 과제로 남아있다고 경고한다.