🤖 AI

Wisdom of LLM Crowds: Aggregation and Contamination in Language Model Ensembles

이 논문은 학습된 방법을 통해 다양한 거대 언어 모델의 예측을 결합하는 것이 개별 모델의 성능을 능가할 수 있음을 입증하는 동시에, 학습 중단 시점의 오염이 능력 평가를 심각하게 왜곡한다는 점과 이러한 앙상블의 주요 이점이 복잡한 비선형적 상호작용보다는 다양한 모델 출력의 선형적 결합에서 기인한다는 점을 강조한다.

원저자: Igor Douven

게시일 2026-07-22

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Igor Douven

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

방 안에서 가장 똑똑한 사람이 실제로는 가장 똑똑한 것이 아닌 세상을 상상해 보십시오. 대신, 테이블에 둘러앉은 집단 전체가 진정한 천재입니다. '대중의 지혜'라고 알려진 이 아이디어는, 많은 사람의 추측을 모아 평균을 내면 그 결과가 단 한 명의 최고 전문가의 추측보다 더 정확한 경우가 많다는 것을 시사합니다. 마치 새 떼를 생각해보십시오. 단 한 마리의 새는 전체 그림을 보지 못하지만, 함께 모여 완벽하게 항해합니다. 과학자들은 이것이 인간에게도 적용된다는 사실을 오래전부터 알고 있었습니다. 하지만 이제 인공지능(AI)이 어디에나 존재하는 시대가 되면서, 큰 질문 하나가 떠올랐습니다. 이 마법 같은 기술이 로봇들에게도 통할까요? 만약 여러 가지 AI 모델에게 미래 사건의 결과를 추측하게 한다면, 그들의 결합된 답변이 단일 AI보다 더 똑똑할까요? 이것은 단순히 재미있는 게임이 아닙니다. 왜냐하면 만약 AI 군집이 작동한다면, 우리는 인간 전문가 팀 없이도 날씨부터 주식 시장에 이르기까지 모든 것을 예측하는 데 사용할 수 있기 때문입니다. 하지만 여기에는 함정이 있습니다. AI 모델들은 과거의 데이터로 학습되었으며, 만약 그들이 이미 학습 데이터에서 정답을 '보았다면', 그것은 진정한 추측이 아니라 기억을 이용한 일종의 부정행위가 됩니다.

이 논문은 15개의 서로 다른 거대언어모델(LLM)을 예측 게임의 참가자 팀처럼 취급하며 바로 그 질문을 파고듭니다. 연구진은 이 AI들에게 스포츠 팀이 승리할지 혹은 정치인이 당선될지와 같이 실세계의 254가지 질문에 대한 결과를 추측하도록 요청했습니다. 그러고 나서 연구진은 집단이 개별 모델을 이길 수 있는지 확인하기 위해 다양한 방식으로 AI의 답변을 결합해 보았습니다. 결과는 흥미로운 소식과 중대한 경고 문구가 뒤섞인 형태였습니다.

먼저 좋은 소식입니다. '대중의 지혜'는 AI에게도 적용되는 것처럼 보이지만, 오직 올바르게 결합했을 때만 그렇습니다. 연구진은 단순히 모든 AI의 추측을 평균 내는 것이 최선의 전략은 아니라는 것을 발견했습니다. 대신, 그들은 답변을 어떻게 섞을지 결정하기 위해 영리한 컴퓨터 프로그램('학습된 집계기')을 사용했습니다. 이 똑똑한 믹서는 단일 AI 모델보다 더 나은 성과를 냈으며, 단순 평균보다도 더 뛰어났습니다. 흥미롭게도, 이 연구는 이러한 개선이 AI 믹서가 복잡하고 마법 같은 수학을 수행했기 때문이 아니라고 제안합니다. 그 대신, 이 믹서는 모델들이 서로 다른 종류의 실수를 저지르는 데 더 많은 가중치를 두는 법을 배웠기 때문에 효과가 있었습니다. 이는 마치 스포츠 코치가 한 선수는 수비에는 강하지만 공격에는 약하고, 다른 선수는 그 반대라면, 이들을 함께 배치하여 모든 상황을 대비하는 것을 깨닫는 것과 같습니다. 연구는 단순한 선형 결합—기본적으로 가중 평균—만으로도 최상의 결과를 얻기에 충분했다는 것을 발견했으며, 이는 AI 군집 지혜의 핵심이 복잡한 상호작용이 아니라 오류의 다양성에 있음을 시사합니다.

하지만 모든 것을 바꾸는 거대한 "하지만"이 존재합니다. 연구진은 많은 AI 모델이 비밀리에 부정행위를 하고 있다는 사실을 발견했습니다. 이 모델들은 특정 시점까지의 방대한 인터넷 데이터를 학습했기 때문에, 학습이 멈추기 전에 해결된 질문들에 대한 답을 종종 '기억'하고 있었습니다. 이를 '오염(contamination)'이라고 합니다. 연구진이 AI가 이미 답을 알고 있을 수 있는 모든 질문을 걸러내자, 결과는 극적으로 변했습니다. 비싸고 화려한 '클라우드' 모델과 작고 로컬 기반인 모델 사이의 거대한 격차는 거의 사라졌습니다. 대규모 모델들은 기억에 의존할 수 없을 때 훨씬 덜 인상적으로 보였습니다. 실제로, 최고의 AI 군집조차도 사람들이 실시간으로 결과에 돈을 거는 실제 인간 예측 시장보다 현저히 떨어졌습니다. 인간 시장은 AI 군집이 보고 있는 것과 동일한 정보를 보고 있음에도 불구하고, AI 군집보다 약 두 배 더 정확했습니다.

그렇다면 시사점은 무엇일까요? AI 군집은 똑똑할 수 있지만, 자신의 기억에 의해 쉽게 속을 수 있습니다. 만약 당신이 AI가 실제로 미래를 예측하는 데 능숙한지 알고 싶다면, 그것이 학습을 마친 이후에 일어난 일들로 테스트해야 합니다. 그때까지 AI 군집의 '지혜'는 무엇을 알아낼 수 있는지보다는, 그것이 이미 알고 있는 것이 무엇인지를 반영하는 것에 불과할 것입니다. 이 연구는 우리가 서로 다른 모델을 섞음으로써 더 나은 AI 팀을 구축할 수는 있지만, 인간 군집의 역동적이고 실시간적인 지능에 도달하기까지는 여전히 갈 길이 멀다는 것을 시사합니다.

기술 요약: LLM 군집의 지혜 (Wisdom of LLM Crowds)

문제 정의

"군집의 지혜(wisdom of crowds)" 현상은 다양한 집단의 판단을 결합하는 것이 종종 최선의 개별 구성원보다 더 높은 정확도를 산출한다는 가설을 제시한다. 이는 인간 예측가들을 대상으로 광범위하게 검증되었으나, 대규모 언어 모델(LLM)이 유사한 집단 지성을 보이는지는 여전히 미해결 과제로 남아 있다. 이전 연구(예: Schoenegger et al., 2024)는 LLM 군집이 인간 패널과 대등할 수 있음을 시사했으나, 단순한 결합 방식(중앙값)에 의존했으며, 결합의 이점이 발생하는 메커니즘이나 데이터 오염(contamination)의 영향을 체계적으로 조사하지 않았다.

해결된 예측 시장 질문에 대해 LLM을 평가할 때 발생하는 핵심적인 과제는 **학습 중단 시점 오염(training cutoff contamination)**이다. 만약 모델의 학습 데이터에 모델의 학습 중단 날짜 이전에 해결된 질문의 결과가 포함되어 있다면, 모델은 추론하기보다는 정답을 "암기"하게 되어 성능을 인위적으로 부풀리고 모델 간의 비교를 왜곡할 수 있다. 본 연구는 LLM 군집이 군집의 지혜 효과를 보이는지 확인하고, 최적의 결합 전략을 식별하며, 오염이 모델 순위와 능력 격차에 미치는 영향을 엄격하게 평가하는 것을 목표로 한다.

방법론

데이터 및 모델

데이터셋: 본 연구는 Manifold Markets의 254개 이진(YES/NO) 예측 시장 질문을 활용하였다.
- 메인 세트(Main Set): 2024년 6월에서 2026년 3월 사이에 해결된 208개 항목.
- 클린 서브셋(Clean Subset): 모든 모델의 학습 중단 시점과 겹치지 않도록 2025년 9월 1일 이후에 해결된 94개 항목.
모델: 15개의 LLM으로부터 확률 추정치를 추출하였다:
- 프런티어 클라우드 모델(Frontier Cloud Models): 10개 모델 (예: Claude 4.6 시리즈, GPT-5 시리즈, Gemini Flash/Pro 등).
- 로컬 모델(Local Models): 5개의 더 작은 오픈 웨이트 모델 (예: Mistral 7B, LLaMA 3.1 8B, Phi-4 14B 등).
추론(Elicitation): 모델들은 인터넷 검색 없이 오직 학습된 지식만을 바탕으로 각 문장에 대한 확률 추정치(0–1)를 제공하도록 프롬프트되었다.

결합 방법 (Aggregation Methods)

본 연구는 네 가지 고전적 결합 방법과 두 가지 학습된 결합기를 평가하였다:

고전적 방법: 산술 평균, 기하 평균, 조화 평균, 그리고 로그-오즈 평균(logit mean).
학습된 결합기(Learned Aggregators):
- 로지스틱 회귀(Logistic Regression): 15개 모델 입력에 대해 비균등 가중치를 학습하는 선형 모델.
- 다층 퍼셉트론(MLP): 15차원 입력 벡터를 단일 확률로 매핑하도록 학습된 두 개의 은닉층(각각 64개 및 32개 유닛)을 가진 신경망.

평가 프로토콜: 학습된 결합기들은 160개의 비-클린(non-clean) 항목으로 학습되었으며, 시간적 전이(temporal transfer)를 보장하기 위해 94개의 클린 서브셋에서 평가되었다. 고전적 방법은 클린 서브셋에서 직접 평가되었다.

분석 기법

지표: 주요 지표는 브라이어 점수(Brier score, 낮을수록 좋음)였으며, 보조 지표로 분류 정확도와 AUC를 사용하였다.
기호 회귀(Symbolic Regression): 학습된 MLP에 적용되어, MLP의 결합 전략을 근사하는 해석 가능한 수학적 공식을 복구하기 위해 사용되었으며, 정확도 대 복잡도의 파레토 프런티어를 탐색하였다.
오염 분석: "중단 시점 이내(within-cutoff)" 항목과 "중단 시점 이후(outside-cutoff)" 항목 간의 모델 성능을 비교하고, 전체 데이터셋과 클린 서브셋 간의 순위 안정성을 분석하였다.
인간 베이스라인: 모델의 정보 우위를 통제하기 위해, 최종 시장 가격과 "중단 시점에 맞춘(cutoff-matched)" 시장 가격(각 모델의 학습 중단 시점 당시의 시장 가격)을 모두 사용하여 Manifold 시장 확률과 LLM 성능을 비교하였다.

주요 결과

1. 결합 성능

학습된 모델 vs 고전적 모델: 두 학습된 결합기(로지스틱 회귀 및 MLP) 모두 클린 서브셋에서 모든 개별 모델과 고전적 결합 방법보다 유의미하게 높은 성능을 보였다.
- 로지스틱 회귀는 가장 낮은 브라이어 점수(0.241)를 기록하며 산술 평균(0.313)보다 약 23% 높은 성능을 보였다.
- MLP는 약간 더 높은 브라이어 점수(0.264)를 기록했으나, 더 나은 순위 판별력(AUC 0.657 vs 0.633)을 보였다.
이점의 선형성: 로지스틱 회귀와 MLP가 거의 대등하다는 점은 결합의 이점이 복잡한 비선형 상호작용보다는 다양한 모델 출력의 선형 결합을 학습하는 데서 기인함을 시사한다.
기호 회귀 결과: MLP에서 복구된 가장 단순하면서도 유용한 공식은 두 특정 모델 사이의 대비 신호인 $\sigma(p_{\text{Gemini Pro}} - p_{\text{Claude Haiku}})$ 였다. 이 공식은 단 두 개의 모델만을 사용함에도 불구하고 전체 15개 모델을 사용한 MLP의 성능을 거의 재현하였으며, 이는 이점이 소수의 상호 보완적인 에러 패턴에서 비롯됨을 나타낸다.

2. 오염 효과

성능 부풀림: 모델들은 학습 중단 시점 이전에 해결된 항목에 대해 중단 시점 이후의 항목보다 유의미하게 높은 정확도를 보였다. 정확도 차이는 +0.05에서 +0.26 사이였다.
순위 불안정성: 오염은 모델 순위를 크게 왜곡했다. 전체 데이터셋과 클린 서브셋 간의 스피어만 순위 상관계수는 $\rho = 0.532$ 에 불과했다. 주목할 만한 변화로는 LLaMA 3.1 8B가 14위에서 6위로 상승하고, GPT-5.4 Mini가 6위에서 13위로 하락한 사례 등이 있다.
클라우드-로컬 격차 붕붕: 프런티어 클라우드 모델과 더 작은 로컬 모델 사이의 외견상 성능 격차는 전체 데이터셋에서의 **35.8%**에서 클린 서브셋에서의 **8.9%**로 급감했다. 이는 예측 작업에서 프런티어 모델이 보여준 탁월한 성능의 상당 부분이 추론 능력보다는 결과에 대한 지식 때문이었음을 시사한다.

3. 인간 군집과의 비교

LLM vs 시장: 시장의 정보 우위를 통제했을 때(중단 시점에 맞춘 시장 가격 사용), 인간 군집(Manifold 시장)은 모든 개별 LLM보다 브라이어 점수 측면에서 1.5배에서 2.6배 더 높은 성능을 보였다.
메커니즘: 인간의 우위는 분산된 지식을 동적으로 결합하고 추정치를 실시간으로 업데이트하는 능동적 트레이더의 능력에 반영되나, LLM(고정된 스냅샷으로부터 추론)은 이를 재현할 수 없다.
이전 연구와의 일치: 본 연구는 LLM 군집이 역동적인 예측 시장에는 미치지 못할지라도, 정적인 인간 패널(Schoenegger et al., 2024에서 발견된 바와 같이)의 성능은 따라잡을 수 있음을 언급하며, 이 격차가 인간의 인지 능력에 대한 근본적인 실패라기보다는 구조적(역동적 vs 정적 결합) 차이임을 강조한다.

의의 및 주장

본 논문은 세 가지 주요 기여를 주장한다:

LLM 군집 지혜의 검증: LLM 군집이 학습된 결합이 최선의 개별 모델보다 성능이 뛰어난 "군집의 지혜" 효과를 보인다는 증거를 제공한다.
메커니즘 식별: LLM의 결합 이점이 인간 군집과 마찬가지로 단순한 성능 가중치가 아닌 에러 패턴의 다양성에 의존함을 입증한다. 저자들은 다양한 모델의 단순한 선형 결합만으로도 이러한 이점의 대부분을 포착할 수 있음을 보여준다.
중요한 혼란 변수로서의 오염: 본 연구는 학습 중단 시점 오염이 프런티어 모델의 성능을 인위적으로 부풀리고 능력 평가를 왜곡하는 만연한 문제임을 확립한다. 저자들은 신뢰할 수 있는 평가를 위해서는 "클린(clean)" 평가(모든 모델의 학습 중단 시점 이후에 해결된 질문을 사용하는 것)가 필수적이며, 이를 통해 로컬 모델과 프런티어 모델 간의 격차가 기존 생각보다 훨씬 작다는 것을 밝혀냈다.

저자들은 LLM 군집이 집단 지성을 발휘할 수 있지만, 그 정확도는 역동적인 인간 시장에 비해 정적인 특성으로 인해 구조적으로 제한되며, 진정한 추론 능력을 이해하기 위해서는 오염이 없는 엄격한 평가가 필요하다고 결론짓는다.