💻 computer science

Diversity is the Strength of the AI Crowd

이 논문은 AI 예측 앙상블의 정확도를 극대화하기 위해서는 단순히 성능이 높은 유사한 LLM들의 예측을 결합하는 것이 아니라, 상호 보완적인 오차를 가진 다양한 모델들을 전략적으로 결합해야 함을 입증한다.

원저자: Matthew Aitchison, Scott Jeen, Toby Shevlane, Ben Day

게시일 2026-06-30

📖 3 분 읽기☕ 가벼운 읽기

원저자: Matthew Aitchison, Scott Jeen, Toby Shevlane, Ben Day

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 동전 던지기의 결과를 예측하려고 한다고 상상해 보세요. 하지만 단순히 동전을 던지는 대신, 매우 똑똑하지만 서로 조금씩 다른 컴퓨터들(AI 모델들)에게 미래의 사건이 일어날지 아닐지를 추측해 달라고 요청하는 것입니다.

이 논문은 아주 단순한 질문을 던집니다. 만약 당신에게 제한된 숫자의 "추측 기회"가 있다면, 가장 똑똑한 컴퓨터 한 대에게 다섯 번 추측하게 해야 할까요, 아니면 서로 다른 다섯 대의 컴퓨터에게 각각 한 번씩 추측하게 해야 할까요?

연구진이 발견한 내용을 일상적인 비유를 들어 설명해 드리겠습니다.

기존 방식: "슈퍼 전문가"

오랫동안 표준적인 접근 방식은 사용 가능한 가장 똑똑한 AI 모델 하나를 찾아 그 모델에게 같은 질문을 반복해서 던지는 것이었습니다. 그 논리는 이렇습니다. "이 모델이 최고라면, 이 모델의 추측이 많아질수록 더 나을 것이다."

연구진은 이를 **"무차별적 샘플링(indiscriminate sampling)"**이라고 부릅니다. 이것은 마치 당신의 가장 친한 친구에게 같은 주제로 다섯 편의 서로 다른 에세이를 써달라고 부탁하는 것과 같습니다. 친구가 최대한 다르게 쓰려고 노력하더라도, 그들은 결국 같은 뇌, 같은 기억, 같은 스타일을 사용하고 있습니다. 따라서 그들의 답변은 서로 매우 유사할 것입니다.

새로운 발견: "다양한 팀"

이 논문은 이 방식이 틀렸다고 주장합니다. 대신, 가장 좋은 결과는 다양한 팀을 구성하는 데서 옵니다.

이것은 스포츠 팀을 생각하면 쉽습니다. 만약 당신의 팀에 농구 슛을 아주 잘 쏘는 선수 다섯 명이 있지만, 그들이 모두 정확히 같은 위치에 서서 같은 방식으로 슛을 쏜다면, 코트 전체를 커버할 수 없습니다. 당신에게는 조화가 필요합니다. 슛을 잘 쏘는 선수 한 명, 수비를 잘하는 선수 한 명, 그리고 패스를 잘하는 선수 한 명이 있어야 합니다. 설령 "패스 담당" 선수가 최고의 슈터는 아닐지라도, 그들의 독특한 기술은 팀 전체를 더 강하게 만듭니다.

핵심 연구 결과

1. 똑똑한 모델들은 비슷하게 생각한다
연구진은 여러 최상위 AI 모델(GPT-5, Gemini 3 Pro 등)을 테스트했습니다. 그 결과, 이러한 "초고성능" 모델들은 실제로 사고방식이 매우 유사하다는 것을 발견했습니다. 같은 질문을 받았을 때, 이들은 매우 비슷한 답변을 내놓는 경향이 있습니다.

비유: 만약 당신이 똑같이 생긴 쌍둥이 다섯 명에게 똑같은 수수께끼를 낸다면, 그들은 아마도 똑같은 답을 내놓을 것입니다. 그들에게 다섯 번 묻는 것은 새로운 정보를 얻는 것이 아니라, 단지 똑같은 답을 다섯 번 반복해서 듣는 것에 불과합니다.

2. "아웃라이어(Outlier)"가 MVP다
연구진의 테스트 그룹 중 Grok 4라고 불리는 모델은 흥미로웠습니다. 이 모델은 단독으로는 절대적인 1위 모델은 아니었습니다(실제로는 3위였습니다). 하지만 이 모델은 다른 모델들과 매우 다르게 생각했습니다. 이 모델의 답변은 나머지 그룹의 답변과 상관관계가 낮았습니다.

비유: 퍼즐을 상상해 보세요. 당신에게 완벽하게 맞물리는 네 개의 조각이 있지만 작은 틈이 남아 있습니다. 그때 다른 조각들과는 전혀 다르게 생긴 다섯 번째 조각을 찾았는데, 그 조각이 그 틈에 완벽하게 들어맞는 상황입니다. 비록 다섯 번째 조각이 다른 조각들에 비해 "이상해" 보일지라도, 그 조각은 퍼즐을 완성하는 데 가장 가치 있는 조각입니다.

3. 다양성이 정확도를 이긴다
연구진이 모델들을 결합했을 때, 승리한 팀은 단일 최고의 모델을 다섯 번 반복한 팀이 아니었습니다. 승리한 팀은 다음과 같은 조합이었습니다:

커스텀 튜닝된 모델 (전문가)
두 개의 최상위 모델 (일반가)
Grok 4 (다양한 사고를 하는 모델)

비록 Grok 4가 단독으로는 가장 정확하지 않았을지라도, 이 모델은 대체 불가능한 존재였습니다. 만약 팀에서 Grok 4를 제외한다면, 그룹의 성과는 크게 떨어졌습니다. 반면, "최고" 모델 중 하나를 제외했을 때는 그룹이 거의 차이를 느끼지 못했습니다.

핵심 교훈

이 논문은 "AI 군중"의 힘은 똑똑한 사람 한 명에게 백만 번 추측하게 하는 데서 오는 것이 아니라, 서로 다른 똑똑한 사람들에게 각기 다른 종류의 실수를 저지르도록 요청하는 데서 온다는 결론을 내립니다.

잘못된 방법: 동일한 모델에게 5번 추측하게 하는 것. (한 사람에게 다섯 가지 다른 이야기를 써달라고 하는 것과 같습니다. 모든 이야기는 비슷하게 들릴 것입니다.)
해결책: 5개의 서로 다른 모델에게 각각 한 번씩 추측하게 하는 것. (시인, 과학자, 코미디언, 역사학자에게 이야기를 들려달라고 하는 것과 같습니다. 그들의 다양한 관점은 훨씬 더 풍부하고 정확한 그림을 만들어냅니다.)

요약하자면: 최고의 예측을 얻으려면, 단순히 최고의 모델을 그 위에 계속 쌓아 올리지 마세요. 설령 리더보드에서 절대적인 1위가 아닐지라도, 다르게 생각하는 모델들을 섞으세요. 다양성이 바로 그 비법(Secret Sauce)입니다.

기술 요약: 다양성은 AI 군집의 힘이다

문제 정의

현재 최고 성능을 보이는 AI 예측 시스템들은 토너먼트 방식의 미래 세계 사건 관련 질문에서 숙련된 인간 "슈퍼포캐스터(superforecaster)"에 근접하는 정확도를 달est합니다. 이러한 시스템은 일반적으로 표준적인 레시피, 즉 오프더셸 대규모 언어 모델(LLM)을 예측 특화 파이프라인(검색, 구조화된 프롬프팅, 다중 샘플 집계 포함)으로 감싸는 방식에 의존합니다.

그러나 실무자들은 문헌에서 거의 다뤄지지 않는 제약된 최적화 문제에 직면해 있습니다: 질문당 할당된 예측 예산이 정해져 있을 때, 앙상블 정확도를 극대화하기 위해 어떤 특정 모델들을 샘플링하고 결합해야 하는가? 자연스럽지만 잘못된 가정은 가장 강력한 단일 모델로부터 모든 샘플을 추출하는 것이 최선의 결과를 낳는다는 것입니다. 본 논문은 이 가정이 유효한지 조사하고, 고정된 샘플 예산을 다양한 프런티어 LLM 풀에 어떻게 최적으로 배분할 것인지 결정하고자 합니다.

방법론

본 연구는 Metaculus AI 벤치마크 Q2 2025를 사용하여 앙상블 성능을 평가하며, 테스트 세트는 2025년 5월에서 7월 사이에 해결된 113개의 이진 이벤트 질문으로 구성됩니다.

모델 및 파이프라인

저자들은 동일한 2단계 스캐폴딩 파이프라인(질문별 증거 검색 후 구조화된 확률 방출)으로 감싸진 5개의 예측기를 평가했습니다:

4개의 오프더셸 프런티어 LLM: Gemini 3 Pro, GPT-5, Grok 4, Kimi K2.5.
1개의 미세 조정(Fine-tuned) 모델: FT-gpt-oss-120b (분리된 예측 질문 세트를 통해 강화 학습으로 훈련됨).

각 모델은 질문당 $R_m = 3$ 개의 독립적인 샘플을 생성합니다. 앙상블 예측은 모델별 평균의 가중 평균을 구한 뒤, 확률을 0과 1 사이로 제한하는 클리핑(clipping) 연산을 수행합니다.

평가 지표

정확도(Accuracy): Metaculus 베이스라인 점수(재조정된 로그 점수)를 사용하여 측정하며, 0은 균등한 50% 예측을, 100은 완벽한 예견을 나타냅니다.
다양성(Diversity): 모델 쌍 간의 베르누이 예측 분포 사이의 대칭적 젠슨-샤논(Jensen–Shannon) 발산을 사용하여 정량화합니다.
앙상블 최적화: 저자들은 평균 베이스라인 점수를 극대화하는 최적의 팀 $a^*_5$ 를 식별하기 위해, 총 예산 $B=5$ (모델당 최대 3개 샘플 제한)에 대한 모든 유효한 정수 샘플 할당에 대해 브루트 포스 열거를 수행했습니다.
대체 가능성(Replaceability): 특정 모델 $m$ 을 제외했을 때 가능한 최선의 팀과 최적의 팀 사이의 점수 차이( $\Delta_m$ )로 정의됩니다.

주요 결과

1. 상관관계는 중복 샘플링의 가치를 제한한다

연구 결과, 개별 정확도만으로는 앙상블 성능을 극대화하기에 불충분하다는 것이 밝혀졌습니다. 가장 강력한 오프더셸 프런티어 LLM들(예: GPT-5, Kimi K2.5)은 고도로 상관된 예측을 생성합니다. 결과적으로, 동일한 고성능 모델에서 여러 개의 샘플을 추가하는 것은 상관관계가 낮은 모델을 추가하는 것에 비해 수익 체감(diminishing returns)을 보입니다.

2. 최적의 할당에는 다양성이 필요하다

고정된 예산 $B=5$ 하에서, 최적의 앙상블은 결코 모든 샘플을 단일 모델에 집중시키지 않습니다. 대신, 최적의 할당( $a^*_5$ )은 예산을 네 개의 서로 다른 모델로 나눕니다:

FT-gpt-oss-120b: 2개 샘플
Gemini 3 Pro: 1개 샘플
GPT-5: 1개 샘플
Grok 4: 1개 샘플
Kimi K2.5: 0개 샘플

3. "가장 대체 불가능한" 모델은 가장 정확한 모델이 아니다

Grok 4에 관한 중요한 발견입니다.

단독 성능에서 Grok 4는 5개 모델 중 3위를 기록했습니다.
그러나 최적의 앙상블 내에서 Grok 4는 가장 대체 불가능한 구성원이었으며, 제거 시 약 **1.7 베이스라인 포인트(BP)**의 점수 차이( $\Delta_{Grok}$ )를 발생시켰습니다.
반면, 상위 2개 단독 수행 모델(GPT-5 및 Gemini 3 Pro)은 앙상블의 한계 이득(marginal gain)에 각각 0.1 BP 미만을 기여하여, 이들이 최적의 팀 내에서 상당히 대체 가능하다는 것을 보여주었습니다.

Grok 4의 불균형적인 가치는 그 단독 정확도가 아니라, 다른 프런티어 모델들과의 낮은 상관관계에서 기인합니다. 마찬가지로, 미세 조정된 모델(FT-gpt-oss-120b)은 연속 가중치 스윕(continuous-weight sweeps)에서 가장 높은 가중치를 받았으며, 독특한 오차 프로필 덕분에 두 번째로 대체 불가능한 모델로 나타났습니다.

의의 및 주장

본 논문은 "AI 군집"의 힘이 단일 최적 모델으로부터 무차별적으로 더 많은 예측을 샘플링하는 데서 오는 것이 아니라, 서로 보완적인 오차를 가진 모델들을 결합하는 데서 온다고 주장합니다.

이론적 일치: 이러한 결과는 앙상블 오차가 정확도 항과 다양성 항으로 분해된다는 고전적 앙상블 이론(Krogh & Vedelsby, 1994; Wood et al., 2023)을 경험적으로 입증합니다. 단독 정확도가 밀집되어 있는 본 설정에서는 다양성 항이 주요 차별화 요소가 됩니다.
실무적 시사점: 예측 시스템을 구축하는 실무자들에게 최적의 전략은 단순히 가장 높은 순위의 모델을 쌓는 것이 아니라, 모델의 품질과 다양성을 명시적으로 최적화하는 것입니다.
개발자를 위한 시사점: 단독 정확도 순위가 높지 않은 모델이라도, 주류 프런티어 모델들과 오차를 탈상관화(decorrelate)하는 독특한 사전 학습 또는 미세 조정을 갖추고 있다면 앙상블에 가장 높은 한계 가치를 제공할 수 있습니다.

저자들은 향-미래의 예측 시스템이 개별 모델의 집계된 성능 지표에만 의존하기보다, 보완적인 오차 구조를 제공하는 모델을 명시적으로 탐색하고 가중치를 부여하도록 설계되어야 한다고 결론짓습니다.