💬 NLP

SocietyBench: Forecasting Counterfactual Social-World Evolution

이 논문은 실제 사건의 타임라인을 구조화된 예측 작업으로 익명화함으로써 대규모 언어 모델이 반사실적 사회 세계의 진화를 예측하는 능력을 평가하는 새로운 벤치마크인 SocietyBench를 소개하며, 이를 통해 최첨단 모델들조차 다양한 사건에 걸쳐 확률 보정(probability calibration)과 시간적 정확도 모두에서 어려움을 겪고 있음을 밝힌다.

원저자: Zhenran Wang, Zhonghan Bian, Jinsong Li, Zhangyang Qi

게시일 2026-08-05

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zhenran Wang, Zhonghan Bian, Jinsong Li, Zhangyang Qi

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 초지능 로봇에게 세상을 이해하는 법을 가르치고 있다고 상상해 보십시오. 오랫동안 과학자들은 로봇에게 "이 고장 난 코드를 고쳐라", "이 웹사이트를 탐색하라", 또는 "이 수학 문제를 풀어라"와 같은 잡무를 주며 이 로봇들을 테스트해 왔습니다. 이것은 마치 로봇이 그저 차선을 유지하며 목적지에 도달하기만 하면 되는 운전 면허 시험과 같습니다. 하지만 이러한 테스트들은 인간다움의 거대한 부분을 놓치고 있습니다. 바로 현실 세계의 무질서하고 예측 불가능한 드라마입니다. 로봇은 갑작스러운 스캔들, 변화하는 정치적 루머, 혹은 시장 폭락을 어떻게 다룰 수 있을까요? 로봇이 오늘의 뉴스를 보고 내일의 헤드라인이 무엇이 될지 추측할 수 있을까요? 이것이 바로 사회적 예측(social forecasting)의 영역입니다. 이것은 지도를 따라가는 것이 아니라, 가십, 분노, 그리고 놀라움에 따라 바람의 방향이 바뀌는 인간 행동의 날씨를 예측하는 일입니다.

여기에 인공지능이 단순히 학습 데이터에서 암기한 사실을 읊는 것을 넘어, 실제로 현실 세계의 사회적 사건의 미래를 예측할 수 있는지 확인하기 위해 설계된 새로운 "최종 시험"인 SocietyBench가 등장했습니다. 이 연구를 진행한 연구진은 만약 AI에게 이미 일어난 유명한 사건에 대해 묻는다면, AI가 방대한 과거 인터넷 텍스트 라이브러리에서 답을 기억해 내는 "암기된 데이터에 의존"할 수도 있다는 점을 깨달았습니다. 이를 막기 위해 그들은 영리한 속임수를 사용했습니다. 실제 뉴스 기사를 가져온 뒤, 모든 이름(예를 들어 "일론 머스크"를 "인물 X"로, "테슬라"를 "기업 Y"로 바꾸는 것)을 교체하고 날짜를 변경했습니다. 이는 실제 이야기와 똑같이 보이고 느껴지지만, AI가 이전에 본 적 없는 스크립트인 "반사실적(counterfactual)" 세계를 만들어냈습니다. 이제 AI는 기억력이 아닌 자신의 두뇌를 사용하여 이야기가 어떻게 전개될지 파악해야 합니다.

이 실험의 결과는 AI 업계에 일종의 현실 자각 타임을 선사했습니다. 연구진은 금융 시장 폭락부터 지정학적 갈등에 이르기까지 다섯 가지 유형의 사건에 대해 현재 사용 가능한 가장 진보된 여섯 가지 AI 모델을 테스트했습니다. 가장 높은 점수를 받은 가장 똑똑한 모델조차 겨우 75.0점 만점에 75.0점을 기록했을 뿐입니다. 이 점수가 좋아 보일 수도 있지만, 기억하십시오. "사소한 기준점(trivial anchor, 즉 무작위로 찍거나 모든 것에 "50% 확률"이라고 답했을 때 얻는 점수)"은 50입니다. 즉, 최고의 AI도 무작위 추측과 완벽한 예측 사이의 딱 중간 정도에 위치해 있을 뿐입니다.

여기 핵심적인 문제가 있습니다. AI 모델들은 일관성을 유지하는 데 형편없다는 것입니다. 어떤 모델은 어떤 일이 일어날 확률을 맞히는 데는 뛰어나지만(예: "비가 올 확률이 70%이다"라고 말하는 것), 그것이 언제 일어날지를 맞히는 데는 서툽니다. 다른 모델은 그 반대입니다. 이는 마치 비가 올지 안 올지는 항상 맞히지만, 비가 화요일에 올지 금요일에 올지는 항상 틀리는 기상 예보자와 같습니다. 연구진은 단일 사건에 대해 가장 뛰어난 모델과 가장 낮은 모델의 점수 차이가 무려 21.4점에 달할 수 있다는 것을 발견했습니다. 이는 단순히 하나의 이야기로 AI를 테스트하고 끝내서는 안 되며, 진짜 그림을 얻으려면 반드시 많은 이야기를 테스트해야 한다는 것을 증명합니다.

가장 놀라운 발견 중 하나는 "AI 에이전트"에 관한 것이었습니다. 이들은 여러 AI 봇들이 서로 대화하거나, 토론하거나, 함께 계획을 세우며 더 똑똑한 답을 얻고자 하는 데모 설정입니다. 연구진은 이 팀들을 작동시키는 세 가지 다른 방법을 시도했지만, 그중 어느 것도 결과를 개선하지 못했습니다. 사실, 봇들의 팀은 그 기반이 된 단일하고 외로운 AI 봇보다 성능이 더 떨어지는 경우가 많았습니다. 사회적 혼돈을 예측하는 데 있어서는 방에 더 많은 목소리를 추가하는 것이 대화를 더 똑똑하게 만드는 것이 아니라, 그저 더 소란스럽게 만들 뿐이라는 사실이 드러났습니다.

결국, SocietyBench는 우리 AI 모델들이 명령을 따르고 버그를 수정하는 데는 매우 능숙해지고 있지만, 인간 사회의 복잡하고 소용돌이치는 역학을 이해하는 데는 여전히 고군분투하고 있음을 보여줍니다. AI는 미래를 단순히 암기할 수 없습니다. 그들은 미래를 통해 실제로 추론해 나가야 합니다. 그리고 현재로서는, 가장 뛰어난 모델들조차 진정한 예언자가 되기에는 아직 갈 길이 멉니다.

기술 요약: SocietyBench

문제 정의

현재의 대규모 언어 모델(LLM) 및 에이전트 벤치마크는 주로 태스크 완료(예: 버그 수정, GUI 탐색, 코드 실행)에 집중하고 있습니다. 이러한 지표들은 성숙 단계에 접어들었으나, 상호 보완적인 사회적 능력, 즉 모델이 실제 세계의 사회적 사건의 역학을 얼마나 잘 이해하고 예측하는가를 정량화하는 데는 실패하고 있습니다.

기존의 예측 벤치마크는 세 가지 결정적인 한계를 가집니다:

좁은 질문 유형: 이들은 종종 이진(yes/no) 질문(예: 시장 예측 시장)에 의존하며, 복잡한 사회적 서사의 미묘함을 놓칩니다.
데이터 오염: 실제 사건을 원래 형태 그대로 평가하면, 모델이 진정한 추론이 아닌 사전 학습 데이터의 기억을 통해 높은 점수를 얻을 수 있습니다. 반대로, "라이브" 예측 벤치마크는 미래가 펼쳐질 때까지 완전히 평가될 수 없어 즉각적인 벤치마킹이 불가능합니다.
여론의 간과: 사회적 사건은 사실적 사건과 변화하는 대중의 심리/내러티브라는 이중 레이어에 의해 구동되지만, 대부분의 벤치마크는 이를 무시합니다.

나아가, LLM 기반 사회 시뮬레이션(예: 가상 마을)은 충실도(모델이 사회를 시뮬레이션할 수 있는가?)를 테스트할 뿐, 예측 정확도(실제 사건의 결과를 예측할 수 있는가?)를 테스트하지는 않습니다.

방법론: SocietyBench

SocietyBench는 **역사실적 사회 세계 예측(counterfactual social-world forecasting)**을 평가하기 위해 설계된 엔드 투 엔드 벤치마크입니다. 이 벤치마크는 실제 완료된 사회적 사건을 인과적 및 시간적 구조는 유지하면서도, 기억 회상을 유발할 수 있는 표면적 라벨을 제거한 익명화된 역사실적 타임라인으로 변환합니다.

1. 데이터 구축 및 익명화

본 벤치마크는 공공 논쟁, 지정학, 기술 정책, 금융 시장, 무역 정책 등 5개의 이질적인 도메인에 걸친 사건을 다룹니다.

파이프라인: 자동화된 파이프라인을 통해 5개 플랫폼의 웹 뉴스 및 소셜 미디어 포스트를 수집하여 날짜별로 인덱싱된 타임라인을 구성하며, 사실적 사건과 대중 의견 레이어를 분리합니다.
3단계 익명화: 사전 학습 기억을 방지하기 위해, 모든 타임라인은 다음 과정을 거칩니다:
- 엔티티 치환: 모든 개체명(Named Entity)은 최장 일치(longest-match) 조회 테이블을 사용하여 대체됩니다.
- 날짜 이동: 모든 날짜는 각 사건에 고유한 상수 오프셋( $\delta$ , 최대 180일)만큼 이동되어, 절대적인 달력 위치는 파괴하되 날짜 간의 간격은 보존합니다.
- 적대적 감사: 적대적 LLM 패널이 원래의 사건과 시기를 재식별하려고 시도합니다. 만약 확신도가 높으면 해당 사건은 거부되거나 익명화가 다시 수행됩니다.
역사실적 세계: 그 결과물인 "역사실적 사회 세계"는 구조적으로는 현실과 동일하지만 표면적 라벨이 제거되어, 모델이 기억 회상이 아닌 전방향 추론(forward reasoning)에 의존하도록 강제합니다.

2. 평가 프로토콜

각 사건에 대해, 타임라인은 여러 절단 날짜( $d_P$ )에서 분할됩니다. 모델은 절단 전의 컨텍스트( $C_P$ )만을 보는 예측자 역할을 수행하며, 미래( $G_P$ )를 예측해야 합니다.

예측 지점: 각 사건은 25개의 예측 지점을 생성하며, 5개 사건 전체에서 총 125개의 지점을 가집니다.
질문 유형:
- 교정 질문(Calibration Questions): 특정 시간 범위 내에 사건 $E$ 가 발생하는지에 대한 이진 질문입니다. 모델은 확률 $\hat{p}$ 를 출력합니다.
- 시간적 질문(Temporal Questions): 모델은 미래 사건의 구체적인 달력 날짜를 예측합니다.
스코어링 축 (0–100 척도):
- 확률 교정(Probability Calibration): 예측된 확률과 실제 결과값 사이의 가중 평균 절대 오차(wMAE)를 기반으로 합니다. 균등한 50% 예측자는 정확히 50점을 받습니다.
- 시간적 정확도(Temporal Accuracy): 예측된 날짜와 실제 날짜 사이의 일수(days)를 기반으로 하며, 이는 사건의 시간 버킷(0–30, 31–60, 61–90일)에 의해 정규화됩니다. 중간값 추측자는 약 50점을 받습니다.

주요 기여

SocietyBench 벤치마크: 5개의 이질적인 도메인, 이중 소스 타임라인(뉴스 + 소셜 미디어), 그리고 완전히 자동화된 구축 파이프라인을 특징으로 하는 재현 가능한 엔드 투 엔드 벤치마크를 제공합니다.
새로운 프로토콜: 입력 측 익명화(엔티티/날짜 교체)와 출력 측 이중 축 스코어링(교정 및 시간적 정확도)을 결리한 설계를 제시합니다.
포괄적 평가: 중국어 및 영어 판 모두에서 125개의 예측 지점에 대해 6개의 프런티어 LLM, 3개의 에이전트 프레임워크, 2개의 비(non)-LLM 베이스라인을 평가했습니다.

실험 결과

연구에서는 6개의 프런티어 LLM(GPT-5.5, Gemini-3.5-Flash, Claude-Opus-4.8, DeepSeek-V4-Pro, Kimi-K2.5, Doubao-Seed-2.0-Pro)과 Doubao를 기반으로 구축된 3개의 에이전트 프레임워크(LangGraph, AutoGen, MiroFish)를 평가했습니다.

주요 발견

성능 천장(Performance Ceiling): 가장 강력한 모델인 GPT-5.5는 종합 점수 75.0/100을 기록했습니다. 이는 무작위 기준인 50보다 유의미하게 높지만, 여전히 개선의 여지가 크다는 것을 나타냅니다.
축 분리(Axis Dissociation): 두 스코어링 축은 직교합니다. 어떤 모델은 교정에는 강하지만 시간적 정확도에는 약할 수 있고(예: Gemini-3.5-Flash: 73.9 Cal / 67.3 Time), 그 반대일 수도 있습니다(예: Claude-Opus-4.8: 62.5 Cal / 70.0 Time).
사건별 편차: 성능 격차는 사건에 따라 극명하게 갈립니다. "Trump Tariff" 사건에서 최상위(GPT-5.5)와 최하위(Kimi-K2.5) 모델 간의 시간적 격차는 21.4점에 달했습니다. 이는 단일 사건 평가가 신뢰하기 어렵다는 것을 시사합니다.
에이전트 실패: Doubao를 기반으로 구축된 3개의 에이전트 프레임워크는 베이스 모델보다 성능을 향상시키지 못했습니다. 실제로 오케스트레이션(예: AutoGen)은 특히 교정 축에서 성능을 다소 저하시켰습니다.
베이스라인 비교: 두 가지 모델 프리 휴리스틱(빈도 및 모멘텀 베이스라인)은 53.8에서 54.2 사이의 점수를 기록하여 모든 LLM보다 뒤처졌으나, LLM이 단순 휴리스틱 이상의 예측 신호를 보유하고 있음을 확인시켜 주었습니다.

절제 연구(Ablation) 통찰

질문 난이도: "성장하는 윈도우(Growing window)" 질문(Type A)이 난이도의 주요 원인이었습니다. 이를 제거했을 경우 점수가 +7.2점 상승했습니다.
편향(Bias): 모델들은 거짓 사건을 부정하는 경향(약 76점)이 참인 사건을 확인하는 경향(약 60점)보다 강하게 나타났습니다.
절단 기울기(Cutoff Gradient): 모델들은 일반적으로 더 많은 이력을 볼 수 있는 후반부 절단 지점에서 더 나은 성능을 보였으며, 이는 벤치마크가 컨텍스트 기반 예측을 측정할 수 있음을 입증합니다.

의의 및 주장

본 논문은 SocietyBench가 데이터 오염을 피하면서 사회적 사건 예측에 대한 최초의 엄격하고 정량적인 리더보드를 제공한다고 주장합니다.

역사실적 접근의 필요성: 사건을 익명화함으로써, 본 벤치마크는 높은 점수가 사전 학습된 기억의 인출이 아닌 사회적 역학에 대한 진정한 추론을 반영하도록 보장합니다.
다중 사건 평가의 필요성: 서로 다른 사건 간의 큰 성능 차이(단일 축에서 최대 21.4점)는 단일 사례 연구에 의존하기보다 여러 이질적인 사건을 통해 모델을 평가해야 한다는 핵심 근거가 됩니다.
현재 시스템의 한계: 결과에 따르면 현재의 프런티어 LLM과 에이전트 프레임워크는 사회적 예측을 마스터하기에는 아직 멀었습니다. 최상위 모델조차 무작위 베이스라인 이상의 "헤드룸" 중 절반 정도만을 회복했을 뿐입니다. 에이전트 오케스트레이션이 베이스 모델의 성능을 개선하지 못한 것은, 현재의 스캐폴딩 기술이 복잡한 사회적 추론을 아직 강화하지 못하고 있음을 시사합니다.

저자들은 향후 이 분야의 연구를 촉진하기 위해 모든 익명화된 타임라인, 질문 뱅크, 그라운드 트루스 및 스코어링 코드를 공개합니다.