🤖 AI

Social World Models

이 논문은 사회적 세계 모델(Social World Models, SWMs)과 숨겨진 정신 상태 및 사회적 역학을 명시적으로 모델링하기 위한 S3AP이라는 새로운 구조적 표현 형식론을 소개하며, 이를 통해 여러 벤치마크에 걸쳐 복잡한 사회적 상호작용을 추론하고 탐색하는 AI 에이전트의 능력을 크게 향상시킵니다.

원저자: Xuhui Zhou, Jiarui Liu, Akhila Yerukola, Hyunwoo Kim, Maarten Sap

게시일 2026-08-10

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Xuhui Zhou, Jiarui Liu, Akhila Yerukola, Hyunwoo Kim, Maarten Sap

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 북적이는 도시를 걷고 있다고 상상해 보십시오. 당신은 단순히 건물과 신호등만을 보는 것이 아니라, 사람들을 봅니다. 당신 곁을 빠르게 지나가는 사람이 걱정스러워 보인다는 것, 벤치에 앉아 다투는 커플이 화가 나 있다는 것, 그리고 손님에게 미소 짓는 바리스타가 친절하게 행동하고 있다는 것을 알아차립니다. 당신은 머릿속에서 끊임없이 비밀스럽고 보이지 않는 영화를 상영하며, 타인이 무엇을 생각하고, 무엇을 느끼며, 다음에 무엇을 할 계획인지 추측합니다. 이것이 바로 인간이 세상을 항해하는 방식입니다. 우리는 단순히 주변의 물리적 객체뿐만 아니라, 다른 사람들의 마음을 담은 '정신적 지도(mental map)'를 구축합니다.

오랫동안 컴퓨터는 물리적 세계를 매핑하는 데 탁월했습니다. 공을 떨어뜨리면 중력이 아래로 당긴다는 것과, 문을 밀면 열린다는 것을 컴퓨터는 알고 있습니다. 하지만 사람에 관해서라면 컴퓨터는 종종 길을 잃습니다. 컴퓨터는 갈등에 관한 이야기를 읽을 수는 있지만, 그 이면에 숨겨진 감정, 암묵적인 규칙, 혹은 친구를 보호하기 위해 누군가가 왜 거짓말을 하는지 등을 이해하는 데 어려움을 겪습니다. 컴퓨터는 단어들을 보지만, 인간의 행동을 움직이는 동력인 믿음, 의도, 감정이라는 '기계 속의 유령(ghosts in the machine)'은 놓치고 맙니다. 이 논문은 한 가지 거대한 질문을 던집니다. 과연 우리는 AI에게 인간처럼 스스로의 정신적 지도를 구축하도록 가르칠 수 있을까?

COLM 2026 컨퍼런스에서 발표된 이 연구의 연구진들은 그 답이 '예'라고 말하지만, 단, 우리가 정보를 AI에게 전달하는 방식을 바꿔야 한다는 전제를 답니다. 그들은 단순히 길고 무질서한 이야기를 컴퓨터에 쏟아붓는 것만으로는 충분하지 않다고 주장합니다. 대신, 그들은 **사회적 세계 모델(Social World Models)**이라 불리는 새로운 사회적 정보 조직 방식을 제안합니다. 이것을 이렇게 생각해 보십시오. 만약 일반적인 AI가 소설을 읽고 결말을 추측하려 한다면, 그것은 마치 어두운 방 안에서 벽을 더듬으며 길을 찾는 것과 같습니다. 그러나 사회적 세계 모델은 불을 켜는 것과 같습니다. 이 모델은 이야기를 다음과 같은 구조화된 체크리스트로 분해합니다: 누가 여기에 있는가? 그들은 무엇을 보고 있는가? 그들은 속으로 무엇을 생각하고 있는가? 그들은 방금 무엇을 했는가?

이것을 구현하기 위해 연구팀은 S3AP(Structured Social Simulation Analysis Protocol)라는 특별한 형식을 발명했습니다. S3AP를 혼란스럽고 자유롭게 흐르는 이야기를 깔끔하고 조직적인 대시보드로 변환하는 번역기라고 상상해 보십시오. "엄마가 나를 봤기 때문에 이슬이는 초조했다"라는 문장이 있다면, S3AP는 이를 명확한 필드로 분해합니다: 대상: 이슬; 감정: 초조함; 관찰: 엄마가 나를 봄; 행동: 게임 컨트롤러를 숨김. 이 구조화된 데이터는 AI가 실제로 추론할 수 있는 '사회적 청사진(social blueprint)' 역할을 합니다.

연구진은 두 가지 주요 방식으로 이 아이디어를 테스트했습니다. 첫째, 그들은 AI에게 일련의 사회적 퍼즐(예: 그룹 채팅에서 누가 무엇을 알고 있는지 파악하는 문제)을 주고 이를 해결하도록 했습니다. 결과는 인상적이었습니다. AI가 S3PA 청사진을 사용했을 때, 이 퍼즐들을 해결하는 능력이 현저히 향상되었습니다. FANToM이라는 까다로운 테스트에서 AI의 성능은 이전의 최고 기록보다 **51%**나 뛰어올랐습니다. 더욱 흥러운 점은, 더 작고 성능이 낮은 AI가 청사진을 만드는 '번역가' 역할을 할 수 있었고, 그 후 더 똑똑한 AI가 그 청사진을 사용하여 혼자서 시도했을 때보다 더 잘 문제를 해결할 수 있었다는 사실입니다. 이는 사회적 정보를 조직하는 기술이 문제를 해결하는 기술과는 다르며, 두 가지 모두 필요하다는 것을 시사합니다.

둘째, 연구진은 AI가 다른 AI와 실시간으로 상호작용하며 가격을 협상하거나 새로운 친구를 사귀는 것과 같은 게임을 수행하게 했습니다. 그들은 AI에게 '예측 도구(forecaster tool)'를 제공했습니다. 즉, AI가 말하거나 행동하기 전에, 자신의 사회적 세계 모델을 사용하여 "내가 이렇게 말한다면, 상대방은 어떻게 느낄까? 그들은 다음에 무엇을 할까?"라고 시뮬레이션하는 과정을 거치게 했습니다. 이러한 '미리 생각하는 단계'는 AI를 훨씬 더 전략적으로 만들었습니다. 협상과 같은 경쟁적인 상황에서 AI의 성공률은 최대 **18%**까지 향상되었습니다.

이 논문은 AI에게 사람들이 무엇을 하는가뿐만 아니라 그들이 무엇을 생각하고 느끼는지를 추적하는 구조화된 방법을 제공함으로써, 우리가 AI가 사회적 상황을 훨씬 더 지능적으로 헤쳐 나가도록 도울 수 있다고 제안합니다. 이것이 모든 사회적 문제를 즉각적으로 해결하는 마법 같은 해결책은 아니며, 연구진 또한 AI가 감정을 잘못 파악할 수 있다는 등의 여전한 과제들이 있음을 인정합니다. 하지만 연구 결과는 AI가 단순히 단어를 읽는 것을 넘어 그 이면에 있는 사람들의 정신적 모델을 구축하기 시작할 때, AI가 훨씬 더 나은 사회적 파트너가 될 수 있음을 강력하게 시사합니다.

기술 요약: 사회적 세계 모델 (Social World Models)

문제 정의

현재의 AI 시스템은 관찰되지 않은 사회적 역학을 추론하기 위한 명시적인 계산 프레임워크가 부족하기 때문에 복잡한 사회적 상호작용을 탐색하는 데 어려움을 겪고 있습니다. 인간은 무언의 의도, 신념, 진화하는 사회적 상태를 직관적으로 시뮬레이션하지만, AI 모델은 대개 정적인 자유 텍스트 서사에 의존합니다. 이러한 서사는 다음과 같은 내재적 한계를 가집니다:

보고 편향 (Reporting Biases): 정신 상태, 관점, 부분적인 주관적 경험에 대한 명시적 언급을 생략하고 눈에 띄는 사건에만 집중하는 경향이 있습니다.
정보 손실 표현 (Lossy Representations): 전통적인 입력 방식은 사회적 추론의 재귀적 성격(예: "나는 네가 내가 ...라고 생각한다고 생각한다")을 포착하지 못합니다.
구조의 부재: 기존의 세계 모델은 주로 물리적 상태(위치, 온도)를 추적하지만, 에이전트의 신념, 욕구, 의도와 같은 상호작용의 "사회적 구조(social fabric)"는 무시합니다.

결과적으로, AI 시스템은 정보가 암시적이고 불완전한 사회적 맥락을 모델링하거나 그 안을 탐색할 수 있는 메커니즘이 부족합니다.

방법론

본 논문은 **사회적 세계 모델(Social World Models, SWMs)**을 소개하며, 이는 사회적 지능을 사회적 세계 상태의 구조화된 표현 구축과 그에 대한 추론이라는 두 가지 분리 가능한 구성 요소로 분해합니다. 이를 실행하기 위해 저자들은 **S3AP (Structured Social Simulation Analysis Protocol)**를 제안합니다.

1. S3AP 표현

S3AP는 손실이 많은 자유 형식의 서사와 사회적 추론에 필요한 풍부한 데이터 사이의 간극을 메우기 위해 설계된 최소한의, 충분하며, 검사 가능한 구조적 표현입니다. 이는 다음을 인코딩합니다:

상태 (State): 전체 환경 상태.
관찰 (Observations): 각 에이전트가 인지하는 것 (외부 관찰 및 신념, 목표, 감정과 같은 내성적 정신 상태 포함).
행동 (Actions): 각 에이전트에 의해 취해진 행동.
정신 상태 (Mental States): 원시 텍스트에는 흔히 결여되어 있는 숨겨진 변수(의도, 신념)의 명시적 추적.

이 표현은 자유 텍는 서사를 구조화된 JSON 유사 형식으로 변환하는 LLM 기반 도구인 S3AP-Parser를 통해 생성됩니다. 이를 통해 시스템은 추론 모델이 프로세스를 처리하기 전에 사회적 정보를 명시적으로 기술할 수 있습니다.

2. 사회적 세계 모델 공식화

저자들은 N-에이전트 Dec-POMDP (Decentralized Partially Observable Markov Decision Process) 프레임워크를 사용하여 사회적 세계를 공식화합니다. 수동적인 물리적 전이를 모델링하는 전통적인 세계 모델과 달리, SWM 공식화는 다음과 같습니다:

관찰 공간을 내성적 관찰(내부 정신 상태)을 포함하도록 재정의합니다.
행동 공간을 내성적 연산(예: 기억 회상, 신념 업데이트)을 포함하도록 확장합니다.
다른 에이전트를 세계 상태의 능동적인 구성 요소로 취급하여, 그들의 행동( $p(A_{-i} | S_t)$ )을 예측하고 공동 행동에 따라 글로벌 상태를 업데이트합니다.

3. 추론 알고리즘: 예측 및 행동 (Foresee and Act)

상호작용 환경을 위해, 본 논문은 일보 앞을 내다보는 알고리 lack, Foresee and Act 알고리즘을 도입합니다. 에이전트가 행동을 확정하기 전에, SWM은 다음 과정을 거칩니다:

후보 행동을 샘플링합니다.
다음 사회적 상태를 예측합니다 (다른 에이전트가 해당 행동을 어떻게 해석하는지와 그로 인한 정신 상태 변화 포함).
시뮬레이션된 결과를 바탕으로 에이전트의 행동을 정교화합니다.

주요 기여

공식화 및 표현: 본 논문은 환경, 관찰, 행동 및 진화하는 정신 상태를 추적하는 계산 모델로서 SWM을 정의합니다. 이를 S3AP라는 구조화된 프로토콜을 통해 실행 가능하게 함으로써 암시적인 사회적 역학을 명시적으로 만듭니다.
범용 파서 및 체계적 연구: 저자들은 S3AP-Parser를 개발하였으며, 다섯 가지 제3자 사회적 추론 벤치마크(ToMi, ParaToMi, HiToM, FANToM, MMToM-QA)를 통해 이를 평가했습니다.
대화형 사회적 세계 모델: 본 논문은 첫 번째 인칭 상호작용(SOTOPIA)에서 에이전트가 사회적 결과를 예측하고 행동을 정교화할 수 있게 하는 "Foresee and Act" 알고리즘을 도입합니다.

실험 결과

제3자 추론 벤치마크

저자들은 다섯 가지 모델(Llama 4, GPT-4o, o3-mini, DeepSeek-R1, o1)과 다섯 가지 태스크에 대해 S3AP + Chain-of-Thought (CoT)를 표준 CoT와 비교 평가했습니다.

성능 향상: S3AP + CoT는 35개의 모델-태스크 조합 중 30개에서 표준 CoT보다 우수한 성능을 보였습니다.
유의미한 개선:
- FANToM: OpenAI의 o1 대비 약 51%의 상대적 개선을 달와했습니다 (정확도 0.415에서 0.623으로, 절대적 차이는 +20.8 퍼센트 포인트).
- ParaToMi: o1의 정확도를 83.5%에서 **93.2%**로 향상시켰습니다 (+9.8 퍼센트 포인트 이득).
- 교차 모델 전이 (Cross-Model Transfer): 덜 유능한 파서(o3-mini)가 생성한 표현이 더 강력한 추론 모델(o1)의 자체 표현보다 o1을 더 효과적으로 개선했습니다. 이는 표현 구축과 추론이 별개의 능력임을 시사합니다.
어블레이션(Ablation) 결과:
- 성능 향상은 단순히 JSON 직렬화 형식 때문이 아니라, 숨겨진 정신 상태의 명시적 모델링에 의해 주도되었습니다 (불렛 포인트 방식도 JSON과 유사한 성능을 보임).
- 최종 출력의 오류는 주로 사회적 맥락 파싱 실패(79.7%의 오류)에 의해 발생했으며, 이는 순수한 추론 실패보다는 정확한 표현 구축의 중요성을 강조합니다.

상호작용적 사회적 상호작용 (SOTOPIA)

SOTOPIA-hard 벤치마크(목표 지향적 사회적 상호작용)에서의 결과:

전반적 개선: S3AP 기반 SWM을 갖춘 에이전트는 최적의 조합에서 목표 달성 점수(0-10 척도 기준)가 최대 약 18% 상대적 향상(+1.10 포인트 이득)을 보였습니다.
협력 vs 경쟁: SWM은 두 설정 모두에서 이득을 주었으나, 특히 경쟁적인 시나리오에서 더 큰 개선을 보였습니다. 이는 모델이 대화 상대의 목표와 정보 비대칭성을 효과적으로 활용하고 있음을 시사합니다.
디커플링 (Decoupling): 직접적인 에이전트 성능과 사회적 상태 예측을 활용하는 능력은 항상 일치하지 않았습니다. 즉, 더 약한 에이전트라도 강력한 SWM으로부터 상당한 도움을 받을 수 있었습니다.

의의 및 주장

본 논문은 사회적 지능은 표현 구축과 추론으로 분해되어야 한다고 주장합니다. 이 연구의 주요 의의는 다음과 같은 점을 입증했다는 데 있습니다:

명시적 표현의 중요성: 암시적인 사회적 역학(신념, 의도)을 공식적인 표현(S3AP)으로 구조화하는 것은 LLM의 성능을 크게 향 향상시키며, 심지어 강력한 추론 모델(o1 등)을 보조 도구로 사용할 때 그 능력을 능가하기도 합니다.
관심사의 분리 (Separation of Concerns): 사회적 표현을 구축하는 능력과 그것을 가지고 추론하는 능력은 분리 가능합니다. 과제를 직접 수행하는 데 최고가 아닌 모델이라도, 더 강력한 모델이 효과적으로 추론할 수 있도록 돕는 표현을 생성할 수 있습니다.
사회적 AI의 토대: 물리적 세계 모델이 에이전트가 물리적 결과를 예측하도록 돕는 것처럼, 사회적 세계 모델은 AI 시스템이 무언의 역학을 시뮬레이션하고 대화 상대의 행동을 예측함으로써 사회적 상호작용을 이해하고 탐색할 수 있게 합니다.

저자들은 S3AP를 보다 사회적으로 인식 있는 AI를 향한 기초적인 단계로 위치시키며, 현재의 한계(파싱 의존성, 텍스트 범위의 제한)에도 불구하고 이 프레임워크가 견고한 다회차 사회적 상호작용을 위한 연구의 구조화된 경로를 제공한다고 언급합니다.