Improvisational Games as a Benchmark for Social Intelligence of AI Agents: The Case of Connections

이 논문은 AI 에이전트의 사회적 지능을 평가하기 위해 새로운 즉흥적 언어 게임 'Connections'를 제안하고, 이 게임이 단순한 추론을 넘어 다른 에이전트의 인지 상태를 파악하고 협업하는 능력을 측정하는 효과적인 벤치마크임을 입증합니다.

핵심

이 논문은 **"AI 가 서로 얼마나 잘 통하는지, 그리고 상대방의 마음을 얼마나 잘 읽을 수 있는지"**를 테스트하기 위해 고안된 재미있는 단어 게임 **'커넥션스 (Connections)'**에 대한 연구입니다.

이 내용을 일상적인 언어와 비유로 쉽게 설명해 드릴게요.

1. 게임의 규칙: "너는 내가 뭘 생각 중인지 알아맞혀!"

이 게임은 '힌트 맞추기' 게임입니다.

• 진행자 (Setter): 마음속으로 하나의 단어를 정합니다. (예: 'Catamaran'이라는 배)
• 추측꾼 (Guessers): 진행자가 알려준 첫 글자 (예: 'C') 를 바탕으로 힌트를 주고, 서로의 힌트를 맞춰가며 단어를 찾아냅니다.
• 핵심 규칙:
  • 추측꾼 A 가 "고양이처럼?"이라고 힌트를 주면, 진행자는 "아니, 고양이는 아니야"라고 막을 수 있습니다.
  • 하지만 추측꾼 B 가 "문장 중간에 쉼표"라고 힌트를 주고, 다른 추측꾼이 "쉼표 (Comma)"라고 맞히면, 진행자는 그 단어를 막을 수 없습니다.
  • 이 과정에서 알파벳이 하나씩 드러나고, 결국 진행자가 생각한 단어를 맞춰내면 게임이 끝납니다.

2. 연구의 목적: "AI 는 '공감'할 수 있을까?"

기존의 AI 테스트는 주로 "지식 퀴즈를 얼마나 잘 풀까?"나 "글을 얼마나 잘 요약할까?"를 보았습니다. 하지만 이 연구는 **사회적 지능 (Social Intelligence)**을 봅니다.

• 비유: 만약 AI 가 "고양이"라는 단어를 생각한다면, 인간은 "고양이"를 떠올릴 때 '귀여운 동물', '야옹', '털' 같은 연상을 합니다. 하지만 AI 는 단순히 '고양이'라는 단어의 정의만 알고 있을 수 있습니다.
• 문제: 게임에서 힌트를 줄 때, 너무 쉬운 말 (예: "프랑스 수도") 을 하면 진행자가 바로 막아버립니다. 너무 어려운 말 (예: "내가 어릴 때 키웠던 애완견") 을 하면 다른 추측꾼이 못 맞힙니다.
• 목표: AI 가 **"내가 이 힌트를 주면, 상대방은 이해할까? 진행자는 막을 수 있을까?"**를 예측하고, 상대방의 지식 수준을 파악해서 최적의 힌트를 줄 수 있는지를 테스트하는 것입니다.

3. 실험 결과: AI 는 아직 '감'이 부족해요

연구진은 GPT-4o 모델을 이용해 이 게임을 시뮬레이션했습니다. 결과는 흥미로웠습니다.

• 성공적인 점: AI 는 단어의 뜻을 알고 있고, 문맥을 이해하는 능력은 뛰어났습니다.
• 아쉬운 점:
  • 상대방의 마음을 읽지 못함: 모든 AI 가 똑같은 '머리' (모델) 를 쓰기 때문에, 서로의 생각 패턴이 너무 비슷했습니다. 마치 똑같은 쌍둥이끼리 게임을 하는 것처럼, 한쪽이 힌트를 주면 다른 쪽이 바로 알아차리고, 진행자도 그 힌트를 금방 막아버렸습니다.
  • 비논리적인 행동: 가끔은 인간이라면 절대 하지 않을 이상한 추측을 하거나, 마지막 단계를 앞두고 엉뚱한 단어를 고르기도 했습니다.
  • 맥락 파악 실패: 인간은 "저 사람은 TV 드라마에 잘 알고 있겠지", "저 사람은 의학 용어에 익숙할 거야"라고 상대방의 배경을 파악해서 힌트를 줍니다. 하지만 AI 는 상대방이 어떤 배경을 가졌는지 직접 파악하지 못하고, 단순히 통계적 확률에만 의존했습니다.

4. 결론 및 미래: "AI 에게 '감성'을 심어주자"

이 연구는 AI 가 단순히 지식을 저장하는 '두뇌'를 넘어, **상대방의 마음을 읽고 상황에 맞춰 행동하는 '사회적 두뇌'**를 갖는 것이 중요하다고 말합니다.

• 미래의 가능성: 만약 AI 에게 "너는 의대생이야", "너는 10 대야"처럼 서로 다른 배경 (프로필) 을 부여하고, 상대방의 반응을 관찰하며 학습하게 한다면, 더 똑똑하고 인간적인 협력이 가능해질 것입니다.
• 핵심 메시지: 진정한 지능은 혼자 문제를 푸는 것이 아니라, 함께 놀면서 상대방이 무엇을 알고, 무엇을 모르는지 감지하고 소통하는 능력입니다.

한 줄 요약:

이 논문은 AI 가 "너는 내가 뭘 생각 중인지 알아맞혀" 게임을 통해, **상대방의 마음을 읽고 상황에 맞춰 소통하는 능력 (사회적 지능)**이 얼마나 부족한지, 그리고 어떻게 발전시켜야 하는지를 보여줍니다.

기술 요약

1. 문제 정의 (Problem)

대규모 언어 모델 (LLM) 의 평가는 주로 지식 검색, 요약, 질문 답변, 그리고 논리적 추론 능력에 초점을 맞춰 왔습니다. 그러나 사회적 지능 (Social Intelligence) 과 타인의 인지 상태 (Cognitive States) 를 이해하고 이에 적응하는 능력에 대한 평가는 상대적으로 부족합니다.

• 핵심 문제: AI 에이전트가 단순히 자신의 지식과 추론만 사용하는 것을 넘어, 다른 에이전트 (또는 인간) 가 무엇을 알고 있는지, 어떻게 생각하는지를 파악하고, 이를 바탕으로 효과적으로 소통하며 협업하는 능력을 측정할 수 있는 벤치마크가 필요합니다.
• 맥락: 'The Big Bang Theory'의 예시에서 보듯, 지적인 캐릭터가 팀원에게 이해되지 않는 단서를 제공하는 것은 '자신의 지식'과 '타인의 이해도' 사이의 괴리를 보여줍니다. AI 도 이러한 사회적 맥락 (Shared World Knowledge) 을 이해하고 소통해야 합니다.

2. 방법론 (Methodology)

2.1 제안된 게임: Connections

저자들은 새로운 즉흥적 단어 놀이 게임인 "Connections" 를 제안했습니다.

• 게임 규칙:
  • Setter ( Setter): 숨겨진 단어를 정하고, 게임이 시작될 때 첫 글자만 공개합니다.
  • Guessers (추측자): 나머지 플레이어들은 Setter 의 단어를 맞추기 위해 단서 (Clue) 를 주고받습니다.
  • 진행 방식:
    1. 추측자가 단서를 제시합니다.
    2. 다른 추측자가 그 단서를 듣고 단어를 맞춥니다.
    3. 성공 (Connection): Setter 가 그 단서를 미리 맞춘 경우 (차단) 가 아니라면, 추측자가 단서를 맞출 때 한 글자가 추가로 공개됩니다.
    4. 실패: Setter 가 단서를 맞춘 경우 (차단) 나, 다른 추측자가 틀린 단어를 맞춘 경우 해당 라운드는 실패합니다.
  • 목표: 제한된 횟수 (예: 50 회) 내에 단어를 맞추면 추측자 승리,否则 Setter 승리.

2.2 수학적 형식화 및 모델링

게임의 메커니즘을 수학적 모델로 정의하여 AI 의 사회적 추론을 분석했습니다.

• 의미적 임베딩 (Semantic Embedding): 각 플레이어 $j$ 는 단어와 단서를 $m$ 차원 벡터 $\Phi_j$ 로 매핑합니다. 단서 $p$ 와 단어 $w$ 사이의 의미적 거리는 내적 (Dot Product) 으로 정의됩니다.
• 개인적 인지 차이: 플레이어마다 의미적 연결망이 다르다고 가정합니다 ($\Phi_j \neq \Phi_{j'}$). 하지만 특정 단서와 가장 밀접한 단어에 대한 인식은 플레이어 간에 유사해야 합니다.
• 확률적 최적화:
  • Setter 가 단서를 차단하지 않고, 최소한 한 명의 추측자가 정답을 맞출 확률을 최대화하는 단서의 난이도 ($p^*$) 를 계산했습니다.
  • 플레이어 수가 $n$ 일 때, 최적의 성공 확률은 $p^* = 1 - (1/n)^{1/(n-1)}$ 로 도출됩니다.
• 사회적 지능 학습 알고리즘 (Discourse Vector Adaptation):
  • 에이전트가 상대방의 배경 (Discourse Vector, $d_{i \leftarrow j}$) 을 학습하는 과정을 모방합니다.
  • 상대방이 단서를 맞출 경우 해당 단어의 임베딩 벡터를 상대방의 인식 벡터에 가산 (+), 틀릴 경우 감산 (-) 하는 경사 하강/상승 (Gradient Descent/Ascent) 유사 절차를 통해 상대방의 지식 범위를 추정하고 다음 턴의 단서를 조정합니다.

2.3 실험 설정

• 모델: GPT-4o 를 사용하여 3 명의 에이전트 (Setter 1 명, Guesser 2 명) 를 구성했습니다.
• 프로세스: 다양한 단어에 대해 게임을 반복 실행하고, 성공적인 글자 공개 횟수, 추측자 오답 횟수, Setter 차단 횟수를 기록했습니다.
• 프롬프트 엔지니어링: 에이전트에게 직업, 문화적 배경, 나이 등을 부여하여 (In-context Learning) 의미적 네트워크의 차이를 인위적으로 생성하고 이를 게임에 반영했습니다.

3. 주요 기여 (Key Contributions)

1. 새로운 벤치마크 제안: 기존 LLM 평가에서 소홀히 하던 '사회적 지능'과 '타인 모델링 (Theory of Mind)' 능력을 평가하기 위한 게임 기반 벤치마크인 'Connections'를 공식적으로 도입했습니다.
2. 인지 상태 추론의 형식화: AI 에이전트가 상대방의 지식 수준을 추론하고 단서의 난이도를 조절하는 과정을 수학적 모델 (임베딩 공간에서의 거리 및 확률 최적화) 로 설명했습니다.
3. 협업적 추론의 필요성 강조: 단순한 지식 검색을 넘어, 상대방의 인지적 배경을 고려하여 단서를 생성하고 협업하는 것이 진정한 사회적 지능임을 입증했습니다.

4. 실험 결과 (Results)

• 단어별 난이도 차이: 'X'로 시작하는 단어는 어휘가 적어 상대적으로 적은 반복 횟수로 해결된 반면, 'C'로 시작하는 단어는 더 많은 반복이 필요했습니다. 이는 LLM 이 어휘 공간의 크기를 인지하고 있음을 시사합니다.
• 비인간적 행동: 게임 후반부 (마지막 글자 공개 후) 에 LLM 은 종종 매우 비논리적이거나 드문 단어를 추측하는 비인간적인 행동을 보였습니다.
• 사회적 맥락의 한계:
  • 동일한 모델 (GPT-4o) 을 사용할 경우, 모든 에이전트의 의미적 네트워크가 너무 유사하여 Setter 가 단서를 쉽게 차단하는 경향이 있었습니다.
  • 프롬프팅의 효과: 에이전트에게 서로 다른 배경 (직업, 문화 등) 을 명시적으로 부여했을 때, 에이전트들은 상대방의 배경을 고려한 단어를 생성하려는 시도를 보였습니다.
  • 학습 능력 부족: 명시적인 프롬프팅이 없으면, AI 는 상대방의 인지적 배경을 스스로 탐색하거나 ( diverse clues 를 통해) 적응하는 데 실패했습니다. 인간처럼 상대방의 지식 범위를 스스로 파악하여 단서를 조정하는 능력은 아직 부족합니다.

5. 의의 및 결론 (Significance)

• 사회적 지능의 새로운 차원: 이 연구는 AI 가 단순한 논리적 추론을 넘어, 타인의 마음 (Mental States) 을 이해하고 협업하는 능력을 평가할 수 있는 중요한 기준을 제시했습니다.
• 향후 연구 방향:
  • Setter 가 게임 중에도 단어를 변경할 수 있는 더 복잡한 상황 (Dynamic Word Selection) 에서의 AI 적응 능력 연구.
  • 단순한 프롬프팅을 넘어, 에이전트가 장기적인 상호작용을 통해 상대방의 인지적 배경을 학습하고 자율적으로 적응하는 자율 에이전트 (Autonomous Agents) 개발.
• 결론: 'Connections' 게임은 AI 가 사회적 지능을 갖추기 위해 필요한 지식 공유, 맥락 이해, 그리고 타인 모델링 능력을 검증하는 강력한 도구로 작용할 수 있습니다.