Traces of Social Competence in Large Language Models

본 논문은 17 개의 오픈 가중치 모델을 대상으로 한 대규모 실험을 통해 대규모 언어 모델의 사회적 유능성이 모델 크기와 사후 학습에 의해 어떻게 영향을 받는지 분석하고, '생각 (think)'이라는 정신 상태 어휘가 시나리오의 의미보다 우선하여 고정된 응답 패턴을 유발하는 인과적 요인임을 규명했습니다.

핵심

이 논문은 **"거대 언어 모델 (LLM) 이 정말로 사람의 마음을 읽을 수 있을까?"**라는 아주 흥미로운 질문을 던집니다.

연구자들은 AI 가 사람의 마음을 읽는 능력 (심리학적 용어로 '마음 이론', Theory of Mind) 을 테스트하기 위해 고전적인 **'거짓 믿음 테스트 (False Belief Test)'**를 사용했습니다. 이 테스트는 아주 간단한 이야기로 시작합니다.

이야기: "맥스는 초콜릿을 파란 찬장에 넣어두고 나갔어요. 엄마가 그 초콜릿을 가져다가 초록색 찬장에 옮겨 뒀어요. 맥스가 돌아왔을 때, 맥스는 초콜릿이 어디에 있다고 생각할까요?"
정답: 맥스는 초콜릿이 파란 찬장에 있다고 생각할 것입니다 (엄마가 옮긴 걸 모르니까요).

이 테스트는 아이들뿐만 아니라 AI 도 통과할 수 있는지 확인하는 데 쓰입니다. 하지만 이 논문은 단순히 "AI 가 맞췄다/틀렸다"를 넘어, AI 가 왜 그렇게 답하는지 그 내부 작동 원리를 파헤쳤습니다.

주요 발견들을 일상적인 비유로 설명해 드릴게요.

---

1. AI 는 '크기'만 키운다고 똑똑해지지 않는다 (모델 크기의 함정)

일반적으로 AI 모델이 크고 방대한 데이터를 많이 학습할수록 똑똑해진다고 생각하기 쉽습니다. 하지만 이 연구는 **"크기가 커진다고 해서 마음 읽기 능력이 무조건 좋아지는 건 아니다"**라고 말합니다.

• 비유: AI 모델 크기를 키우는 건 마치 도서관의 책 수를 늘리는 것과 비슷합니다. 책이 많아지면 사실은 더 많은 정보를 알게 되지만, 때로는 그 정보들이 서로 충돌하거나 혼란을 일으키기도 합니다.
• 결과: 모델이 커질수록 '거짓 믿음' 상황 (맥스가 모르고 있는 상황) 을 맞추는 능력은 좋아졌지만, 반대로 '진실 믿음' 상황 (맥스가 알고 있는 상황) 을 맞추는 능력은 오히려 떨어졌습니다. 마치 과도하게 훈련된 선수가 오히려 기본기를 잊어버린 것처럼, AI 는 특정 패턴에 너무 익숙해져서 다른 상황을 놓치는 것입니다.

2. "생각한다 (Think)"라는 단어의 마법 (언어의 함정)

이 연구에서 가장 놀라운 발견은 질문 방식 하나가 AI 의 답을 완전히 바꿔버린다는 것입니다.

• 상황 A (직접적): "맥스는 초콜릿이 어디에 있다고 생각한다 (thinks)?"
• 상황 B (간접적): "맥스는 초콜릿을 찾으러 어디로 가겠지 (goes to get)?"

AI 는 상황 A에서는 거짓 믿음 테스트를 잘 통과하지만, 상황 B에서는 엉뚱한 답을 내놓습니다.

• 비유: AI 는 마치 특정 단어를 보면 자동으로 반응하는 자동售货기 같습니다. "생각한다 (think)"라는 단어가 나오면, AI 는 "아! 이 사람은 무언가를 잘못 알고 있겠구나!"라고 학습된 패턴을 켭니다. 하지만 "찾으러 간다 (goes)"는 단어가 나오면 그 패턴이 꺼져버려서, 사실은 알고 있는 상황에서도 엉뚱하게 추측을 합니다.
• 핵심: AI 는 진짜 사람의 마음을 이해해서 답하는 게 아니라, "생각한다"라는 단어와 "잘못된 정보"가 자주 함께 등장하는 패턴을 외워서 답하고 있는 것입니다.

3. 교육 (Post-training) 은 양날의 검이다

AI 를 개발할 때는 처음에 책을 많이 읽게 하고 (Pre-training), 그다음에 사람과 대화하듯 가르칩니다 (Instruction Tuning). 연구자들은 이 교육 과정이 AI 의 마음 읽기 능력에 어떤 영향을 미치는지 OLMo 2 라는 모델을 자세히 추적했습니다.

• 비유: AI 를 유치원생에서 대학생으로 키우는 과정이라고 생각해보세요.
  • 초기 (Pre-training): AI 는 언어의 문법과 구조를 배우지만, 마음 읽기는 서툴러요.
  • 중기 (Instruction Tuning): 사람과 대화하는 법을 배우면서, "거짓 믿음" 같은 상황을 더 잘 이해하게 됩니다.
  • 후기 (Reasoning Tuning): 하지만 너무 논리적으로 가르치려다 보니, 오히려 패턴에 갇혀버립니다. "생각한다"라는 단어가 나오면 무조건 "틀린 답"을 고르려는 버릇이 생기는 것입니다.

4. AI 의 뇌를 직접 조작해 보니 (Vector Steering)

연구자들은 AI 의 내부에서 "생각 (Think)"이라는 개념을 담당하는 특정 신호 (벡터) 를 찾아냈습니다. 그리고 이 신호를 인위적으로 조작해 보았습니다.

• 실험: AI 가 "생각한다"는 단어를 보지 않아도, 내부 신호에 "생각한다"는 느낌을 주입해 보았습니다.
• 결과: AI 는 실제로 그 단어가 없어도, 마치 "생각한다"는 단어가 있는 것처럼 행동하며 답을 바꿨습니다.
• 의미: 이는 AI 가 진짜로 상황을 이해해서 답하는 게 아니라, 단순히 "생각한다"는 단어와 연결된 기계적인 신호에 반응하고 있음을 증명합니다.

---

📝 결론: AI 는 정말로 마음을 읽을까?

이 논문의 결론은 **"아직은 아니다"**입니다.

AI 는 거대한 데이터를 통해 사람들이 "마음"을 이야기할 때 사용하는 언어 패턴을 아주 잘 흉내 내는 것입니다. 하지만 그건 마치 연극 배우가 대본을 완벽하게 외워서 연기를 하는 것과 같습니다. 배우가 대본 속 인물의 감정을 진짜로 느끼는 것은 아니죠.

• 우리가 배운 점: AI 가 "마음 이론"을 가진 것처럼 보이는 것은, 특정 단어 ("생각한다", "모른다") 와 특정 상황 ("거짓 믿음") 이 데이터에서 자주 함께 등장하기 때문입니다.
• 경고: 우리가 AI 를 평가할 때, 단순히 "맞았다/틀렸다"로만 보면 안 됩니다. AI 가 **언어의 함정 (패턴)**에 걸려서 답을 내놓는지, 아니면 진짜 상황을 이해하고 답하는지 구별하는 것이 중요합니다.

결국, AI 는 아직 진짜 사람의 마음을 읽는 능력을 갖추지 못했습니다. 대신 우리가 쓰는 언어의 규칙을 아주 정교하게 따라 하는 천재일 뿐입니다.

기술 요약

1. 문제 제기 (Problem)

• FBT 의 한계: 인간의 ToM 능력을 평가하는 표준인 거짓 믿음 테스트 (FBT) 는 LLM 에 적용될 때 데이터 오염 (training data leakage), 모델 세부 사항의 부족, 일관성 없는 통제 변수 등으로 인해 신뢰성과 설명력이 제한적입니다.
• 표면적 패턴 학습의 의문: LLM 이 진정한 사회적 추론 능력을 갖추었는지, 아니면 테스트의 표면적 패턴 (heuristic) 만 학습하여 정답을 맞추고 있는지에 대한 논쟁이 지속되고 있습니다.
• 체계적 분석의 부재: 모델 크기, 아키텍처, 사전 학습 (pre-training) 및 후속 학습 (post-training) 단계별 효과를 체계적으로 매핑한 연구가 부족합니다.

2. 방법론 (Methodology)

• 데이터셋: Trott et al. (2023) 의 FBT 변형 192 개를 사용했습니다. 이는 12 가지 시나리오에 대해 4 가지 차원 (관찰 조건, 지식 단서, 위치 언급 순서) 을 조합하여 생성된 균형 잡힌 세트입니다.
  • 지식 상태 (Knowledge State): 진실된 믿음 (True Belief, TB) vs. 거짓 믿음 (False Belief, FB).
  • 지식 단서 (Knowledge Cue): 명시적 (Explicit, "X 는 ~라고 생각한다") vs. 암시적 (Implicit, "X 는 ~하러 간다").
• 모델: 6 개의 모델 계열에서 총 17 개의 오픈 가중치 (open-weight) 모델 (OLMo 2, Llama 3, Gemma 3 등) 을 테스트했습니다.
• 분석 기법:
  • 베이지안 로지스틱 회귀 (Bayesian Logistic Regression): 모델 크기, 학습 변형 (Base, Instruct, Reasoning), 지식 상태, 지식 단서 간의 상호작용을 분석.
  • 벡터 스티어링 (Vector Steering): 'think'라는 동사가 모델의 내부 표현에 미치는 인과적 영향을 규명하기 위해 'think 벡터'를 추출하고 주입/제거하는 실험 수행.
  • OLMo 2 사례 연구: 사전 학습 (pre-training) 및 후속 학습 (post-training) 단계별 학습 궤적을 추적하여 능력 획득 시점을 분석.

3. 주요 결과 (Key Results)

A. 모델 크기와 ToM 추론

• 모델 크기가 커질수록 전체적으로 성능이 향상되지만, 이는 균일하지 않습니다.
• 거짓 믿음 (FB) 작업에서는 모델 크기 증가가 성능을 크게 향상시키지만, 진실된 믿음 (TB) 작업에서는 오히려 성능을 저하시키는 경향이 있습니다. 이는 인간과 모델 간의 중요한 차이점입니다.

B. 명제 태도 (Propositional Attitudes) 의 명시화 효과 (Crossover Effect)

• 교차 효과 (Crossover Effect): 지식 단서의 유형 (명시적 vs. 암시적) 이 모델의 성능에 결정적인 영향을 미칩니다.
  • 명시적 단서 ("X 는 ~라고 생각한다"): 거짓 믿음 (FB) 작업에는 도움이 되지만, 진실된 믿음 (TB) 작업에는 해롭습니다.
  • 암시적 단서 ("X 는 ~하러 간다"): 진실된 믿음 (TB) 작업에는 도움이 되지만, 거짓 믿음 (FB) 작업에는 해롭습니다.
• 이는 모델이 'think'라는 동사가 등장할 때, 학습 데이터에서 배운 지식 상태의 불일치 (epistemic divergence) 패턴을 자동적으로 활성화하여, 실제 상황과 반대되는 추론을 하게 만든다는 것을 시사합니다.

C. 후속 학습 (Post-training) 의 영향

• Instruction Tuning: 지시 학습 (Instruct) 은 암시적 단서에서의 거짓 믿음 성능 저하를 부분적으로 완화합니다.
• Reasoning Tuning: 추론 지향적 미세 조정 (Reasoning) 은 오히려 교차 효과를 증폭시킵니다. 즉, 명시적 거짓 믿음 추론에는 특화되지만, 진실된 믿음 상황에서의 전반적인 ToM 강건성 (robustness) 을 떨어뜨립니다. 이는 모델이 표면적 패턴에 더 민감하게 반응하게 만들기 때문입니다.

D. OLMo 2 학습 궤적 분석

• 학습 시기: OLMo 2 는 형식적 언어 능력 (BLIMP 벤치마크) 을 빠르게 습득하지만, FBT 와 같은 기능적 사회적 추론 능력은 훨씬 더 늦게 (토큰 수의 12.5% 지점 이후) 나타나며 불안정합니다.
• 교차 효과의 기원: 이 교차 효과는 사전 학습 (pre-training) 단계에서 이미 발생하며, 모델이 학습 데이터에서 특정 정신 상태 어휘와 관련된 고정관념적 반응 패턴을 학습하고 있음을 보여줍니다.

E. 벡터 스티어링 실험

• 'think' 벡터를 추출하여 모델에 주입하거나 제거하는 실험을 통해, **명제 태도 동사 ('think') 가 관찰된 FBT 행동의 인과적 동인 (causal driver)**임을 확인했습니다. 이는 모델이 단순한 패턴 매칭을 넘어, 특정 어휘에 반응하는 내부 표현을 가지고 있음을 시사합니다.

4. 주요 기여 (Key Contributions)

1. 체계적 비교: 17 개의 다양한 오픈 모델과 192 개의 FBT 변형을 사용하여 모델 크기와 학습 단계가 사회적 인지 능력에 미치는 영향을 정량화했습니다.
2. 교차 효과 발견: 모델이 '진실된 믿음'과 '거짓 믿음' 상황에서 지식 단서 (명시적/암시적) 에 대해 정반대의 반응을 보인다는 새로운 발견을 제시했습니다.
3. 인과적 메커니즘 규명: 벡터 스티어링을 통해 'think'라는 단어가 모델의 추론 패턴을 어떻게 조작하는지 인과적으로 증명했습니다.
4. 학습 역학 분석: OLMo 2 를 통해 사회적 추론 능력이 형식적 언어 능력과 어떻게 다른 시점과 방식으로 학습되는지 추적했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• LLM 의 사회적 지능에 대한 재고: LLM 이 인간과 유사한 ToM 능력을 완전히 획득했다고 단정하기 어렵습니다. 모델은 학습된 시나리오 패턴과 특정 어휘 ('think') 간의 상호작용에 의해 성능이 좌우되며, 이는 진정한 사회적 추론이라기보다 학습된 고정관념적 반응에 가깝습니다.
• 평가의 중요성: 모델의 사회적 인지 능력을 평가할 때는 단순히 정답률을 보는 것을 넘어, 다양한 조건 (TB/FB, 명시/암시) 에 대한 **강건성 (robustness)**을 확인해야 합니다.
• 향후 방향: LLM 의 사회적 지능 연구는 더 정교한 테스트 설계와 모델 내부 메커니즘에 대한 깊은 분석이 필요하며, 언어적 부트스트래핑 (linguistic bootstrapping) 을 통한 능력 획득의 한계를 명확히 해야 합니다.

이 논문은 LLM 이 인간과 유사한 심리 이론 능력을 보이는 것처럼 보일지라도, 그 내부 메커니즘은 인간의 인지 과정과는 근본적으로 다를 수 있음을 경고하며, 보다 엄밀한 평가 기준의 필요성을 강조합니다.