Modeling the dynamics of social exchange in groups with reinforcement learning and Theory of Mind

이 연구는 강화학습과 심리이론 (ToM) 을 결합한 계산 모델링을 통해, 자원 공유가 단순한 상호성뿐만 아니라 파트너 유지와 대안 탐색 간의 전략적 균형을 위한 심리이론 기반의 교차 행동을 통해 이루어짐을 규명했습니다.

핵심

🎁 핵심 비유: "선물 나누기 게임"과 "심리 전술"

이 연구는 세 명의 사람이 한 방에 모여서 **"선물 (토큰) 을 주고받는 게임"**을 반복하는 실험을 했습니다.

• 상황: 매번 한 명씩 '선물 주는 사람 (Actor)'이 되어 나머지 두 명 중 한 명에게 선물을 줍니다.
• 목표: 이 게임에서 사람들은 어떻게 선물을 나누었을까? 그리고 그 뒤에는 어떤 생각이 숨어 있을까?

연구진은 이 행동을 설명하는 네 가지 가설 (모델) 을 세우고, 어떤 것이 가장 현실적인지 비교했습니다.

1. 발견된 놀라운 행동 패턴: "균형 잡기"와 " reciprocation (호혜)"

실험 결과, 사람들은 두 가지 행동을 동시에 했습니다.

• 균형 잡기 (Alternating): "어제 A 에게 줬으니, 오늘은 B 에게 줘야지." (누군가에게만 계속 주는 게 아니라 두 사람을 오가며 공평하게 나눠줌)
• 호혜 (Reciprocity): "어제 A 가 내게 선물을 줬으니, 오늘 나도 A 에게 줘야지." (받은 만큼 돌려줌)

이건 마치 친구들과 밥을 먹을 때, "오늘은 내가 사줄게, 다음엔 네가 사줘"라고 돌아가며 계산하는 것과 비슷합니다.

2. 핵심 질문: "우리는 정말 '공정함' 때문에 그렇게 할까?"

많은 사람은 "사람들이 선물을 골고루 나누는 건 **공정함 (Fairness)**을 중요하게 생각해서일 거야"라고 생각합니다. 하지만 연구진은 의심을 품었습니다.

• 실험 2 (공정한지 확인하기): 게임 도중 무작위로 누군가의 선물을 빼앗는 상황을 만들었습니다. 만약 사람들이 '공정함'을 위해 행동했다면, 선물을 잃은 사람에게 더 많이 줘야 했을 것입니다.
• 결과: 아니요! 사람들은 오히려 선물을 잃지 않은 사람에게 더 많이 줬습니다.
• 해석: 사람들은 "공정함"을 위해 행동한 게 아니라, "누가 내 선물을 잘 받아줄지, 그리고 나중에 내게 돌려줄지"를 계산하는 전략적 사고를 하고 있었습니다.

3. 결정적인 발견: "마음 읽기 (Theory of Mind)"의 승리

연구진은 컴퓨터 모델을 통해 사람의 뇌가 어떤 방식으로 작동하는지 시뮬레이션했습니다.

• 모델 A (단순 학습): "A 가 어제 선물을 줬으니, 오늘도 줄까?" (단순히 과거 기록만 봄)
• 모델 B (마음 읽기): "A 는 내게 선물을 줬는데, A 는 내게 선물을 줬을 때 내가 어떻게 반응할지 알고 있을까? A 는 내가 '선물을 받으면 고마워해서 다시 줄 것'이라고 생각할까?"

결과: 단순한 기록만 남기는 모델보다, 상대방의 마음을 상상하며 ("내가 이렇게 행동하면 상대방은 어떻게 생각할까?") 전략을 짜는 '마음 읽기 (Theory of Mind)' 모델이 사람의 행동을 가장 정확하게 예측했습니다.

4. 실험 3 (심리 테스트): "상대방이 나를 어떻게 볼까?"

세 번째 실험에서는 상대방이 "내가 누구에게 선물을 줄지"를 맞춰보게 했습니다.

• 사람들은 단순히 과거 기록만 보고 맞추는 게 아니라, **"상대방도 나와 똑같이 생각할 거야 (내가 공평하게 나누면 상대방도 그렇게 생각할 거야)"**라고 상상하며 맞추는 능력이 뛰어났습니다.
• 이는 마치 연극에서 배우가 "내가 이 대사를 하면 관객은 어떻게 반응할까?"를 상상하며 연기하는 것과 같습니다.

---

💡 결론: 우리는 단순한 계산기가 아니라, 심리전술가입니다

이 연구가 우리에게 알려주는 메시지는 다음과 같습니다.

1. 우리는 '공정함'보다 '전략'을 더 중요하게 생각합니다: 선물을 골고루 나누는 것은 단순히 착해서가 아니라, 관계를 유지하면서도 새로운 기회를 탐색하기 위한 지혜로운 전략입니다.
2. 우리는 상대방의 머릿속을 읽습니다: 좋은 관계를 맺기 위해서는 단순히 "내가 무엇을 줬나"를 기억하는 게 아니라, **"내가 무엇을 주면 상대방이 어떻게 생각할까?"**를 미리 상상하는 **마음 읽기 능력 (Theory of Mind)**이 필수적입니다.
3. 사회적 관계는 '심리 게임'입니다: 우리가 친구나 동료와 관계를 맺을 때, 무의식적으로 상대방의 마음을 시뮬레이션하며 "이 사람은 내 다음 행동을 어떻게 예측할까?"를 계산하고 있습니다.

한 줄 요약:

"우리가 선물을 나누고 관계를 맺는 것은 단순한 착함 때문이 아니라, 상대방의 마음을 미리 읽으며 '누구와 어떻게 관계를 이어갈지'를 계산하는 고도의 심리 전략을 쓰기 때문입니다."

이 연구는 인공지능이나 로봇이 인간과 자연스럽게 어울리려면, 단순한 규칙을 따르는 것을 넘어 상대방의 마음을 상상할 수 있는 능력을 갖춰야 함을 시사합니다.

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 자원 공유 (Resource sharing) 는 인간 및 다른 종의 사회적 유대 형성과 유지의 핵심 요소입니다. 사회적 교환 이론 (Social Exchange Theory) 에 따르면 상호성 (Reciprocity) 은 협력의 주요 메커니즘으로 알려져 있습니다.
• 문제: 기존 연구는 주로 이원적 (Dyadic) 상호작용에서의 상호성에 집중했으나, 그룹 환경에서 다수의 잠재적 수혜자 사이에서 자원을 어떻게 배분하고, 안정적인 파트너십 유지와 대안 탐색 간의 균형을 어떻게 맞추는지에 대한 역동적인 과정은 잘 이해되지 않았습니다.
• 가설: 단순한 과거 행동 기록 (Reinforcement Learning, RL) 을 넘어, 타인의 의도를 추론하고 자신의 행동이 타인에게 미칠 영향을 시뮬레이션하는 고차원 마음 이론 (Higher-order Theory of Mind, h-ToM) 메커니즘이 그룹 내 자원 분배 결정에 핵심적인 역할을 할 것으로 가정했습니다.

2. 방법론 (Methodology)

연구는 3 개의 실험을 통해 행동 데이터와 계산 모델링을 결합하여 진행되었습니다.

A. 실험 설계 (Giving Game)

• 기본 구조: 3 명 1 조 (Triads) 가 참여하는 반복 게임입니다. 각 시도 (Trial) 마다 무작위로 한 명 (Actor) 이 토큰을 가지고 나머지 두 명 (Receiver) 중 한 명에게 전달해야 합니다.
• 실험 1 (기본 조건): 93 명 (31 조) 이 90 회 반복 게임 수행. 상호성과 균등 분배 패턴 관찰.
• 실험 2 (공정성 검증 조건): 90 명 (30 조) 참여. Actor 의 선택 후, 무작위로 한 Receiver 의 토큰이 차감되는 '공제 (Deduction)' 메커니즘을 도입하여, 참가자의 교차 행동이 '공정성' 때문인지 '전략적' 인 것인지를 분리했습니다.
• 실험 3 (마음 이론 검증 조건): 96 명 (32 조) 참여. Actor 가 선택하는 동안 Receiver 들이 "Actor 가 누구를 선택할 것인가?"를 추측하는 과제를 추가했습니다. 추측은 보상에 영향을 주지 않지만, 참가자가 타인의 행동을 얼마나 잘 예측하는지 (ToM 능력) 를 측정합니다.

B. 계산 모델 (Computational Models)

참가자의 행동을 설명하기 위해 4 가지 모델을 비교 평가했습니다.

1. 교차 모델 (Alternating Model): 과거에 자신이 선택한 Receiver 가 아닌 다른 Receiver 를 선택하는 경향 (균등 분배).
2. 상호성 모델 (Reciprocity Model): 과거에 자신을 선택해 준 Receiver 를 다시 선택하는 경향.
3. 교차 - 상호성 모델 (Alternating Reciprocity Model): 위 두 메커니즘을 모두 고려한 단순 RL 모델.
4. 심적 추론 모델 (Mental Inference Model): 핵심 모델. 참가자가 상대방의 행동을 단순 기록하는 것을 넘어, 상대방이 또한 '교차 - 상호성 모델'을 따르는 것으로 심리적으로 시뮬레이션 (Mental Simulation) 하여 상대방의 미래 행동을 추론하고 자신의 선택을 조정하는 h-ToM 메커니즘을 포함합니다.

• 평가 지표: 최대 우도 추정 (MLE) 을 통해 모델 적합도를 평가하고, AIC (Akaike Information Criterion) 를 사용하여 모델 간 성능을 비교했습니다.

3. 주요 결과 (Key Results)

A. 행동적 발견 (Model-free Results)

• 균등 분배와 교차 행동: 참가자들은 무작위 확률 (50%) 보다 훨씬 높은 비율 (약 60~68%) 로 이전 선택과 다른 Receiver 를 선택하는 '교차 (Switching)' 행동을 보였습니다.
• 상호성: 상대방이 보답했을 때 교차 확률이 감소하여 상호성 패턴이 확인되었습니다.
• 공정성 부재 (실험 2): 무작위 공제가 발생했음에도 불구하고, 참가자는 손해를 본 Receiver 를 더 많이 선택하는 '공정성' 행동을 보이지 않았습니다. 오히려 손실이 적은 Receiver 를 선택하는 전략적 경향을 보였습니다. 이는 교차 행동이 공정성 때문이 아니라 파트너십 유지와 탐색의 전략적 균형임을 시사합니다.
• 추측 정확도 (실험 3): 참가자들은 상대방의 선택을 무작위 수준 (50%) 보다 높은 정확도로 예측했습니다. 특히 상대방이 교차할 것이라고 예측하는 능력이 뛰어났습니다.

B. 모델 비교 및 ToM 의 역할

• 모델 적합도: 모든 실험에서 심적 추론 모델 (Mental Infer Model) 이 AIC 기준으로 다른 모든 모델 (Alternating, Reciprocity, Alternating Reciprocity) 보다 우월한 적합도를 보였습니다.
• 시뮬레이션 결과:
  • 단순 RL 모델들은 참가자의 교차 행동과 상호성 패턴을 부분적으로 재현했으나, 실험 3 의 '추측 (Guessing)' 데이터를 설명하는 데 실패했습니다.
  • 반면, 심적 추론 모델은 참가자가 상대방의 행동을 예측하는 높은 정확도와, 자신의 행동 패턴과 상대방에 대한 추측이 일치하는 (Self-Guess Alignment) 현상을 성공적으로 재현했습니다.
• 시간적 역동성: 실험 2 에서만 시간이 지남에 따라 교차 확률이 감소하는 경향 (안정된 파트너십 형성) 이 관찰되었으나, 이는 환경적 위험 (공제) 에 따른 반응으로 해석되었습니다.

4. 주요 기여 (Key Contributions)

1. 그룹 내 자원 분배 메커니즘 규명: 상호성뿐만 아니라, 안정적인 관계 유지와 새로운 파트너 탐색 간의 균형을 맞추기 위한 전략적 교차 (Strategic Alternation) 가 그룹 상호작용의 핵심임을 증명했습니다.
2. 공정성 vs 전략적 균형: 자원 분배의 균등성이 '공정성'에 대한 도덕적 동기에서 비롯된 것이 아니라, 장기적 이익을 위한 전략적 계산임을 실험 2 를 통해 반증했습니다.
3. h-ToM 의 필수성 입증: 단순한 강화 학습 (RL) 모델만으로는 그룹 내 복잡한 사회적 교환을 설명할 수 없으며, 타인의 심리 상태를 모델링하는 고차원 마음 이론 (h-ToM) 이 필수적임을 계산 모델링을 통해 입증했습니다. 특히 타인의 행동을 예측하는 능력 (Guessing) 이 ToM 모델의 결정적 증거가 되었습니다.
4. 계산적 프레임워크 확장: 기존의 간소화된 ToM 모델을 그룹 (3 인 이상) 환경으로 확장하고, 상호작용의 전체 궤적 (Exploration vs. Exploitation) 을 포괄하는 모델을 제시했습니다.

5. 의의 및 결론 (Significance)

이 연구는 사회적 교환 이론에 인지 능력 (Cognitive Ability), 특히 마음 이론 (Theory of Mind) 을 통합해야 함을 강조합니다. 인간은 단순히 과거의 보상을 기반으로 학습하는 것을 넘어, "상대방이 나를 어떻게 생각할까?", "상대방이 다음에 무엇을 할까?"를 시뮬레이션함으로써 복잡한 그룹 내 사회적 관계를 관리하고 유대를 형성합니다.

이러한 발견은 인공지능 (AI) 에이전트의 사회적 상호작용 설계, 조직 내 협력 전략 수립, 그리고 사회적 결손이 있는 환자 (예: 자폐 스펙트럼) 의 사회적 의사결치 메커니즘 이해에 중요한 시사점을 제공합니다. 즉, 효과적인 사회적 교환은 단순한 거래가 아니라, 타인의 마음을 읽는 고차원적 인지 과정을 기반으로 한다는 것이 이 논문의 핵심 결론입니다.