🧬 biology

Evolution of cooperation with Q-learning: the impact of information perception

본 연구는 죄수의 딜레마 프레임워크 내에서 Q-러닝을 채택하여, 정보 인지 구조의 변화, 특히 비대칭 정보가 복잡한 진화적 역동성과 협력의 출현을 결정적으로 형성한다는 점을 입증함으로써 인간의 협력적 행동에 대한 새로운 통찰을 제공한다.

원저자: Guozhong Zheng, Zhenwei Ding, Jiqiang Zhang, Shengfeng Deng, Weiran Cai, Li Chen

게시일 2026-02-04

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Guozhong Zheng, Zhenwei Ding, Jiqiang Zhang, Shengfeng Deng, Weiran Cai, Li Chen

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ⚕️ 이것은 동료 심사를 거치지 않은 프리프린트의 AI 생성 설명입니다. 의학적 조언이 아닙니다. 이 내용을 바탕으로 건강 관련 결정을 내리지 마세요. 전체 면책 조항 읽기

당신과 친구가 게임을 하고 있다고 상상해 보세요. 두 사람은 '착하게 굴기(협력)'를 할지, 아니면 상대방의 희생을 발판 삼아 '자신의 이익만 챙기기(배반)'를 할지 결정해야 합니다. 이것은 전형적인 "죄수의 딜레마" 게임입니다. 둘 다 착하게 굴면 둘 다 조금씩 이득을 봅니다. 둘 다 자기 이익만 챙기면 둘 다 손해를 봅니다. 하지만 한 명은 착하고 다른 한 명은 이기적이라면, "착한" 사람은 처참하게 깨지고 "이기적인" 사람은 엄청난 보상을 얻습니다.

보통 이 게임을 연구하는 과학자들은 두 플레이어가 세상을 똑같이 바라본다고 가정합니다. 두 사람 모두 상대방이 지난번에 무엇을 했는지 알거나, 혹은 각자 자신이 무엇을 했는지만 압니다.

이 논문은 다른 질문을 던집니다: 만약 두 플레이어가 세상을 다르게 본다면 어떻게 될까요? 만약 한 플레이어는 친구의 움직임을 관찰하고 있는데, 다른 플레이어는 오직 자신의 움직임만을 관찰하고 있다면 어떨까요?

연구진은 "Q-러닝(Q-learning)"이라는 컴퓨터 알고리즘(시행착오를 통해 학습하며 무엇이 효과적인지에 대한 정신적 점수판을 기록하는 디지털 학생이라고 생각하세요)을 사용하여 이를 시뮬레이션했습니다. 그들은 세 가지 "시야(vision)" 설정을 테스트했습니다:

"너와 너" 팀 (상대를 관찰함): 두 플레이어 모두 오직 상대방이 하는 일에만 집중합니다.
"나와 나" 팀 (자신을 관찰함): 두 플레이어 모두 오직 자기 자신이 하는 일에만 집중합니다.
"너와 나" 팀 (비대칭적): 한 플레이어는 상대방을 관찰하고, 다른 플레이어는 자신만을 관찰합니다.

연구 결과는 다음과 같으며, 이해하기 쉽게 설명해 드립니다:

1. "너와 너" 팀 (상대를 관찰할 때)

두 플레이어가 오직 상대방이 하는 일에만 집중할 때, 게임은 엉망진창이 됩니다. 이는 마치 서로의 발만 쳐다보며 춤을 추려는 두 사람과 같습니다. 리듬을 찾지 못합니다. 그들은 착함과 못됨 사이를 계속 오가지만, 결코 안정적인 협력 패턴에 도달하지 못합니다. 결국 그들은 대개 포기하고 그냥 자기 이익만 챙기는 쪽을 택합니다.

2. "나와 나" 팀 (자신을 관찰할 때)

두 플레이어가 오직 자신의 과거 행동에만 집중할 때, 상황은 더 안정적이지만 쉽게 정체됩니다.

좋은 점: 만약 이기적인 유혹이 낮다면, 그들은 둘 다 영원히 착하게 지내는 "행복한 루프"에 갇힐 수 있습니다.
나쁜 점: 만약 이기적인 유혹이 높다면, 그들은 둘 다 영원히 못되게 구는 "슬픈 루프"에 갇히게 됩니다.
주의할 점: 일단 어떤 루프(행복 또는 슬픔)를 선택하면, 바꾸기가 매우 어렵습니다. 이는 마치 역을 떠나버린 기차와 같습니다. "우정"이라는 목적지로 가거나 "배신"이라는 목적지로 가거나, 한 번 궤도를 정하면 경로를 바꾸는 일이 거의 없습니다.

3. "너와 나" 팀 (혼합된 시야)

여기서 마법이 일어납니다. 한 명은 상대방을 관찰하고, 다른 한 명은 자신을 관찰할 때, 게임은 역동적이고 놀라울 정도로 효과적이 됩니다.

연구진은 시간이 흐름에 따라 펼쳐지는 복잡한 3단계 이야기를 발견했습니다:

1단계: 달콤한 신혼기. 두 플레이어는 착하게 구는 것이 효과적이라는 것을 깨닫습니다. 그들은 협력을 시작합니다.
2단계: 이별. 한 플레이어(상대를 관찰하는 쪽)가 탐욕스러워지기 시작합니다. 상대가 여전히 착하게 구는 동안 자신이 못되게 굴면 더 큰 보상을 얻을 수 있다는 것을 깨닫습니다. 그들은 파트너를 이용합니다. 착한 파트너는 혼란스러워하면서도 한동안은 착하게 행동하며 참아주지만(관용), 결국 상처를 입습니다.
3단계: 재건. 착한 파트너가 마침내 폭발합니다. 그들은 탐욕스러운 파트너에게 본때를 보여주기 위해 똑같이 못되게 굴기로 결심합니다. 이 "처벌"은 탐욕스러운 플레이어에게 타격을 주며, 그는 "어라, 못되게 구는 게 더 이상 통하지 않네"라고 깨닫게 됩니다. 탐욕스러운 플레이어는 다시 착하게 구는 쪽으로 돌아옵니다. 이 순환이 재설정되며, 그들은 이전보다 더 강력하고 회복력 있는 협력을 구축합니다.

핵심 요약

가장 놀라운 발견은 이 혼합된 시야(비대칭적) 설정이 모두가 세상을 똑같이 보는 설정보다 실제로 더 빠르고 강력한 협력을 이끌어낸다는 것입니다.

이를 관계에 비유해 봅시다:

당신과 파트너가 둘 다 자신의 감정에만 집중한다면, 매너리즘에 빠질 수 있습니다.
만약 둘 다 서로를 뚫어지게 쳐다보기만 한다면, 불안정해질 수 있습니다.
하지만 한 명은 관계에 집중하고(상대를 관찰함), 다른 한 명은 자신의 성장에 집중한다면(자신을 관찰함), 여러분은 실수에 관용을 베풀고, 그로부터 배우며, 더 강력한 유대를 쌓을 수 있는 역동적인 구조를 만들 수 있습니다.

이 논문은 우리가 정보를 어떻게 인지하느냐가 우리가 생각했던 것보다 더 중요하다고 결론짓습니다. 우리가 무엇을 알고 있는지, 그리고 누가 무엇을 아는지에 대한 정보의 구조가, 우리가 배신의 순환에 빠질지 아니면 안정적인 협력의 순환을 이룰지를 결정합니다. "혼합된 시야"는 신뢰, 배신, 처벌, 그리고 용서라는 자연스러운 리듬을 만들어내며, 이는 실제 인간의 행동을 반영하여 어려움 속에서도 협력이 살아남을 수 있게 합니다.

기술 요약: Q-러닝을 통한 협력의 진화: 정보 인지의 영향

문제 제기
사회적 딜레마, 특히 죄수의 딜레마(Prisoner's Dilemma, PD)에서 협력의 출현과 안정성은 진화 게임 이론의 핵심적인 과제로 남아 있다. 강화 학습(Reinforcement Learning, RL)이 사회적 행동을 연구하는 강력한 패러다임으로 부상했음에도 불구하고, 기존 문헌은 대개 개인이 대칭적인 정보 인지를 갖는다고 가정한다. 즉, 모든 에이전트가 의사결정을 내릴 때 동일한 유형의 정보(예: 자신의 행동만, 이웃의 행동만, 또는 둘 다)에 접근한다는 것이다. 이러한 가정은 나이, 경험, 문화, 사회적 지위 등의 요인에 의해 정보 인지가 비대칭적으로 형성되는 현실 세계의 관찰 결과와 대조된다. 본 연구는 2인 RL 프레임워크 내에서 비대칭적 정보 인지가 협력의 진화에 어떻게 영향을 미치는지에 대한 이해의 공백을 다룬다.

연구 방법론
저자들은 반복되는 2인 죄수의 딜레마 게임에서 협력의 진화를 모델링하기 위해 Q-러닝 알고리즘을 채택하였다. 본 연구는 정보 구조의 영향을 테스트하기 위해 세 가지 구별된 정보 인지 체계를 정의한다:

체계 I (대칭적 "너 + 너"): 두 플레이어 모두 상대방의 행동에 기반하여 상태를 인지한다.
체계 II (대칭적 "나 + 나"): 두 플레이어 모두 자신의 행동에 기반하여 상태를 인지한다.
체계 III (비대칭적 "너 + 나"): 한 플레이어는 상대방의 행동을 인지하고, 다른 플레이어는 자신의 행동을 인지한다.

에이전트들은 특정 상태 내에서의 행동( $C$ 또는 $D$ )을 점수화하기 위해 Q-테이블을 활용한다. 시스템은 탐험(확률 $\epsilon$ )과 Q-값에 기반한 이용(exploitation)을 포함하는 동기적 업데이트를 통해 진화한다. 보수 행렬은 강한 PD 버전( $T > R > P > S$ 및 $T+S < 2R$ )을 따르며, 딜레마의 강도는 파라미터 $b$ 에 의해 조절된다. 본 연구는 협력 선호도의 시간 평균, 협력 수준의 확률 밀도 함수(PDF), 그리고 Q-값의 시간적 진화를 분석하여 기저의 메커니즘을 밝혀낸다.

주요 결과
본 연구는 정보 구조가 협력의 진화 역학을 근본적으로 변화시킨다는 것을 보여준다:

체계 I (상대 중심): 협력이 매우 불안정하다. 낮은 딜레마 강도에서도 시스템은 상호 배반(mutual defection) 상태로 진화하는 경향이 있다. 협력 선호도의 PDF는 삼봉 분포(trimodal distribution)를 보이는데, 이는 안정적인 협력 상태가 결여되어 있음을 나타낸다.
체계 II (자기 중심): 시스템은 이중 안정성(bistability)과 1차 상전이와 유사한 특성을 보인다. 초기 조건에 따라 시스템은 상호 협력 또는 상호 배반 중 하나로 수렴한다. 일단 안정적인 상태에 도달하면 일반적으로 유지되지만, 딜레마 강도가 증가함에 따라 협력 영역은 축소된다.
체계 III (비대칭): 이 시나리오는 가장 복잡하고 견고한 역학을 생성한다. 이 역시 이중 안정성을 보이지만, 완전한 협력과 완전한 배반 사이를 오가는 독특한 "바운스(bounce)" 현상이 특징이다. 특히 주목할 점은, 체계 III가 중간 정도의 딜레마 강도( $b \approx 0.3$ )에서 다른 체계들에 비해 가장 짧은 수렴 시간 내에 가장 높은 협력 선호도를 달성한다는 것이다.

메커니즘 분석
비대칭 시나리오(체계 III)의 상세한 Q-값 진화 분석을 통해, 저자들은 세 단계로 구성된 순환 과정을 식별하였다:

출현(Emergence): 협력은 착취와 관용의 순환을 통해 출현한다. 한 플레이어("나" 에이전트)가 초기에 상대방의 배반을 관용함으로써, 양의 피드백을 통해 상호 협력이 형성된다.
붕괴(Breakdown): 관용은 반복적인 착취에 의해 결국 침식된다. "나" 에이전트는 처벌 전략으로서 배반으로 전환하며, 이는 상호 배반으로의 붕괴를 초래한다.
재건(Reconstruction): 붕괴 이후, 동시적인 협력적 탐험을 통해 시스템은 상호 배반 상태에서 탈출한다. 착취자와 관용자의 역할이 뒤바뀌며, 처벌과 관용의 유사한 순환을 통해 상호 협력이 재확립된다.

이러한 역학은 협력이 정적인 상태가 아니라 출현, 붕괴, 재건의 과정이라는 인간 행동의 심리적 변화를 반영한다.

의의 및 주장
본 논문은 정보 구조가 협력을 촉진하는 결정적인 요인이라고 주장한다. 구체적으로, 비대칭적 정보 인지가 대칭적 구조보다 더 빠르게, 그리고 더 견고하게 협력의 출현을 촉진할 수 있음을 입증한다. 연구 결과는 다음을 강조한다:

정보 구조의 중요성: 에이전트가 정보를 인지하는 방식(행동 vs 자기 행동)이 협력 진화의 안정성과 속도를 결정한다.
비대칭성의 복잡성: 비대칭 시나리오는 대칭 모델에서는 나타나지 않는 진정한 이중 안정성과 협력 및 배반 사이의 진동적 전이를 포함한 풍부한 역학적 행동을 도입한다.
현실성: 비대칭 모델에서 관찰된 출현, 붕괴, 재건의 역학은 기존의 대칭 모델보다 인간의 의사결정 및 실제 사회적 상호작용의 복잡성과 더 밀접하게 일치한다.

저자들은 본 연구가 단순화된 2인 시나리오에 집중하고 있으나, 다양한 정보 인지가 어떻게 협력 관계를 형성하는지 이해하기 위한 기초적인 단계이며, 향-후 연구가 더 복잡한 사회적 네트워크를 탐구하고 RL 프레임워크에 도덕적 선호도를 통합해야 함을 시사하며 결론을 맺는다.

1. "너와 너" 팀 (상대를 관찰할 때)

2. "나와 나" 팀 (자신을 관찰할 때)

3. "너와 나" 팀 (혼합된 시야)

핵심 요약

유사한 논문