The fitness landscape of social norms in social dilemmas

기술 요약: 사회적 딜레마 내 사회적 규범의 적합도 지형

문제 제기
사회적 규범은 다수 에이전트 간의 사회적 딜레마를 해결하기 위한 조정 메커니즘으로 기능합니다. 진화 게임 이론은 전통적으로 합리적 에이전트가 지배적인 인구 상태를 달성하기 위해 규범을 비교하고 채택하는 방식을 모델링해 왔으나, 기존 프레임워크는 종종 행렬 게임과 특정 합리성 기준 (예: Morsky 와 Akçay [2019]) 에 의존합니다. 본 논문은 이 이론의 근본적인 구성 요소를 명확히 하고, 다중 에이전트 강화 학습 (MARL) 에서 일반적으로 사용되는 더 일반적인 마르코프 게임 설정으로 이를 확장할 필요성을 다룹니다. 구체적으로, 이 연구는 상호 이익을 조율하기 위한 상관관계의 필요성과 착취를 방지하기 위해 필요한 불확실성 간의 균형을 맞추면서, 확률적 환경 신호의 해석을 통해 규범의 분산된 광범위한 채택이 어떻게 달성될 수 있는지 조사합니다.

방법론
저자들은 두 명의 플레이어가 참여하는 부분 관측 마르코프 게임 설정 내에서 강화 학습 표기법을 사용하여 사회적 규범 이론의 최소 버전을 공식화했습니다.

• 환경 모델: 환경은 상태 공간 $S$와 관측 공간 $O, O'$로 정의됩니다. 상태 전이는 행동과 무관하며, 보상은 상태가 아닌 행동에만 의존합니다. 환경은 결합 관측 분포 $P_{oo'}$로 표현됩니다.
• 규범 정의: 사회적 규범은 신념 쌍 $(P_{a|o}, D_{a'|o'})$으로 공식화됩니다. 여기서 $P_{a|o}$는 처방된 정책 (에이전트가 관측을 기반으로 어떻게 행동하는지) 이고, $D_{a'|o'}$는 기술된 정책 (에이전트가 상대방이 어떻게 행동한다고 믿는지) 입니다. 규범은 유효성에 따라 분류됩니다: null(비최적), rational(내부적으로 유효), empirically validatable(외부적으로 유효), consistent(자기 검증), 그리고 evolutionarily stable (ES)(진화적으로 안정).
• 상관 균형: 본 논문은 최적의 단일 플레이어 전략과 일치하는 규범을 채택한 결합 전략이 내쉬 균형이 아닌 상관 균형 조건을 만족한다고 주장합니다. 상관 균형은 관측 앙상블과 서로의 관측을 기반으로 한 기대 행동에 대한 최적 대응인 결정론적 정책 쌍으로 정의됩니다.
• 사례 연구: 이 이론은 "치킨 게임"(매개변수 $T > B > S > P$를 가진 반조정 딜레마) 에 적용됩니다. 저자들은 조정 잠재력 $b$와 조정 도전 수준 $L$을 사용하여 보상 행렬 $R$과 결합 관측 분포 $P_{oo'}$를 매개변수화합니다.
• 동역학: 규범의 등장은 복제 동역학을 사용하여 모델링됩니다. 이는 에이전트 쌍이 보상을 비교하고 더 높은 보상을 가진 규범을 채택하는 선택의 평균장 기술입니다. 동역학은 흐름 맵의 야코비안을 통해 안정성과 끌개 기저를 결정하기 위해 분석됩니다.

주요 기여

1. 일반화된 공식화: 본 논문은 사회적 규범 이론을 행렬 게임에서 마르코프 게임 설정으로 번역하여, 신호 및 보상 공간에 걸쳐 규범을 명시적으로 매핑합니다.
2. 치킨 게임의 완전한 특성화: 저자들은 조정 잠재력 ($b$) 과 유혹 ($L$) 의 매개변수 공간 전반에 걸쳐 "신호 추종 규범"(예: 빨간색이면 멈추고, 초록색이면 가라) 에 대한 합리성 조건을 유도하여 치킨 게임 계열에 대한 완전한 특성화를 제공합니다.
3. 적합도 지형 분석: 이 연구는 치킨 게임의 모든 가능한 규범 (총 16 개, 연구된 특정 사례에서는 12 개의 합리적 규범으로 축소됨) 에 대한 적합도 행렬 $\Gamma$를 구성하고, 결과적으로 발생하는 복제 동역학을 분석합니다.
4. 안정성 분석: 본 논문은 단일 규범 고정점에서의 복제 동역학 야코비안에 대한 일반 해를 유도하고, 신호 추종 규범의 안정성이 게임 매개변수에 어떻게 의존하는지 보여주기 위해 이를 적용합니다.

결과

• 합리성 조건: 신호 추종 규범은 $(b, L)$ 매개변수 공간의 특정 영역 내에서만 합리적입니다. 조정 도전 ($L$) 이 증가함에 따라 합리적 협력을 허용하는 최대 조정 잠재력 ($b$) 은 감소합니다.
• 성능: 신호 추종 규범이 합리적인 영역에서 평균 보상은 최선의 혼합 전략 내쉬 균형의 보상을 크게 초과합니다 (분석된 사례에서는 최대 1.8 배 더 좋음).
• 동역학 및 안정성:
  • "항상 이동" 규범은 항상 불안정합니다.
  • 혼합 내쉬 전략은 안정적인 고정점이지만, 그 끌개 기저는 무시할 수 있을 정도로 작습니다. 작은 섭동 ($10^{-3}$) 만으로도 시스템을 이 균형에서 벗어나게 할 수 있습니다.
  • 조정 잠재력이 높을 때 신호 추종 규범은 상태 공간의 상당 부분에서 지배적인 끌개 역할을 합니다.
  • 조정 잠재력이 감소함에 따라 시스템은 "반신호" 규범 (신호와 반대 행동) 이 혼합 내쉬 전략과 끌개 기저를 공유하며 안정화되는 다중 안정 체제로 전환됩니다.

의의
본 논문은 사회적 규범의 진화를 통해 상관 균형이 어떻게 내생적으로 발생하는지에 대한 기본 메커니즘에 대한 상세한 설명을 제공한다고 주장합니다. 진화 게임 이론, 사회학, 다중 에이전트 강화 학습을 연결함으로써, 이 연구는 경험적 전통과 이론적 전통의 혼재를 고무합니다. 이는 사회적 규범을 에이전트가 상관 균형을 달성하기 위한 메커니즘으로 이해할 수 있음을 보여주며, 표준 내쉬 균형보다 우수한 사회적 딜레마에 대한 합리적 해결책을 제시합니다. 적합도 지형과 복제 동역학에 대한 분석은 특정 규범 (예: 교통 규칙) 이 학습 에이전트 집단 내에서 어떻게 안정화되고 지배적인지 이해하기 위한 이론적 기초를 제공합니다.