Decoding fairness: a reinforcement learning perspective

기술 요약: 공정성의 해독: 강화 학습의 관점

문제 제기
최후통첩 게임(Ultimatum Game, UG)은 공정성이 어떻게 출현하는지를 이해하기 위한 주요 모델 역할을 한다. 합리적이고 자기 이익을 추구하는 행위자가 최소한의 제안을 하고 그 이상의 모든 제안을 수락할 것이라고 예측하는 전통 경제학(Homo economicus 가정)과 달리, 행동 실험에서는 인간이 일반적으로 공정한 분배(통상 40~50%)를 선호하며 낮은 제안을 거부한다는 사실이 일관되게 나타난다. 이러한 불일치에 대한 기존의 이론적 설명은 주로 모방 학습 프레임워크에 의존하며, 공정성을 인구 구조, 평판, 악의 또는 공감과 같은 외생적 요인에 기인한다고 본다. 본 논문은 행위자들이 성공적인 동료를 모방하는 대신, 자기 성찰과 환경과의 상호작용을 통해 전략을 최적화하는 강화 학습(Reinforcement Learning, RL) 패러다임 내에서 내생적 요인만으로 공정성이 출현할 수 있는지 조사한다.

방법론
저자들은 표준 RL 알고리즘인 **Q-러닝(Q-learning)**을 사용하여 2인 UG 시나리오를 모델링한다.

• 에이전트 구조: 각 플레이어에게는 제안자(proposer) 역할과 응답자(responder) 역할을 위한 두 개의 별도 Q-테이블이 할당된다.
• 상태 및 행동 공간:
  • 행동: 제안자는 세 가지 제안($p_l < 0.5$, $p_m = 0.5$, $p_h > 0.5$) 중에서 선택하며, 응답자는 세 가지 수락 임계값($q_l, q_m, q_h$) 중에서 선택한다.
  • 상태: 상태 공간은 이전 라운드의 행동 쌍을 나타내는 9개의 조합($S = \{s_1, ..., s_9\}$)으로 구성된다.
• 학습 역학:
  • 에이전트는 벨만 방정식(Bellman equation)을 사용하여 Q-값을 업데이트한다: $Q_{s,a}(t+1) = (1-\alpha)Q_{s,a}(t) + \alpha(\pi(t) + \gamma \max_{a'} Q_{s',a'}(t))$.
  • $\alpha$ (학습률): 현재 경험의 가중치를 조절한다. 높은 $\alpha$는 "망각"을 의미하며, 낮은 $\alpha$는 과거의 경험을 유지함을 의미한다.
  • $\gamma$ (할인율): 미래 보상의 가중치를 조절한다. 높은 $\gamma$는 "장기적 비전"을, 낮은 $\gamma$는 "근시안적 태도"를 의미한다.
  • 탐색(Exploration): 에이전트는 확률 $\epsilon$으로 무작위 행동을 탐색하고, 그렇지 않으면 가장 높은 Q-값을 활용(exploit)한다.
• 지표: 연구는 제안 및 수락 임계값의 정체적 비율(stationary fractions)을 추적하며, 특히 공정한 옵션($p_m, q_m$)과 합리적 옵션($p_l, q_l$)의 유병률을 모니터링한다.

주요 결과

1. 내생적 요인을 통한 공정성의 출현: 에이전트가 낮은 학습률($\alpha$, 과거 경험을 중시)과 높은 할인율($\gamma$, 미래 보상을 중시)을 모두 가질 때 공정성이 두드하게 나타난다. 이 파라미터 영역에서 시스템은 공정한 제안($p_m$)과 공정한 수락 임계값($q_m$)의 높은 확률과 함께 안정화된다.
2. 2단계 진화 메커니즘:
   • 1단계 (거래 성사): 무작위 구성에서 시작하여, 낮은 보상으로 인해 거래 실패를 초래하는 전략(예: 높은 제안 $p_h$ 또는 높은 임계값 $q_h$)이 제거된다. 시스템은 세 가지 생존 전략인 $(p_m, q_m)$, $(p_l, q_l)$, $(p_m, q_l)$로 수렴한다.
   • 2단계 (분기 과정): 혼합 전략인 $(p_m, q_l)$은 불안정하며 전이 역학이 발생한다. 시스템은 공정 전략 $(p_m, q_m)$ 또는 합리적 전략 $(p_l, q_l)$이라는 두 가지 안정적인 상태로 분기된다. 전이 경로는 $(p_m, q_l) \to (p_l, q_l) \to (p_m, q_m)$으로 식별된다.
3. 행동 실험과의 일치: 모델은 주요 실험 관찰 결과를 재현한다:
   • 제안이 높을수록 성공적인 거래의 확률이 증가한다.
   • 20% 미만의 제안은 빈번하게 거절되며(모델에서 약 80%의 거절 확률), 45~50% 사이의 제안은 매우 높은 확률로 수락된다.
4. 파라미터 민감도:
   • $\alpha$ 및 $\gamma$: 높은 $\alpha$(망각) 또는 낮은 $\gamma$(근시안)를 가진 에이전트는 합리적이고 불공정한 전략으로 기본 설정된다.
   • 게임 파라미터 ($l, h$): 제안의 하한선($l$)은 평형에 상당한 영향을 미친다. $l$이 증가함에 따라 합리적 전략의 비율이 높아진다. 상한선($h$)은 미미한 영향을 미친다.
5. 강건성(Robustness): 역할 할당이 순환 방식에서 무작위 또는 고정 방식으로 변경되거나, 시나리오가 격자형 인구 구조로 확장되어도 공정성의 출현은 유지된다.

의의 및 주장
본 논문은 강화 학습 패러다임 내의 내생적 동기가 공정성의 출현을 설명하기에 충분하며, 이 특정 결과에 대해 외생적 요인(평판이나 사회적 규범 등)은 불필요하다고 주장한다. 에이전트가 "과거의 경험을 가치 있게 여기고" "미래의 보상을 계획할" 때 자연스럽게 공정한 전략으로 진화한다는 것을 입증함으로써, 본 연구는 모방 학습 프레임워크와 구별되는 새로운 관점을 제시한다. 이러한 발견은 인간의 공정성이 순수한 사회적 또는 문화적 구성물이 아니라, 시간이 지남에 따라 누적된 보상을 극대화하기 위한 적응적 학습 과정의 결과일 수 있음을 시사한다. 결론적으로, RL의 자기 성찰적 특성은 왜 인간이 최후통첩 게임에서 Homo economicus의 예측에서 벗어나는지에 대한 근본적인 설명을 제공한다.