[기술 요약] 혼합 동기 마르코프 게임에서의 이타주의와 공정 목적 함수

1. 문제 정의 (Problem Statement)

다중 에이전트 시스템(Multi-Agent Systems)에서 협력은 집단의 생존과 성공을 위한 필수 요소입니다. 그러나 사회적 딜레마(Social Dilemma) 상황에서는 개별 에이전트가 집단의 이익을 희생하고 자신의 이익만을 추구하는 '배신(Defection)'을 선택하는 경향이 있으며, 이는 결과적으로 집단 전체의 실패(예: 공유지의 비극)와 불공정한 보상 분배를 초래합니다.

기존의 다중 에이전트 강화학습(MARL)에서는 이를 해결하기 위해 공리주의적 사회 복지(Utilitarian Welfare), 즉 모든 에이전트 보상의 합을 최대화하는 방식을 주로 사용해 왔습니다. 하지만 이 방식은 전체 효율성은 높일 수 있어도, 보상의 분배 측면에서 극심한 불평등(Inequity)을 야기한다는 치명적인 단점이 있습니다. (예: 전체 이익을 위해 특정 개인에게만 과도한 희생을 강요하는 결과)

2. 핵심 기여 (Key Contributions)

본 논문은 효율성과 형평성을 동시에 달성하기 위해 다음과 같은 세 가지 핵심 기여를 합니다.

1. 공정 이타적 유틸리티(Fair Altruistic Utility) 제안: 개별 에이전트의 보상을 로그 공간(log-payoff space)에서 정의하여, 효율성과 공정성을 균형 있게 맞추는 비례적 공정성(Proportional Fairness, PF) 개념을 도입했습니다.
2. 공정 마르코프 게임(Fair Markov Game) 프레임워크 구축: 정적 게임(Normal-form game)을 넘어, 무한 시계열(Infinite horizon)을 갖는 순차적 의사결정 환경인 마르코프 게임으로 이 프레임워크를 확장했습니다.
3. 새로운 정책 경사(Policy Gradient) 알고리즘 도출: 공정 목적 함수를 최적화할 수 있는 새로운 Fair Actor-Critic 알고리즘을 수학적으로 유도했습니다.

3. 방법론 (Methodology)

3.1 비례적 공정성(Proportional Fairness)의 도입

논문은 에이전트의 목적 함수를 단순히 보상의 합이 아닌, **보상의 로그 합(Sum of log-utilities)**을 최대화하는 방향으로 재정의합니다. 이는 나쉬 복지 함수(Nash Welfare Function)와 연결되며, 특정 에이전트가 소외되지 않도록 보장하는 효과가 있습니다.

3.2 공정 이타적 마르코프 게임 (Fair Altruistic Markov Game)

에이전트 $i$의 목적 함수 $J_i(\boldsymbol{\theta})$를 다음과 같이 정의합니다:
$$J_i(\boldsymbol{\theta}) = \mathbb{E} \left[ \sum_{j=1}^{N} c_i(j) \log V_j^{\boldsymbol{\theta}}(s_0) \right]$$
여기서 $c_i(j)$는 이타주의 수준 $\alpha$에 따라 결정되는 가중치입니다:

• 자기 자신($j=i$)의 경우: $1$
• 타인($j \neq i$)의 경우: $\alpha$

3.3 Fair Policy Gradient Theorem 유도

에이전트가 자신의 정책을 업데이트할 때 사용할 수 있는 수학적 근거를 마련했습니다. 특히, 학습의 안정성을 위해 Fair Altruistic Advantage function을 도입하여, 기존의 Advantage 함수를 공정성 가중치로 정규화한 형태를 제안했습니다.

4. 실험 결과 (Results)

4.1 실험 환경: 'CleanUp'

에이전트들이 사과를 수확하면서 동시에 강을 청소하여 자원 재생산율을 유지해야 하는 사회적 딜레마 환경(Melting Pot 2.0 기반)에서 실험을 진행했습니다.

4.2 주요 결과

• 효율성 및 공정성 향상: 공리주의(Utilitarian) 방식은 일부 에이전트만 사과를 수확하고 나머지는 방치하는 극심한 불평등(높은 Gini 계수)을 보였으나, 비례적 공정성(PF) 방식은 모든 에이전트가 고르게 사과를 수확하며 낮은 Gini 계수(높은 공정성)를 기록했습니다.
• 의외의 효율성 발견: 놀랍게도 완전 협력 설정($\alpha=1$)에서 PF 방식이 공리주의 방식보다 전체 사과 소비량(집단 효율성)이 훨씬 높게 나타났습니다. 이는 PF가 에이전트들이 특정 역할에 고착되는 것을 방지하고 더 활발한 탐색을 유도했기 때문으로 분석됩니다.
• 최적의 이타주의 수준: 실험 결과 $\alpha=0.7$ 부근에서 집단 효율성이 가장 높게 나타났습니다. 너무 낮은 $\alpha$(이기주의)는 협력을 저해하고, 너무 높은 $\alpha$(완전 이타주의)는 효율성을 떨어뜨릴 수 있음을 확인했습니다.

5. 의의 및 결론 (Significance & Conclusion)

본 논문은 **"공정함이 곧 효율성으로 이어질 수 있다"**는 것을 수학적 프레임워크와 실험을 통해 입증했습니다.

• 학술적 의의: 기존 MARL의 공리주의적 접근이 가진 한계를 지적하고, 비례적 공정성을 마르코프 게임의 정책 경사 이론으로 연결한 이론적 토대를 마련했습니다.
• 실용적 의의: 자원 배분, 교통 제어, 로봇 협업 등 다수의 에이전트가 공존하며 자원을 공유해야 하는 실제 사회적 시스템에 적용 가능한 공정한 AI 알고리즘의 방향성을 제시했습니다.