기술 요약: $\alpha$-fair 이종 에이전트 강화 학습 (Heterogeneous Agent Reinforcement Learning)

문제 정의

다중 에이전트 강화 학습(MARL)에서 협력은 전통적으로 모든 에이전트의 효용 합을 최대화하는 공리주의적 목적 함수를 통해 최적화됩니다. 이러한 방식은 효율적이긴 하지만, 보상 분배를 간과하여 일부 에이전트가 소외되는 불평등한 "리더-팔로워(leader-follower)" 역학을 초래할 수 있습니다. 공정성을 MARL에 통합하려는 기존의 시도들은 크게 세 가지 범주로 나뉩니다: 보상 형성(예: 불평등 회피), 공정성 제약, 그리고 사회적 후생 목적 함수입니다. 그러나 이러한 방법들은 다음과 같은 결정적인 한계를 가집니다:

1. 정상성(Stationarity) 문제: 보상 형성 방법은 종종 이력 의존적 보상에 의존하며, 이는 마르코프 게임(Markov Games)의 정상성을 깨뜨립니다.
2. 이론적 보장 부족: 기존의 IPPO(Independent PPO)나 MAPPO(Multi-Agent PPO)와 같은 인기 있는 알고리즘들은 공정성을 위해 적응되더라도, 단일 에이전트 신뢰 영역 학습(Trust Region Learning, TRL)에서 발견되는 엄격한 이론적 수렴 보장이 부족합니다.
3. 일반화 및 해석 가능성: 제약 기반 방법은 도메인 특화적인 경우가 많으며, 사회적 후생 목적 함수($\alpha$-fairness 등)는 이론적 안전장치 없이 외삽된 PPO 목적 함수에 의존하거나 이상적인 가정(예: 오목성)에 의존하는 경우가 많습니다.

공정한 목적 함수와 이론적으로 안전한 학습 프레임워크 사이에는 간극이 존재합니다. 본 논문은 $\alpha$-fairness를 최적화하면서 동시에 단조 개선(monotonic improvement)과 내쉬 균형(Nash Equilibria)으로의 수렴을 보장하는 프레임워크를 도입함으로써 이 간극을 메우고자 합니다.

방법론

이론적 프레임워크: $\alpha$-fair HATRL

저자들은 $\alpha$-fairness와 **이종 에이전트 신뢰 영역 학습(Heterogeneous-Agent Trust Region Learning, HATRL)**을 결합한 새로운 프레임워크를 제안합니다.

1. 글로벌 공정 목적 함수:
   본 프레임워크는 완전 협력 설정에 대해 다음과 같은 글로벌 목적 함수 $J(\vec{\pi})$를 정의합니다:
   $$J(\vec{\pi}) = \mathbb{E}_{s_0 \sim \rho_0} \left[ \sum_{i=1}^n U_\alpha(\nu + V_i^{\vec{\pi}}(s_0)) \right]$$
   여기서 $U_\alpha$는 $\alpha$-fair 효용 함수이며, $\nu$는 양수성을 보장하는 양의 상수이고, $V_i^{\vec{\pi}}$는 에이전트 $i$의 가치 함수입니다.

• $\alpha \to 0$일 때, 목적 함수는 공리주의적 합에 근접합니다.
• $\alpha \to +\infty$일 때, 이는 롤스적 후생(max-min) 함수에 근접합니다.
• $\alpha = 1$일 때, 이는 비례적 공정성(proportional fairness)에 해당합니다.

2. 공정 어드밴티지 함수 (Fair Advantage Function):
   HATRL을 적응시키기 위해, 저자들은 공정 어드밴티지 함수 $A_F^{\vec{\pi}}(s, \vec{a})$를 도입합니다. 표준 다중 에이전트 어드밴티지 함수와 달리, 이는 개별 에이전트들의 어드밴티지 함수에 대한 가중 합이며, 여기서 가중치는 에이전트들의 기대 수익의 역수($1/V_j^{\vec{\pi}}(s)$)에 의해 동적으로 결정됩니다. 이러한 가중치 부여는 기대 수익이 높은 에이전트의 그래디언트 업데이트 기여도를 낮춤으로써, 성과가 낮은 에이전트들이 개선될 수 있는 공간을 확보합니다.

3. 순차적 업데이트 및 대리 함수 (Surrogate Function):
   HATRL을 기반으로, 저자들은 글로벌 공정 목적 함수의 개선에 대한 하한선 역할을 하는 대리 함수 $L_{\vec{\pi}}(\vec{\pi}')$를 유도합니다. 그들은 $J(\vec{\pi}') - J(\vec{\pi})$가 이 대리 함수에서 KL-다이버전스 페널티 항을 뺀 값에 의해 유계(bounded)임을 증명합니다.
   결정적으로, 저자들은 대리 함수가 $n$개의 순서 있는 합으로 분해될 수 있음을 보여줍니다. 이를 통해 에이전트들이 신뢰 영역 제약을 준수하면서 글로벌 공정 목적에 대한 국소적 기여를 극대화하며 하나씩 순차적으로 업데이트하는 순차적 업데이트 스키마가 가능해집니다.

4. 이론적 보장:
   본 논문은 다음 사항에 대한 증명을 제공합니다:

• 단조 개선 (Monotonic Improvement): 글로벌 공정 목적 함수 $J(\vec{\pi})$는 각 반복(iteration)마다 증가하거나(또는 같거나) 함이 보장됩니다.
• 수렴 (Convergence): 결합 정책(joint policies)의 시퀀스는 극한점으로 수렴합니다.
• 내쉬 균형 (Nash Equilibrium): 극한점의 집합은 공집합이 아니며, 각 극한점은 완전 협력 게임에 대한 내쉬 균형을 구성합니다.

실용적 알고리즘

고차원 공간에서 이 프레임워크를 구현하기 위해, 저자들은 두 가지 딥 강화 학습 알고리즘을 개발했습니다:

1. $\alpha$-fair HATRPO: 이종 에이전트 신뢰 영역 정책 최적화(HATRPO)의 확장판입니다. 이는 표준 다중 에이전트 어드밴티지를 공정 어드밴티지 함수로 대체하며, KL-제약 조건과 공액 경사(conjugate gradient) 업데이트를 사용하여 제약 최적화 문제를 해결합니다.
2. $\alpha$-fair HAPPO: 이종 에이전트 PPO(HAPPO)의 확장판입니다. 이는 헤시안(Hessian) 계산을 피하기 위해 클리핑 메커니즘을 사용하는 1차 근사(first-order approximation)를 사용하며, 순차적 업데이트 구조를 유지하면서도 계산 효율성을 높였습니다.

주요 기여

1. 이론적 가교: 본 논문은 $\alpha$-fairness를 이종 에이전트 신뢰 영역 학습에 통합하는 이론적으로 근거가 확실한 프레임워크를 도입하여, 친사회적 행동(pro-social behaviors) 학습을 위한 수학적 안전성(단조 개선 및 수렴 보장)을 제공합니다.
2. 새로운 대리 함수: 기대 수익에 따라 에이전트의 효용에 동적으로 가중치를 부여하여 공리주의적 효율성에서 $\alpha$-fairness 후생으로의 전환을 가능하게 하는 공정 어드밴티지 함수의 정의를 제시합니다.
3. 알고리즘 개발: 이론적 프레임워크를 파라미터화된 정책 설정으로 확장하는 두 가지 실용적인 알고리즘, $\alpha$-fair HATRPO 및 $\alpha$-fair HAPPO를 제안합니다.
4. 실험적 검증: 순차적 사회적 딜레마(SSD) 환경인 CleanUp과 CommonHarvest에서 이 알고리즘들이 공리주의적 베이스라인에 비해 더 높은 사회적 결과(낮은 지니 계수)를 달-성하면서도 공리주의적 효율성을 유지하거나 능가함을 입증합니다.

실험 결과

알고리즘은 SocialJax 제품군의 두 가지 순차적 사회적 딜레마(SSD) 환경인 CleanUp과 CommonHarvest에서 평가되었습니다.

• 베이스라인: 제안된 방법들은 표준 HATRPO/HAPPO(공리주의적) 및 FMAPPO(이론적 보장이 없는 비례적 공정성을 사용하는 PPO 기반 방법)와 비교되었습니다.
• 지표: 성능은 효율성을 위한 총 사과 섭취량(Total Apples Consumed, TAC)과 공정성을 위한 지니 계수(Gini Index)로 측정되었습니다.
• 결과:
  • 공정성: $\alpha$ 파라미터를 높일수록 일반적으로 더 공정한 결과(낮은 지니 계수)로 이어졌습니다. 제안된 $\alpha$-fair 알고리즘은 공리주의적 베이스라인보다 현저히 낮은 지니 계수를 달성했습니다.
  • 효율성: CommonHarvest 환경에서 $\alpha$-fair HATRPO와 HAPPO는 공리주의적 베이스라인보다 TAC 측면에서 약간 더 나은 성능을 보이면서도 더 나은 공정성을 달성했습니다. CleanUp에서는 효율성 이점이 미미했으며, FMAPPO가 순수 효율성 측면에서 제안된 방법들을 앞서기도 했으나, 제안된 방법들은 여전히 사회적으로 더 우수한 결과(낮은 지니 계수)를 달성했습니다.
  • FMAPPO와의 비교: FMAPPO는 우수한 성능을 보였지만, 제안된 방법들은 대등하거나 더 나은 공정성 결과를 제공하면서도 이론적으로 안전한 대안을 제시했습니다.

의의 및 한계

의사(Significance):
본 논문은 에이전트들이 지속 가능하고 친사회적인 행동을 채택하도록 훈련하기 위한 "수학적으로 안전한 기초"를 구축했다고 주장합니다. 단조 개선과 내쉬 균형으로의 수렴을 보장함으로써, 이 프레임워크는 기존의 공정한 MARL 접근법에 존재하는 이론적 보장의 부재를 해결합니다. 또한 공정한 목적 함수와 안전한 학습 프레임워크 사이의 간극을 성공적으로 메웠습니다.

한계(Limitations):
저자들은 몇 가지 제약 사항을 인정합니다:

1. 하이퍼파라미터 민감도: 높은 $\alpha$ 값($\alpha > 1$)은 성능 저하와 학습 불안정성을 초래할 수 있습니다. 이는 공정 어드밴티지 함수가 고성과 에이전트의 가중치를 감소시켜, 글로벌 목적 함수가 로컬 옵티마(local optima)에 빠질 수 있는 "최악의 학습자"에게 과도하게 민감해지기 때문인 것으로 분석됩니다.
2. 이론적 제약: 본 프레임워크는 양수이며 유계된 보상(positive, bounded rewards)이라는 가정에 의존하므로, 특정 환경에 대한 적용이 제한될 수 있습니다.
3. 관측 가능성: 알고리즘은 완전 관측 가능한 상태(fully observable states)를 요구합니다. 부분 관측 환경의 실제 시나리오에서는 RNN 등을 이용한 근사가 필요하겠지만, 이 경우 현재의 이론적 보장은 유지되기 어렵습니다.

논문은 향-후 연구 방향으로 탐색(exploration)을 강화하기 위한 메커즘(예: 엔트로피 정규화)이나, $\alpha$ 값이 높을 때 학습을 안정화하기 위한 적응형 제약(adaptive constraints)의 도입을 제안하며 마무리합니다.