기술 요약: 단일 시간 척도 연방 액터-크리틱을 통한 협업적이면서도 개인화된 정책 학습

문제 정의

본 논문은 환경 이질성 하의 연방 강화 학습 (FRL) 에서 협업적이면서도 개인화된 정책 학습이라는 과제를 다룹니다. 많은 현대 응용 분야, 예를 들어 Embodied AI 에서 에이전트들은 서로 다른 전이 커널 ($P^k$) 과 보상 함수 ($R^k$) 로 특징지어지는 고유한 환경에서 작동합니다.

기존 접근 방식은 일반적으로 두 가지 범주로 나뉩니다:

1. 이질성 무시: 모든 에이전트 간 단일 공유 정책을 학습하는 방식으로, 정렬되지 않은 학습 신호로 인해 성능 저하를 초래하는 경우가 많습니다.
2. 협업 포기: 완전히 독립적인 로컬 정책을 학습하여 협업의 샘플 효율성 이점을 포기하는 방식입니다.

개인화된 연방 학습 (PFL) 은 지도 학습에서 성공을 거두었지만, FRL 에의 적용은 아직 충분히 탐구되지 않았습니다. 구체적으로, 마르코프 샘플링(시간적으로 상관된 데이터) 과 이질적인 전이 커널 하에서 개인화된 액터 - 크리틱 (AC) 방법을 처리하는 이론적 프레임워크가 부족합니다. 이전 연구들은 주로 가치 기반 방법, 공통 정책, 또는 독립 동일 분포 (i.i.d.) 데이터를 가정하는 데 초점을 맞추어, 단일 시간 척도 설정에서 정책 업데이트와 이질적인 마르코프 잡음의 결합된 역학을 포착하지 못했습니다.

방법론: pFedAC

저자들은 단일 시간 척도 개인화 연방 액터 - 크리틱 알고리즘인 pFedAC를 제안합니다. 핵심 구조적 혁신은 공유 선형 부분 공간 표현과 개인화된 로컬 헤드의 결합입니다.

모델 구조

에이전트 $k$의 가치 함수는 다음과 같이 근사됩니다:
$$V^k_\theta(s) \approx \phi(s)^\top B \omega^k_\theta$$
여기서:

• $\phi(s) \in \mathbb{R}^d$는 알려진 특징 맵입니다.
• $B \in \mathbb{R}^{d \times r}$는 가치 함수의 근본적인 구조를 나타내는 공통 직교 부분 공간(모든 $K$개 에이전트 간 공유) 입니다.
• $\omega^k_\theta \in \mathbb{R}^r$은 각 에이전트 $k$에 특정한 로컬 헤드 매개변수로, 개인화를 가능하게 합니다.

알고리즘 메커니즘

이 알고리즘은 $t = 0, \dots, T-1$ 라운드로 운영되며, 각 에이전트당 세 가지 결합된 업데이트 단계와 서버 집계 단계를 거칩니다:

1. 크리틱 업데이트 (로컬 헤드 및 부분 공간):

   • 에이전트들은 이점 함수를 추정하기 위해 로컬 TD($L$) 업데이트를 수행합니다.
   • TD 오차 $\delta^k_{t,L}$을 사용하여 에이전트들은 로컬 헤드 $\omega^k_t$와 공통 부분 공간 추정치 $B_t$를 업데이트합니다.
   • $B_t$에 대한 업데이트는 직교성을 유지하기 위해 QR 분해를 따르는 투사 확률적 경사 단계를 포함합니다. 이 투사는 이질적인 잡음 존재 하에서 섭동 증폭을 제어하는 데 중요합니다.

2. 액터 업데이트 (정책):

   • 크리틱 업데이트에 사용되는 극한 상태 분포와 정책 경사에 사용되는 할인된 상태 방문 분포 간의 불일치를 완화하기 위해, 저자들은 전이 커널 $\tilde{P}^k = \gamma P^k + (1-\gamma)\eta$를 가진 동반 MDP를 사용합니다.
   • 에이전트들은 이 보조 체인에서 궤적을 샘플링하여 정책 경사를 계산함으로써, 마르코프 샘플링 하에서 더 정확한 경사 추정을 보장합니다.

3. 집계:

   • 에이전트들은 업데이트된 부분 공간 추정치 $\bar{B}_{t+1}$을 서버로 전송합니다.
   • 서버는 평균 $\bar{B}_{t+1}$을 계산하고 QR 분해를 수행하여 업데이트된 직교 기저 $B_{t+1}$을 모든 에이전트에게 브로드캐스트합니다.

주요 기여

1. 연방 RL 에서의 첫 번째 개인화 AC

본 논문은 연방 환경에서 개인화된 액터 - 크리틱 학습을 가능하게 하는 최초의 알고리즘을 제시합니다. 공유 정책이나 가치 함수에 초점을 맞춘 이전 연구들과 달리, pFedAC 는 공유 표현을 학습하면서도 에이전트별 정책 구성 요소를 유지합니다.

2. 유한 시간 수렴 분석

저자들은 마르코프 샘플링과 이질적인 전이 커널 하에서 알고리즘에 대한 유한 시간 수렴 보장을 확립합니다. 이 분석은 다음 세 가지 밀접하게 결합된 오차 역학을 동시에 추적하는 새로운 결합 선형 근사 프레임워크를 도입합니다:

• 로컬 헤드 추정치 ($\omega^k$) 의 오차.
• 공유 부분 공간 추정치 ($B$) 의 오차.
• 정책 경사 (액터) 의 오차.

수렴 속도:
본 논문은 다음을 증명합니다:

• 크리틱 오차는 $\tilde{O}\left(\frac{1}{(1-\gamma)^4 \sqrt{TK}}\right)$ 속도로 0 으로 수렴합니다.
• 정책 경사 노름은 $\tilde{O}\left(\frac{1}{(1-\gamma)^6 \sqrt{TK}}\right)$ 속도로 0 으로 수렴합니다.

여기서 $T$는 라운드 수, $K$는 에이전트 수, $\gamma$는 할인 인자입니다. 표기법 $\tilde{O}$는 다항 로그 인자와 문제 의존 상수를 숨깁니다.

3. 선형 속도 향상

결과들은 에이전트 수 $K$에 대한 선형 속도 향상을 보여줍니다. 이는 이질적인 마르코프 궤적이 존재하더라도, 목표 정확도에 도달하는 데 필요한 샘플 복잡도를 줄이기 위해 연방 시스템에 에이전트를 추가하면 비례적으로 감소함을 의미합니다.

4. 분석의 기술적 혁신

이러한 결과를 달성하기 위해 저자들은 몇 가지 새로운 분석 도구를 개발했습니다:

• QR 분해에 대한 섭동 분석: 이질적인 마르코프 잡음 존재 하에서 QR 분해 단계로 인한 왜곡을 경계하는 새로운 분석.
• 조건부 혼합 논증: 정책 업데이트와 마르코프 샘플링 간의 결합을 처리하는 기법으로, 특히 마르코프 샘플링 하의 함수 평가와 시간적으로 고정된 정책 하의 함수 평가 간의 불일치를 특성화합니다.
• 기하학적 구조 활용: 로컬 헤드 오차와 부분 공간 추정 오차 간의 상호작용을 제어하기 위해 공유 부분 공간과 주각 거리의 기하학적 속성을 활용합니다.

실험 결과

저자들은 근접 정책 최적화 (PPO) 내에서 프레임워크를 구현하여 FedPer PPO를 생성하고, 작동 맵 이질성(에이전트들이 역학을 공유하지만 다른 작동 매핑을 가짐) 을 가진 연방 Hopper-v5 벤치마크에서 평가했습니다.

• 성능: FedPer PPO 는 독립적으로 학습된 Single PPO와 표준 연방 평균인 FedAvg PPO보다 훨씬 우수한 성능을 보였습니다. "6-UNIQUE" 설정(각 에이전트가 고유한 작동 맵을 가짐) 에서 FedPer 는 Single PPO 대비 2.63 배, FedAvg PPO 대비 3.78 배의 개선을 달성했습니다.
• 전이 학습: 학습된 공유 "트렁크"(부분 공간 $B$) 는 이전 가능한 기반임이 입증되었습니다. 트렁크를 고정하고 하류 작업 (분포 외 변형 포함) 에 새로운 헤드만 학습했을 때, 모델은 바닐라 작업에서 처음부터 학습한 것보다 5.42 배, OOD 작업에서 3.50 배의 성능을 달성했습니다.

중요성과 주장

본 논문은 pFedAC 가 이질적인 FRL 환경에서 협업과 개인화 간의 간극을 성공적으로 메웠다고 주장합니다. 공유 선형 부분 공간을 활용함으로써 에이전트들은 지역 환경 특성에 대한 적응력을 희생하지 않으면서 집단 학습의 이점을 얻을 수 있습니다.

저자들은 수렴 속도가 선형 속도 향상을 보여준다고 명시적으로 언급하지만, 할인 인자 $(1-\gamma)$에 대한 의존성은 특히 근사 할인 영역 ($\gamma \to 1$) 에서 최적이지 않을 수 있다고 지적합니다. 그들은 이 의존성을 개선하는 것을 향후 연구의 주요 방향으로 제시하며, 마르코프 구조에 대한 더 날카로운 분석이나 분산 감소 기법이 추가적인 개선을 가져올 수 있음을 시사합니다.

요약하자면, 이 작업은 복잡하고 이질적인 시스템에서 확장 가능하고 협업적이면서도 적응적인 강화 학습에 대한 중요한 필요성을 해결하기 위해 개인화된 연방 액터 - 크리틱 방법을 위한 엄격한 이론적 기반과 경험적 검증을 제공합니다.