기술적 요약: 행동으로서의 분포: 다양한 행동 공간을 위한 통합 프레임워크

문제 정의

강화 학습 (RL) 알고리즘은 전통적으로 특정 행동 공간 구조에 대한 적합성에 따라 분류됩니다. 가치 기반 방법 (예: DQN) 은 행동 값을 나열함으로써 이산 공간에서 탁월한 성능을 발휘하는 반면, 정책 기반 방법 (예: DPG, SAC) 은 행동 가치 함수의 미분 가능성을 활용하도록 설계되어 연속 공간에 적합합니다. 그러나 현재 알고리즘들은 여전히 특정 행동 공간 구조와 긴밀하게 결합되어 있습니다. 이산, 연속, 그리고 하이브리드 행동 공간 전반에 걸쳐 일반화되는 통합 알고리즘을 설계하는 것은 각 도메인에 대해 서로 다른 그래디언트 추정자와 아키텍처가 종종 필요하기 때문에 어렵습니다. 또한, 확률적 정책에 대한 기존 정책 그래디언트 추정자 (예: 가능도비 (LR) 및 재파라미터화 (RP) 방법) 는 종종 높은 분산을 겪거나, 특히 이산 설정에서 편향을 도입합니다.

방법론

행동으로서의 분포 (DA) 프레임워크

이 논문은 에이전트와 환경 사이의 경계를 재정의하는 새로운 공식을 제시합니다. 고전적인 RL 프레임워크에서 에이전트의 정책 $\pi_\theta$는 행동 (또는 분포 매개변수) 을 출력하고 내부적으로 행동을 샘플링합니다. 제안된 행동으로서의 분포 (DA) 프레임워크에서는 다음과 같습니다:

1. 에이전트는 분포 매개변수 $\bar{\pi}_\theta(s)$ (예: 가우시안의 평균과 분산, 범주형의 확률 벡터) 를 행동으로 출력합니다.
2. 샘플링 과정 $A \sim f(\cdot|\bar{\pi}_\theta(s))$은 환경의 확률적 전이 함수의 일부로 간주됩니다.

이 변환은 원래의 행동 공간 $\mathcal{A}$ (이산, 연속, 또는 하이브리드일 수 있음) 을 연속적인 분포 매개변수 공간 $\mathcal{U}$로 변환합니다. 결과적으로 에이전트는 $\mathcal{A}$의 근본적인 성질에 관계없이 새로운 연속 행동 공간 $\mathcal{U}$를 가진 마르코프 결정 과정 (DA-MDP) 내에서 작동하게 됩니다.

행동으로서의 분포 정책 그래디언트 (DA-PG)

DA-MDP 를 기반으로 저자들은 DA-PG 추정자를 유도합니다. 연속 매개변수 공간 $\mathcal{U}$에 결정적 정책 그래디언트 (DPG) 정리를 적용하여 다음과 같은 그래디언트 추정자를 얻습니다:
$$\hat{\nabla}_\theta \hat{J}(\bar{\pi}_\theta; S_t) = \nabla_\theta \bar{\pi}_\theta(S_t)^\top \nabla_U \bar{Q}_w(S_t, U)|_{U=\bar{\pi}_\theta(S_t)}$$
여기서 $\bar{Q}_w$는 매개변수 $U$로 정의된 행동 분포에 대한 기대 보상을 추정하는 크리틱입니다.

이론적 특성:

• 분산 감소: 이 논문은 DA-PG 가 LR 및 RP 추정자 모두의 조건부 기대값임을 증명합니다. 총분산 법칙에 따라, 행동 조건부 또는 노이즈 유발 분산이 0 이 아닌 경우, 이는 원래 추정자들보다 엄격하게 낮은 분산으로 이어집니다.
• 통합: 분포가 디랙 델타인 경우, DA-PG 는 표준 DPG 추정자와 정확히 일치하여 이를 엄격한 일반화로 만듭니다.

보간된 크리틱 학습 (ICL)

DA 프레임워크의 한 가지 과제는 크리틱 $\bar{Q}_w$가 더 고차원의 입력 공간 (분포 매개변수) 에서 학습해야 한다는 점이며, 이는 어렵고 크리틱이 부정확할 경우 편향을 증가시킬 수 있습니다. 이를 해결하기 위해 저자들은 **보간된 크리틱 학습 (ICL)**을 제안합니다.

• 메커니즘: 샘플링된 분포 매개변수 $U_t$에서만 크리틱을 업데이트하는 대신, ICL 는 관찰된 행동 $A_t$를 활용하여 전이가 다른 분포 매개변수들에 의해 생성되었을 수도 있음을 추론합니다.
• 구현: 크리틱은 보간된 점 $\hat{U}_t = \omega_t U_t + (1-\omega_t) U_{A_t}$에서 업데이트되며, 여기서 $U_{A_t}$는 관찰된 행동 $A_t$에 해당하는 결정적 매개변수를 나타내고, $\omega_t \sim \text{Uniform}[0, 1]$입니다.
• 목표: 이는 크리틱이 정보 있는 곡률을 가진 더 매끄러운 가치 지형을 학습하도록 장려하여 매개변수 공간에서의 더 나은 정책 최적화를 용이하게 합니다.

DA-AC 알고리즘

저자들은 TD3 아키텍처를 기반으로 한 실용적인 심층 RL 알고리즘인 **행동으로서의 분포 액터 - 크리틱 (DA-AC)**을 구현합니다. DA-AC 는 액터에 DA-PG 추정자를, 크리틱에 ICL 업데이트를 통합하여 단일 알고리즘이 다양한 행동 공간을 처리할 수 있게 합니다.

주요 기여

1. 통합 프레임워크: 분포 매개변수를 행동으로 취급하는 RL 문제의 재파라미터화로, 이산, 연속, 하이브리드 제어를 단일 연속 행동 알고리즘 하에 통합합니다.
2. DA-PG 추정자: 표준 LR 및 RP 추정자보다 이론적으로 낮은 분산을 가지며 임의의 행동 공간 유형에 적용 가능한 일반화된 정책 그래디언트 추정자입니다.
3. ICL 전략: 보간을 통한 오프 - 분포 업데이트를 활용하여 DA 프레임워크 내 크리틱 학습을 개선하는 간단하지만 효과적인 기법입니다.
4. 실증적 검증: 전문화된 베이스라인에 비해 연속, 이산, 하이브리드 제어 벤치마크 전반에서 DA-AC 가 경쟁력 있거나 우수한 성능을 달성함을 보여주는 포괄적인 평가입니다.

실험 결과

이 논문은 네 가지 다른 설정에서 DA-AC 를 평가합니다:

• 연속 제어: MuJoCo 및 DeepMind Control Suite 작업에서 DA-AC 는 경쟁력 있는 성능을 달성하며, 특히 고차원 환경에서 TD3 및 기타 베이스라인을 종종 능가합니다.
• 이산 제어: Gym 클래식 제어 및 MinAtar 환경에서 DA-AC 는 DQN 및 기타 강력한 이산 베이스라인과 유사한 성능을 발휘합니다.
• 고차원 이산 제어: 연속 제어 작업의 이산화된 버전 (예: 17 차원을 7 개의 빈으로 이산화한 Humanoid-v4) 에서 DA-AC 는 다른 방법들이 조합 폭발이나 높은 분산에 직면하는 ST-AC, LR-AC, PPO 와 같은 베이스라인을 크게 능가합니다.
• 하이브리드 제어: 파라미터화 행동 MDP(PAMDP) 에서 DA-AC 는 PATD3 및 PDQN 과 같은 전문 알고리즘과 경쟁적인 결과를 달성합니다.

어블레이션 연구:
밴딧 설정 및 고차원 이산 제어에서의 실험은 ICL 를 제거한 경우 (DA-AC w/o ICL) 성능이 현저히 저하됨을 보여주며, 이는 DA 프레임워크에서 효과적인 크리틱 학습을 위해 ICL 가 필수적임을 확인시켜 줍니다.

중요성과 주장

이 논문은 행동으로서의 분포 프레임워크가 학습 알고리즘을 행동 공간의 특정 구조로부터 분리하는 원칙적인 방법을 제공한다고 주장합니다. 에이전트 - 환경 경계를 이동시킴으로써, 이산 및 하이브리드 문제에 저분산, 결정적 스타일의 그래디언트 방법을 적용할 수 있게 합니다. 저자들은 이 접근 방식이 다음과 같음을 강조합니다:

• 이산 분포에 대한 최초의 편향 없고 저분산인 재파라미터화 스타일 추정자를 제공합니다.
• 도메인별 아키텍처 변경 없이 다양한 제어 설정을 처리할 수 있는 단일 알고리즘 프레임워크 (DA-AC) 를 가능하게 합니다.
• 샘플링을 환경의 일부로 취급함으로써 학습을 단순화하고, 특히 복잡한 하이브리드 행동 공간에 대해 새로운 알고리즘적 관점을 열 수 있음을 보여줍니다.

이 연구는 향후 연구가 이 프레임워크를 모델 기반 방법, 계층적 제어, 그리고 더 발전된 크리틱 학습 전략으로 확장할 수 있음을 시사하지만, 현재의 기여는 DA-AC 알고리즘과 그 실증적 성공을 통해 프레임워크의 타당성을 확립하는 데 초점을 맞추고 있습니다.