기술 요약: 최소 통신을 통한 원격 행동 생성 (GRASP)

문제 정의

본 논문은 통신 제약 하의 원격 강화 학습 (Remote Reinforcement Learning, RRL) 과 관련된 과제를 다룹니다. 이 분산 환경에서 컨트롤러는 환경의 상태와 보상 신호에 접근할 수 있는 반면, 하나 이상의 액터 (actor) 는 상태를 관찰하지만 보상에는 접근할 수 없습니다. 컨트롤러는 속도 제한이 있는 통신 채널을 통해 액터들이 누적 보상을 극대화하는 행동을 취하도록 안내해야 합니다.

저자들은 이 문제에 대한 두 가지 주요 비효율적인 기준 (baselines) 을 식별했습니다:

1. 보상 전송: 보상 신호를 액터에게 전송하면 액터가 로컬에서 정책을 학습할 수 있습니다. 그러나 이는 조정이 필요한 다중 에이전트 시나리오에서는 실패하며, 보상이 일반적으로 32 비트 또는 64 비트 부동 소수점 숫자이므로 대역폭 제한으로 인해 어려움을 겪습니다.
2. 행동 전송: 컨트롤러가 최적 정책을 학습하고 액터에게 구체적인 행동을 전송합니다. 이는 작은 이산 행동 공간에서는 효과적이지만, 양자화 필요성과 행동 분포의 높은 엔트로피로 인해 연속 행동 공간에서는 과도하게 비용이 많이 듭니다.

핵심적인 어려움은 액터가 특정 행동을 실행할 필요가 아니라 컨트롤러의 목표 정책 분포에서 샘플링된 어떤 행동이라도 실행하면 된다는 사실에 있습니다. 특정 샘플을 전송하는 데는 약 $H(P) + D_{KL}[P||Q]$ 비트가 필요하며, 여기서 $P$는 목표 정책이고 $Q$는 기준 분포입니다.

방법론: 유도된 원격 행동 샘플링 정책 (GRASP)

저자들은 GRASP를 제안합니다. 이는 원격 생성 (remote generation) 과 행동 복제 (behavioral cloning) 를 활용하여 학습 성능을 유지하면서 통신 속도를 최소화하는 프레임워크입니다.

1. 중요도 샘플링을 통한 원격 생성

전체 행동 사양을 전송하는 대신, 컨트롤러와 액터는 컨트롤러의 목표 분포 $P$(컨트롤러의 정책) 에서 효율적으로 샘플링하기 위해 공유 기준 분포 $Q$(액터의 현재 정책) 를 활용합니다.

• 과정: 액터는 로컬 제안 정책 $Q$에서 $K$개의 후보 행동 목록을 생성합니다. 컨트롤러는 $P$를 알고 있으므로, 중요도 샘플링 (importance sampling) 기준을 사용하여 이 목록에서 하나의 후보를 선택합니다.
• 통신: 컨트롤러는 선택된 후보의 인덱스만 액터에게 전송합니다.
• 속도 효율성: 통신 비용은 $D_{KL}[P||Q] + \log(D_{KL}[P||Q] + 1) + 4$ 비트로 상한이 정해집니다. $D_{KL}[P||Q]$가 작다면 이는 행동을 직접 전송하는 것보다 훨씬 낮습니다. 특히, 이 방법은 유한한 비트 수를 사용하여 연속 분포에서 정확한 샘플링을 가능하게 합니다.

2. 액터 측 행동 복제

통신 속도가 낮게 유지되도록 하려면 컨트롤러의 정책 ($P$) 과 액터의 제안 정책 ($Q$) 간의 KL 발산 (KL-divergence) 을 최소화해야 합니다.

• 학습 메커니즘: 액터는 원격 생성 과정을 통해 컨트롤러가 선택한 행동을 지도 학습 데이터로 간주합니다. 행동 복제 (imitation learning 의 한 형태) 를 사용하여 액터는 컨트롤러의 행동과 일치하도록 정책 매개변수를 업데이트합니다.
• 동적 정렬: 액터의 정책이 개선되어 컨트롤러의 정책으로 수렴함에 따라 KL 발산이 감소하여 향후 안내에 필요한 통신 속도가 더욱 줄어듭니다. 학습 단계 동안 액터의 정책은 직접 실행되지 않으며, 효율적인 통신을 촉진하기 위한 제안 분포로만 사용됩니다.

3. 알고리즘 흐름

• 컨트롤러: 목표 정책 $\pi_C$를 유지합니다. 상태와 보상을 관찰하고, 표준 RL 알고리즘 (예: PPO, DQN) 을 사용하여 $\pi_C$를 업데이트하며, 액터의 현재 정책 $\pi_A$에 기반한 원격 생성 알고리즘을 사용하여 액터를 위한 행동을 인코딩합니다.
• 액터: 제안 정책 $\pi_A$를 유지합니다. 상태를 관찰하고 인덱스 메시지를 수신한 후 행동을 디코딩하여 환경에서 실행하며, 컨트롤러로부터 수신한 상태 - 행동 쌍을 사용하여 지도 학습을 통해 $\pi_A$를 업데이트합니다.

주요 기여

1. 새로운 프레임워크: 최적 정책 학습 (컨트롤러 측) 과 행동 실행 (액터 측) 을 분리하면서도 통신 오버헤드를 최소화하는 GRASP 의 도입.
2. 원격 생성의 통합: RL 도메인에 원격 생성 기술을 적용하여 최소 비트로 연속 행동 분포에서 정확한 샘플링을 가능하게 함.
3. 모방과 샘플링의 시너지: 액터의 제안 분포를 컨트롤러의 목표 분포와 정렬하기 위해 행동 복제를 사용하는 것이 속도 효율성을 달성하는 데 필수적임을 입증.
4. 확장성: 단일 액터 및 다중 액터 (MARL) 환경을 모두 지원하며, 글로벌 보상이 중앙에서만 제공되는 분산 시스템의 조정 문제를 해결.

실험 결과

저자들은 다양한 RL 알고리즘 (PPO, DQN, SQ, DDPG) 을 사용하여 다양한 환경 (CartPole, Pendulum, LunarLander, BipedalWalker, HalfCheetah, Breakout, CooperativePong, PistonBall, Spread) 에서 GRASP 를 평가했습니다.

• 성능 동등성: GRASP 는 직접 행동 전송 (ASC) 및 전체 보상 전송 (FR) 과 비교 가능한 리턴을 달성합니다. 대부분의 경우 GRASP 와 기준 방법 간의 성능 차이는 미미하여, 통신 제약이 최종 정책 품질에 부정적인 영향을 미치지 않음을 확인했습니다.
• 통신 감소:
  • 직접 행동 전송 (ASC) 과 비교할 때, GRASP 는 평균 12 배의 데이터 전송 감소 (기하 평균) 를 달성했습니다.
  • 보상 전송 (FR) 과 비교할 때, GRASP 는 41 배의 감소를 달성했습니다.
  • 연속 행동 공간의 경우 감소 폭이 더욱 커서 행동 전송 대비 최대 50 배에 달했습니다.
  • CooperativePong과 같은 특정 환경에서는 343 배의 감소가 나타났습니다.
• 양자화 기준: 보상 (16, 8, 또는 4 비트) 을 양자화하면 통신은 줄어들지만, 특히 낮은 비트 깊이에서 성능 저하가 자주 발생합니다. GRASP 는 대역폭을 극적으로 줄이면서도 높은 성능을 유지합니다.
• 동적 행동: GRASP 의 통신 속도는 동적입니다. 초기화 시 동일하므로 거의 0 에 가깝게 시작되지만, 컨트롤러가 학습하여 액터의 초기 정책과 달라짐에 따라 증가하다가, 액터의 행동 복제가 수렴하는 컨트롤러 정책에 따라잡으면서 다시 감소합니다.

중요성과 주장

본 논문은 통신 대역폭이 병목 현상인 원격 강화 학습을 위한 실용적인 해결책으로 GRASP 를 제시합니다. 그 중요성은 다음과 같습니다:

• 연속 제어 가능: 직접 전송이 불가능한 연속 행동 공간에 대한 대역폭 문제를 해결합니다.
• 효율적인 조정: 글로벌 보상 또는 전체 행동 벡터를 전송하는 높은 비용을 피하면서도, 분산형 MARL 의 비정상성 문제를 겪지 않고 중앙 컨트롤러가 여러 액터를 조정할 수 있게 합니다.
• 자원 할당: 정책 학습을 위한 계산 복잡성을 액터로 이동시키면서 통신 부담을 최소화하여, 액터가 리소스 제약이 있는 경우 (예: 엣지 장치) 이지만 컨트롤러는 무거운 계산 또는 글로벌 보상 평가에 접근 가능한 경우 (예: 클라우드 서버 또는 인간 - 루프 시스템) 에 적합합니다.

저자들은 GRASP 가 기존 벤치마크에 대한 견고한 대안이며, 강화 학습 과정의 학습 효율성을 희생하지 않으면서 상당한 데이터 감소를 달성한다고 결론지었습니다.