Curriculum reinforcement learning with measurable task representation learning

기술 요약: 측정 가능한 작업 표현 학습을 통한 커리큘럼 강화 학습

문제 제기
커리큘럼 강화 학습 (CRL) 은 난이도가 점진적으로 증가하는 일련의 작업으로 에이전트를 훈련시킴으로써 까다로운 목표 작업에 대한 학습을 가속화하는 것을 목표로 합니다. 초기 CRL 방법들은 사전에 정의된 작업의 순서에 초점을 맞췄으나, 최근 연구는 자동 커리큘럼 생성으로 전환되었습니다. 이 분야의 지배적인 패러다임은 작업 분포 보간으로, 초기 작업 분포와 목표 작업 분포 사이를 KL 발산이나 Wasserstein 거리와 같은 거리 척도를 사용하여 보간함으로써 새로운 중간 작업들을 생성합니다.

그러나 이러한 보간 기반 접근법은 작업 유사성이 맥락 (작업) 공간의 유클리드 거리를 통해 측정될 수 있다는 가정에 의존합니다. 이 가정은 미로와 같은 벽이 있는 비유클리드 기하학적 구조를 가진 복잡한 환경에서는 실패합니다. 이러한 맥락에서 매개변수 공간에서의 직선 보간은 벽 뒤에 목표를 배치하는 것과 같이 물리적으로 불가능한 작업을 생성하거나, 난이도의 의미 있는 진행을 나타내지 못하는 작업을 만들어 에이전트가 지식을 효과적으로 전이하는 능력을 저해할 수 있습니다. 또한, 기존 방법들은 커리큘럼 생성을 위해 특별히 설계된 외부 보상 신호 없이 복잡한 고차원 또는 희소 보상 환경에서 의미 있는 유사성 척도를 정의하는 데 종종 어려움을 겪습니다.

방법론: ACRL
저자들은 잠재 공간에서 측정 가능한 작업 표현을 학습함으로써 커리큘럼을 생성하는 ACRL(표현 학습을 통한 자동 커리큘럼) 프레임워크를 제안합니다. 핵심 통찰력은 작업 유사성이 원시 환경 매개변수가 아닌 에이전트의 행동 (상태 전이 및 보상) 으로 정의되어야 한다는 것입니다.

방법론은 세 가지 주요 구성 요소로 이루어져 있습니다:

1. VAE 를 통한 작업 표현 학습:
   저자들은 변이 자동 인코더 (VAE) 를 사용하여 작업 맥락을 잠재 공간에 매핑합니다.

   • 인코더: 특정 작업 맥락 $c$에서 수집된 궤적 (상태, 행동, 보상, 다음 상태의 시퀀스) 을 받아 잠재 임베딩 $z$로 인코딩합니다. 치환 불변성을 보장하기 위해 궤적 임베딩은 개별 전이에 대한 임베딩들의 곱으로 계산됩니다.
   • 디코더: VAE 는 다음 상태와 보상을 재구성하여 잠재 공간이 작업의 동역학과 보상 구조를 포착하도록 하는 전이 디코더 ($p_\theta(s'|z)$) 와 보상 디코더 ($p_\theta(r|z)$) 를 포함합니다.
   • 작업 디코더: 보조 디코더 ($p_c^\theta(z)$) 는 잠재 임베딩을 다시 맥락 공간으로 매핑하여 잠재 점들로부터 새로운 작업 매개변수를 생성할 수 있게 합니다.
   • 학습 제약: 의미 있는 표현을 보장하기 위해 VAE 는 에이전트가 특정 임계값 $\delta$ 이상의 회수를 달성한 궤적에만 훈련되며, 무작위 또는 실패한 시도는 필터링됩니다.

2. 자동 커리큘럼 생성:
   작업 표현이 학습되면, 커리큘럼은 에이전트의 학습 진행도에 기반한 두 가지 전략으로 업데이트됩니다:

   • 잠재 공간 예측 (LSP): 에이전트가 목표 작업에서 일정 수준의 성능을 달성했을 때 사용됩니다. 이 방법은 현재 성공한 작업들의 잠재 임베딩과 목표 작업의 임베딩 사이를 잠재 공간에서 보간합니다. 이러한 보간된 점들은 맥락 공간으로 디코딩되어 환경의 근본적인 기하학적 제약을 존중하는 새로운 점진적으로 어려운 작업을 생성합니다.
   • 탐색 경계 업데이트 (EBU): 초기 단계나 목표 작업 성능이 낮을 때 사용됩니다. 이 방법은 에이전트가 현재 해결할 수 있는 목표에 가장 가까운 작업인 "탐색 경계"를 식별하고, 탐색을 장려하기 위해 가우시안 노이즈가 추가된 이 경계 근처에서 새로운 작업을 샘플링합니다.

3. 샘플링 전략:
   프레임워크는 작업 버퍼를 유지하며, 학습된 커리큘럼 분포에서 샘플링 (진행 활용) 과 맥락 공간 전체의 균일 분포에서 샘플링 (탐색 보장 및 모드 붕괴 방지) 사이를 균형 있게 조절하기 위해 샘플링 비율 $\lambda$를 사용합니다.

주요 기여

1. ACRL 프레임워크: 커리큘럼 생성을 위한 외부 보상을 요구하지 않고 소스 작업과 목표 작업 사이의 중간 작업 분포를 생성하는 자동화된 커리큘럼 RL 프레임워크의 제안입니다. 이는 맥락을 잠재 공간에 매핑하는 작업 표현 학습을 활용하여 작업 유사성을 위한 더 매끄럽고 의미 있는 척도를 보장합니다.
2. 측정 가능한 작업 유사성: VAE 를 사용하여 맥락 공간을 잠재 공간에 매핑하는 새로운 작업 표현 학습 방법입니다. 이 접근법은 상태 전이와 보상을 인코딩함으로써 직접적인 유클리드 보간의 한계를 극복하고 비유클리드 척도 공간에서 유사성을 측정할 수 있게 합니다.
3. 경험적 우수성: CURROT 와 같은 보간 기반 방법과 Goal GAN, ALP-GMM 과 같은 생성적 접근법을 포함한 최첨단 베이스라인들과 비교하여 복잡한 기하학적 구조를 가진 까다로운 탐색 작업에서 ACRL 이 우수한 학습 효율성과 점근적 성능을 달성함을 보여주는 실증 결과입니다.

실험 결과
저자들은 ACRL 을 두 가지 도메인에서 평가했습니다:

• MiniGrid(이산 행동 공간): 키, 문, 용암이 포함된 난이도 (쉬움, 중간, 어려움) 가 다양한 미로 탐색 작업 세트입니다. 이러한 환경에서는 벽이 직접적인 경로를 막기 때문에 유클리드 거리는 실패합니다.

  • 성능: ACRL 은 시간당 임계값 도달 및 안정성 측면에서 베이스라인 (Default, Random, ALP-GMM, Goal GAN, VDS, PLR, CURROT) 보다 우수한 성과를 거두었습니다.
  • 커리큘럼 시각화: 생성된 작업 분포는 장애물을 성공적으로 우회하여 초기 위치에서 실현 가능한 경로를 통해 목표 지점으로 이동했습니다. 반면, CURROT 는 에이전트를 벽으로 이끄는 경우가 많은 중간 작업을 생성하여 유효한 학습 경로를 제공하지 못했습니다.
  • 표현 분석: 잠재 공간의 다차원 척도 분석 (MDS) 은 학습된 임베딩이 작업의 비유클리드 구조를 효과적으로 포착하여 난이도와 기하학 측면에서 유사한 작업들을 함께 군집화했음을 보여주었습니다.

• U-Maze(연속 행동 공간): 에이전트가 U 자형 장벽을 탐색해야 하는 연속 제어 환경입니다.

  • 성능: ACRL 은 베이스라인보다 더 나은 샘플 효율성을 보여주었습니다. Goal GAN 은 좋은 점근적 성능을 달성했지만, 목표 안내의 부재로 인해 시간당 임계값 도달에서 어려움을 겪었습니다. 다른 베이스라인들은 접근 불가능한 영역에서 작업을 생성했기 때문에 실패했습니다.
  • 절대 연구: LSP 와 EBU 의 조합이 중요함을 확인했습니다. 어느 한 구성 요소를 제거하거나 샘플링 비율 $\lambda$를 너무 높게 설정 (탐색 감소) 하거나 너무 낮게 설정 (균일 샘플링으로 퇴화) 하면 성능이 크게 저하되었습니다. 또한, 보상 및 전이 디코더 모두를 포함하는 것이 안정적인 표현 학습에 필수임이 입증되었습니다.

의의 및 주장
이 논문은 ACRL 이 자동 커리큘럼 생성의 근본적인 한계, 즉 복잡하고 비유클리드 환경에서 작업 유사성을 포착하지 못하는 유클리드 거리 척도의 무능력을 해결한다고 주장합니다. 에이전트의 실제 상호작용 (궤적) 을 기반으로 한 잠재 표현을 학습함으로써, 이 방법은 환경의 기하학적 및 동적 제약을 존중하는 커리큘럼을 생성할 수 있습니다.

저자들은 그들의 접근법이 다음과 같음을 강조합니다:

• 커리큘럼 생성을 위한 외부 보상을 요구하지 않습니다.
• PPO, SAC 와 같은 기존 RL 알고리즘과 호환됩니다.
• 이산 및 연속 맥락 공간 모두를 처리합니다.
• 장기적, 희소 보상 작업을 수행하는 에이전트에게 더 견고하고 효율적인 학습 경로를 제공합니다.

이 논문은 겸손하게 결론을 내리며 한계를 인정합니다: 현재 이 방법은 매개변수적 맥락 공간 (수치적 매개변수) 을 가정하며, 심볼릭 또는 언어 기반 맥락과 같은 비매개변수적 정의를 직접 처리할 수 없지만, 이는 의미론적 인코더를 포함하는 향후 연구의 잠재적 방향성으로 언급됩니다.