기술 요약: Trajectory First: 다양한 정책을 발견하기 위한 커리큘럼

문제 정의

강화 학습 (RL) 방법은 종종 단일 모드 행동 분포를 가정하여, 환경 교란에 취약하고 국소 최적점에 갇히기 쉬운 단일 정책을 생성합니다. 다양한 정책 집합을 발견하는 것이 견고성을 극대화하지만, 기존 제약 다양성 최적화 방법은 로봇 조작과 같은 복잡하고 접촉이 풍부한 작업에서 자주 실패합니다.

식별된 핵심 과제는 **과소 탐험 (under-exploration)**입니다. 로봇 조작과 같은 도메인에서는 물체 상태가 간헐적인 접촉에 의해 매개되며, 접촉 불연속성이 지배하는 행동과 상태 간의 매끄럽지 않은 매핑을 생성합니다. 결과적으로 다양성 추구 목표는 대체 전략이 강화될 만큼 드물게 발견되지 않기 때문에 소수의 모드로 수렴하는 경향이 있습니다. 표준 국소 탐험 방법 (예: 정책 공간의 가우시안 노이즈) 은 이러한 환경에서 단절된 고보상 매니폴드를 연결하기에 불충분합니다.

방법론: 2 단계 커리큘럼

저자들은 글로벌 궤적 탐험과 반응형 정책 학습을 분리함으로써 탐험 병목 현상을 극복하도록 설계된 "Trajectory First" 커리큘럼을 제안합니다. 이 접근법은 두 가지 명확한 단계로 구성됩니다.

1 단계: 궤적 공간의 제약된 신규성 탐색 (Constrained Novelty Search, CNS)

신경망 매개변수를 직접 최적화하는 대신, 첫 번째 단계는 진화 전략 (ES) 을 사용하여 **개방 루프 궤적 (open-loop trajectories)**의 공간을 탐색합니다.

• 스플라인 기반 매개변수화: 궤적 $\tau$는 제어점 $\omega$로 정의된 B-스플라인으로 매개변수화됩니다. 이는 매끄러운 귀납적 편향을 제공하고 원시 행동 시퀀스에 비해 검색 공간의 차원을 줄입니다.
• 최적화 목적: 근접 최적성 제약 ($v_{\omega_i} \geq \alpha v^*$) 하에 다양성을 극대화하는 궤적 매개변수 집합 $\Omega_n$을 찾는 것입니다.
• 제약된 신규성 탐색: 저자들은 궤적 집합의 엔트로피 (k-NN 거리를 통해 추정됨) 에 기반한 내재적 신규성 보상과 외재적 작업 보상을 균형 있게 조정하는 라그랑주 목적 함수를 도입합니다.
• 최적화 알고리즘: 제어점 $\omega$는 B-스플라인의 중간 크기 매개변수 공간에 대해 매우 효율적인 CMA-ES 를 사용하여 최적화됩니다. 이를 통해 알고리즘은 모드 간에 "점프"하여 국소 정책 공간 탐색이 놓칠 수 있는 다양한 고보상 앵커를 발견할 수 있습니다.

2 단계: 반응형 정책으로의 증류

1 단계에서 발견된 다양한 궤적은 제약된 오프-폴리시 학습을 사용하여 $n$개의 반응형, 기술 조건부 정책 $\Pi_n$으로 증류됩니다.

• 프레임워크: 저자들은 다양성 목적 함수의 기울기를 내재적 보상으로 간주하는 Domino 프레임워크를 채택합니다.
• 안정화 기법: 접촉이 풍부한 작업에서 오프라인 궤적 데이터에서 온라인 반응형 정책으로의 안정적인 증류를 보장하기 위해 세 가지 중요한 수정 사항이 도입됩니다.
  1. 대칭 샘플링 (Symmetric Sampling): 학습 배치는 50% 온라인 데이터와 25% 상위 반환에서 선택된 필터링된 CNS 궤적 50% 로 구성됩니다. 이는 온라인 RL 로 전환하는 동안 다양성 붕괴를 방지합니다.
  2. $v_{max}$-trick: 단일 전문가 정책에 의존하여 최적 가치 $v^*$를 추정하는 대신, 저자들은 모든 기술과 전체 학습 역사에서 달성된 최대 성능으로 $v^*$를 업데이트합니다 ($v^* \leftarrow \max\{v^*, \max_i v_i\}$). 이는 비최적성 제약에 대해 단조 증가하는 안정적인 목표를 제공하여, 다양성 목적 함수가 조기에 최적화 압력에 의해 질식되는 것을 방지합니다.
  3. 높은 정책 업데이트 - 데이터 비율 (High Policy UTD): 크리티크는 빈번하게 업데이트되고 정책은 드물게 업데이트되는 표준 오프라인 - 온라인 RL 과는 달리, 이 방법은 정책 업데이트 빈도를 증가시킵니다 (예: 환경 단계당 4 회 업데이트). 이는 내재적 보상이 현재 정책 집합의 상태 점유에 의존하기 때문에 필요하며, 빈번한 정책 업데이트를 통해 에이전트가 변화하는 내재적 환경에 발맞추어 갈 수 있게 합니다.

주요 기여

1. 탐험 병목 현상의 경험적 식별: 이 연구는 기존 제약 다양성 최적화 방법 (예: Domino) 이 국소 탐험이 단절된 고보상 영역을 연결하지 못하기 때문에 로봇 조작 작업에서 다양한 정책을 발견하지 못함을 보여줍니다.
2. 궤적 우선 커리큘럼 (Trajectory-First Curriculum): 스플라인 기반 궤적에 대한 진화적 탐색을 사용하여 다양한 고보상 앵커를 생성한 후 이를 반응형 정책으로 증류하는 새로운 2 단계 접근법입니다.
3. 안정화 레시피: 내재적 보상의 비정상성을 해결하여 제약된 환경에서 다양성 목적 함수를 위한 안정적인 오프라인 - 온라인 학습을 가능하게 하는 일련의 기법 (대칭 샘플링, $v_{max}$-trick, 높은 정책 UTD) 입니다.

실험 결과

이 방법은 미로 탐색, 큐브 밀기, 버튼 누르기, 큐브 뒤집기라는 네 가지 로봇 작업에서 평가되었습니다.

• 다양성 vs 성능: 제안된 커리큘럼은 가장 강력한 베이스라인 (Domino) 대비 행동 다양성을 1.5 배 증가시키면서 동등한 작업 성능을 유지했습니다.
• 작업별 발견 사항:
  • 미로 탐색에서, 이 방법은 가장 많은 수의 서로 다른 경로를 발견한 반면, 베이스라인은 안전하고 충돌이 없는 경로 주변에 군집하는 경향이 있었습니다.
  • 버튼 누르기에서, 베이스라인은 종종 모든 기술에 대해 동일한 로봇 링크를 사용하도록 수렴했습니다. 제안된 방법은 서로 다른 로봇 링크를 사용하는 전신 조작 전략을 성공적으로 발견했습니다.
  • 큐브 뒤집기에서, 이 방법은 다양한 접촉 모드와 힘 프로파일을 발견한 반면, 노이즈 기반 탐험 베이스라인은 빈번한 충돌과 부정적 보상 때문에 실패했습니다.
• 견고성: 이 방법은 적대적인 보상 사양 (예: 높은 충돌 패널티) 하에서도 견고하게 유지되었으며, 베이스라인은 물체와 전혀 상호작용하지 못했던 반면, CNS 단계가 고보상 영역 내에서 워밍업을 제공했기 때문입니다.

중요성과 주장

이 논문은 로봇 공학에서 제약된 다양성 최적화의 주요 병목 현상이 학습 목적 함수 자체가 아니라 국소 탐험에 대한 의존성이라고 주장합니다. 스플라인 기반 궤적 사전 지식을 통해 귀납적 편향을 도입함으로써, 저자들은 표준 정책 공간 탐색으로는 접근할 수 없는 다양한 접촉 모드의 발견을 가능하게 합니다.

저자들은 이 작업을 다양성 최적화에서의 "탐험 - 활용" 트레이드오프에 대한 해결책으로 위치시킵니다. 그들은 이전 연구들이 다양한 고보상 행동이 온라인 정책 최적화 하에서 쉽게 도달 가능하다고 가정하지만, 이 가정이 복잡한 조작 작업에서는 실패한다고 주장합니다. 제안된 커리큘럼은 글로벌 궤적 수준의 탐험과 반응형 제어를 연결하여 견고하고 다양한 에이전트 훈련을 위한 실용적인 레시피를 제공합니다. 저자들은 다양성 측정을 위한 수동 정의 상태 기능에 대한 의존성과 단계 간 고정 전환과 같은 한계를 겸손하게 지적하며, 향후 작업은 적응형 전환과 원시 관찰로부터의 표현 학습을 탐구할 수 있음을 시사합니다.