기술 요약: 오프라인 목표 조건부 강화 학습을 위한 추상화

문제 제기

오프라인 목표 조건부 강화 학습 (GCRL) 은 정적 데이터셋을 사용하여 복잡한 장기 과제를 해결할 수 있는 범용 에이전트를 훈련하는 것을 목표로 합니다. 그러나 기존 방법들은 데이터셋이 낮은 품질의 전이 (transitions) 로 고통받거나 상태 - 행동 공간의 불완전한 커버리지를 보이는 영역에서 어려움을 겪습니다. 데이터셋 분포로 행동을 정규화하여 분포 이동을 완화하는 표준 평면 오프라인 RL 알고리즘은 데이터셋이 중요한 영역에서 하위 최적 데이터를 포함할 때 최적 정책을 복구하는 데 종종 실패합니다. 계층적 정책 (옵션) 은 유효 시간 범위 (시간적 추상화) 를 줄이기 위해 제안되어 왔지만, 전통적으로 절대 기준 프레임에 고정되어 유사하지만 서로 다른 문맥 간 경험 재사용 능력을 제한했습니다.

방법론: 추상적 강화 학습 (ARL)

저자들은 절대 추상화 (absolute abstraction) 를 가능하게 하는 계층 구조를 확장한 추상적 강화 학습 (ARL) 프레임워크를 제안합니다. 이는 상대적 옵션 (relativised options) 을 학습하고 계층의 서로 다른 수준에서 고유한 표현을 활용하는 것을 포함합니다. 핵심 전제는 저수준 행동을 중복된 고수준 정보와 분리하고 옵션을 에이전트의 로컬 문맥에 상대적으로 정의함으로써 (예: "좌표 X 로 이동" 대신 "앞으로 이동"), 에이전트가 유사한 상태 공간 문맥 전반에 걸쳐 행동을 일반화할 수 있다는 것입니다.

이 프레임워크는 두 가지 유사성 개념을 도입합니다:

1. 고수준 유사성: 유사한 옵션을 유도하는 상태 - 목표 쌍.
2. 저수준 유사성: 유사한 즉각적인 행동을 유도하는 상태 - 옵션 쌍.

이를 실현하기 위해 저자들은 두 가지 알고리즘을 제안합니다:

1. ARLi (암묵적으로 상대적 옵션 학습)

이 알고리즘은 가치 유사성이 아닌 행동 유사성을 통해 상대적 옵션을 학습합니다.

• 아키텍처: 고수준 가치 함수 ($V_h$) 와 저수준 가치 함수 ($V_l$) 라는 두 가지 고유한 가치 함수를 사용합니다.
• 옵션 학습: 가치 함수를 통해 옵션 임베딩을 학습하는 기존 계층적 방법 (예: HIQL) 과 달리, ARLi 는 옵션 임베딩 ($\phi_\omega$) 을 저수준 정책 ($\pi_l$) 과 함께 학습합니다. 이는 유사한 저수준 행동을 유도하는 상태 - 웨이포인트 쌍을 그룹화하도록 장려합니다.
• 훈련: 가치 학습에는 암묵적 Q-학습 (IQL) 을, 정책 추출에는 이점 가중 회귀 (AWR) 를 사용합니다. 고수준 정책은 고수준 가치에 기반하여 옵션을 샘플링하고, 저수준 정책은 상태와 샘플링된 옵션에 조건부로 행동을 실행합니다.

2. ARLe (명시적 병진 불변성 강제)

이 알고리즘은 고차원 조작 작업을 위해 저수준 의사 결정 과정에 병진 불변성 (translational invariance) 을 명시적으로 부과함으로써 ARLi 를 기반으로 합니다.

• 상대적 상태: 정규화되지 않은 변위 벡터 ($v = g_s - s$) 로 저수준 가치 함수를 정의하여 상태 - 웨이포인트 공간을 상대적 변위의 다양체 (manifold) 로 효과적으로 축소합니다.
• 옵션 임베딩: 옵션은 이러한 상대적 상태로 정의됩니다. 저자들은 이러한 임베딩을 초구면 (hypersphere) 에 매핑하기 위해 "소프트 정규화"기법을 사용하여, 기하학적 정규화를 유지하면서 암묵적인 시간 인식 (크기가 변위에 비례) 을 가능하게 합니다.
• 목표: 이러한 귀납적 편향은 기하학적으로 유사한 상대적 구성을 동등하게 취급함으로써 상태 공간 전반에 걸쳐 경험을 재사용할 수 있게 하여, 고차원 공간에서의 희소한 상태 커버리지 문제를 해결합니다.

주요 기여

1. 절대 추상화에 대한 동기 부여: 이 논문은 오프라인 RL 에서의 계층 구조가 시간 범위를 줄이는 것뿐만 아니라 절대 추상화를 가능하게 해야 한다고 주장합니다. 상대적 옵션과 고유한 표현을 사용하여 에이전트는 평면 정책에 비해 기대 수익의 최대 오차를 제한할 수 있으며, 특히 저품질 데이터가 있는 영역에서 이를 달성합니다.
2. 이론적 오차 한계: 저자들은 절대 추상화를 가진 계층적 정책이 네 가지 메커니즘을 통해 오차 한계를 줄임을 보여주는 유도를 제공합니다:
   • 시간 범위 축소: 고수준 정책에 대한 유효 할인 인자 감소.
   • 카디널리티 축소: 상태 - 목표 쌍을 동치 클래스로 매핑.
   • 옵션 효율성: 상대화를 통해 옵션 공간 크기 축소.
   • 집중성 개선: 유사한 문맥 전반에 걸쳐 확률 질량을 집계하여 집중성 계수 ($\kappa$) 를 줄이고 지원 불일치를 완화.
3. 두 가지 새로운 알고리즘: 옵션을 행동 유사성을 통해 학습하고 병진 불변성을 강제함으로써 추가적인 하이퍼파라미터를 도입하지 않고 성능을 크게 향상시킨 ARLi 와 ARLe 의 도입.
4. 실무 지침: 옵션을 저수준 정책과 함께 행동 유사성을 통해 학습하고, 의사 결정 과정을 분리하기 위해 두 가지 가치 함수를 사용하며, 고차원 조작을 위해 병진 불변성을 부과하는 것과 같은 실무자를 위한 구체적인 권장 사항 제공.

실험 결과

저자들은 OGBench 데이터셋에서 ARLi 와 ARLe 를 평가했으며, 여기에는 도전적인 이동 및 조작 환경 (예: antmaze-giant, humanoidmaze-giant, puzzle-4x4-play) 이 포함되었습니다.

• 성능: 두 ARL 변형 모두 평면 정책 (IQL) 과 절대 계층적 베이스라인 (HIQL 변형) 보다 우수한 성과를 보였습니다. 모든 작업에서 ARL 은 벤치마크보다 평균 성공률이 최소 10 퍼센트 포인트 더 높았습니다.
• 구체적 이득:
  • ARLi: 계층적 벤치마크보다 일관되게 개선되었으며, humanoidmaze 환경에서는 성공률을 두 배 이상 높였고 scene-play-v0 에서는 거의 두 배로 높였습니다.
  • ARLe: 고차원 조작 작업에서 뛰어난 성능을 보여주었습니다. puzzle-4x4-play-v0(83 차원) 에서 ARLe 는 88% 의 성공률을 달성하여 다음으로 좋은 벤치마크보다 39 퍼센트 포인트 더 높은 성과를 거두었습니다.
• 일반화: 분석 결과, 성능 향상은 상태 차원의 증가와 데이터 희소성과 상관관계가 있음을 보여주었습니다. 특히 ARLe 는 동등한 상대적 상태를 축소함으로써 훨씬 더 매끄러운 저수준 가치 함수를 학습했습니다.
• 견고성: 이 알고리즘들은 베이스라인 HIQL 에 맞게 조정된 하이퍼파라미터를 사용하여 이러한 결과를 달성했으며, 성능 이득이 광범위한 튜닝이 아닌 귀납적 편향에서 비롯되었음을 입증했습니다.

중요성과 주장

이 논문은 데이터셋이 낮은 품질의 전이로 고통받는 영역에서 계층 구조가 더 견고한 정책 추출을 가능하게 한다고 주장합니다. 절대 기준 프레임에서 추상화함으로써 에이전트는 유사한 문맥 전반에 걸쳐 최적의 경험을 재사용할 수 있으며, 이는 오프라인 데이터 커버리지의 한계를 효과적으로 완화합니다.

저자들은 이 작업을 서로 다른 계층 수준에서 고유한 표현이 오프라인 GCRL 에서 일반화를 향상시킬 수 있음을 보여주는 개념 증명 (proof of concept) 으로 위치시킵니다. 그들은 현재 결과가 유망하지만 이 접근 방식이 다음과 같은 향후 연구 방향을 열었다고 명시적으로 밝힙니다:

• 행동 청킹을 통한 상대적 옵션 학습.
• 기하학적 딥러닝 (GDL) 을 사용하여 더 유연한 귀납적 편향 통합.
• 귀납적 편향 (예: 병진 불변성) 이 환경 구조 (예: 밀집된 저차원 미로) 와 일치하지 않을 수 있는 한계 해결.

이 작업은 모든 오프라인 RL 과제를 해결한다고 주장하지는 않지만, 특정 구조적 편향 (상대화와 고유한 표현) 이 복잡한 하이퍼파라미터 튜닝 없이도 고차원 설정에서 정책 일반화를 크게 향상시킬 수 있음을 입증합니다.