기술적 요약: 장기 오프라인 목표 조건 강화학습을 위한 적응적 거칠기에서 정밀기로의 하위 목표 정제

1. 문제 정의

오프라인 목표 조건 강화학습 (GCRL) 은 추가적인 환경 상호작용 없이 고정된 궤적 데이터셋에서 다양한 목표에 도달하는 정책을 학습하는 것을 목표로 합니다. 단기 작업에서는 효과적이지만, 장기 작업에서는 상당한 도전에 직면합니다.

주된 어려움은 장기 가치 추정에서 비롯됩니다. 희소한 목표 도달 보상 하에서 먼 상태 - 목표 쌍은 약한 직접적인 지도 신호를 제공합니다. 결과적으로 가치 함수는 많은 부트스트랩 업데이트를 통해 목표 정보를 전파해야 합니다. 시간적 거리가 증가함에 따라 근사 오차가 백업 체인을 따라 누적되어 먼 목표에 대한 부정확한 평가로 이어집니다. 이러한 노이즈가 있는 가치 추정치에 평탄한 목표 조건 정책을 직접 훈련하면 장기 의사결정이 신뢰할 수 없게 됩니다.

기존의 계층적 방법들은 중간 하위 목표를 도입하여 장기 도달을 일련의 단거리 결정으로 축소함으로써 이를 완화하려 시도합니다. 그러나 이러한 방법들은 종종 고정된 시간적 추상화(예: 고정된 하위 목표 시간 범위) 나 고정된 계층 깊이에 의존합니다. 이러한 고정된 규모는 도달 가능 시간 범위가 다양한 상태 - 목표 쌍과 자주 불일치합니다:

• 너무 국소적인 하위 목표는 미미한 진전만 가져올 수 있으며, 작은 가치 차이가 장기 추정 오차에 의해 지배되어 오해의 소지가 있는 선택으로 이어질 수 있습니다.
• 너무 먼 하위 목표는 하위 수준 정책의 신뢰할 수 있는 실행 범위를 벗어날 수 있습니다.

핵심 질문은 오프라인 계층적 에이전트가 지정된 분해 규모에 의존하는 대신, 각 특정 상태 - 목표 쌍에 대해 적합한 중간 목표를 적응적으로 식별할 수 있는지 여부입니다.

2. 방법론: CFHRL

저자들은 실행 전에 먼 목표를 적응적으로 정제하는 완전한 오프라인 GCRL 프레임워크인 **거칠기에서 정밀기로의 계층적 목표 강화학습 (CFHRL)**을 제안합니다. 이 프레임워크는 하위 목표가 정확한 중점이거나 전역적으로 최적일 필요는 없다는 원칙에 기반하며, 신뢰할 수 있는 진전을 제공하고 남은 도달 난이도를 줄이기만 하면 됩니다.

2.1 핵심 구성 요소

CFHRL 은 목표 조건 가치 함수에서 유도된 공유 도달 가능 비용 $D_\phi(s, g)$에 의해 조정되는 세 가지 학습된 정책을 활용합니다:

1. 정제 계획자 ($\pi_p$): 현재 상태 $s$와 현재 계획 목표 $g$에 조건부로 중간 목표 $u$를 제안합니다.
2. 추상화 정책 ($\pi_z$): 정제된 목표 $\bar{g}$를 로컬 명령 $z$로 매핑합니다.
3. 하위 수준 정책 ($\pi_a$): 명령 $z$를 원시 행동 $a$로 매핑합니다.

2.2 적응적 거칠기에서 정밀기로의 정제

고정된 계층 구조 대신 CFHRL 은 적응적 정지 규칙을 갖춘 재귀적 정제 과정을 사용합니다:

1. 초기화: 최종 목표 $g^{(0)} = g$로 시작합니다.
2. 실행 가능성 확인: 정제 수준 $\ell$에서 학습된 도달 가능 비용을 사용하여 현재 상태 $s$에서 현재 목표 $g^{(\ell)}$가 로컬로 실행 가능한지 확인합니다:
   $$D_\phi(s, g^{(\ell)}) \le \epsilon_{exec}$$
   여기서 $\epsilon_{exec}$는 임계값입니다.
3. 정제 루프: 조건이 충족되면 정제가 중단되고 $g^{(\ell)}$가 실행 모듈로 전달됩니다. 그렇지 않으면 계획자가 새로운 중간 목표 $u^{(\ell)} \sim \pi_p(\cdot | s, g^{(\ell)})$를 제안하며, 이는 다음 목표 $g^{(\ell+1)}$가 됩니다.
4. 종료: 목표가 로컬로 도달 가능하거나 최대 깊이 $K_{max}$에 도달할 때까지 이 과정이 반복됩니다.

이 메커니즘은 효과적인 분해 깊이가 고정된 시간적 규모가 아닌 각 상태 - 목표 쌍의 추정 도달 가능성에 의해 결정되도록 보장합니다.

2.3 정제 계획자의 오프라인 학습

계획자는 온라인 상호작용이나 수동으로 레이블이 지정된 하위 목표 없이 오프라인 데이터만으로 완전히 훈련됩니다:

• 후보 구성: 상태 $s_t$와 목표 $g$에 대해, 후보 하위 목표 집합 $\mathcal{C}_D$를 오프라인 데이터셋에서 샘플링합니다 ($g$가 동일한 궤적에 있으면 미래 상태, 그렇지 않으면 재생 분포에서).
• 점수 매기기: 후보들은 병목 도달 가능 비용으로 점수를 매깁니다:
  $$C_\phi(\tilde{s}_i | s_t, g) = \max\{D_\phi(s_t, \tilde{s}_i), D_\phi(\tilde{s}_i, g)\}$$
  이 지표는 최대 잔여 시간 범위를 축소하는 후보를 선호합니다.
• 훈련 목적: 계획자는 가치 유도 가중 모방을 통해 훈련됩니다. 후보들은 음수 점수에 대한 소프트맥스로 가중치를 부여받아, 계획자가 문제를 더 쉬운 잔여 도달 문제로 분해하는 재생 지원 하위 목표를 모방하도록 장려합니다.

2.4 실행 정책

추상화 및 하위 수준 정책은 단거리 구간에서 진행 가중 행동 복제를 사용하여 훈련됩니다. 로컬 목표 방향으로 학습된 가치를 증가시키는 전이는 더 높은 모방 가중치를 부여받아, 정책이 로컬로 진전되는 행동을 편향되도록 합니다.

3. 이론적 분석

이 논문은 노이즈가 있는 추정치 하에서 적응적 정제가 고정된 로컬 규모 선택보다 더 강건한 이유를 정당화하기 위해 스타일화된 분석을 제공합니다:

• 고정 규모 실패: 고정된 로컬 규모 계층 구조에서 총 시간 범위 $T$가 증가함에 따라 올바른 로컬 이동과 잘못된 로컬 이동을 구별하는 신호 대 잡음비가 사라집니다. $T \to \infty$로 갈 때 잘못된 후보를 선택할 확률은 0.5 에 접근합니다.
• 근사적 축소 충분성: 분석은 정확한 중점 예측이 불필요함을 보여줍니다. 학습된 비용이 시간 범위를 축소하는 후보들 (잔여 거리를 상수 인자 $\rho < 1$만큼 감소) 과 축소하지 않는 후보들 사이에 거친 마진을 유지하는 것으로 충분합니다.
• 오차 한계: 전체 실패 확률은 정제 실패 (축소하는 하위 목표를 선택하지 못함) 와 최종 로컬 실행 오차의 합으로 제한됩니다. 이는 목표가 너무 멀 때 정제하고, 목표가 로컬로 실행 가능하다고 추정되면 중단하는 가치 임계값 정지 규칙을 동기화합니다.

4. 실험 결과

저자들은 오프라인 목표 조건 제어를 위한 벤치마크인 OGBench에서 CFHRL 을 평가했으며, 이는 이동 (PointMaze, AntMaze, HumanoidMaze, AntSoccer) 과 조작 (Cube, Scene) 작업을 포함합니다.

• 성능: CFHRL 은 HIQL(23.2), GCIVL(16.5), 평탄한 방법들과 같은 베이스라인에 비해 가장 높은 집계 점수 (37.5) 를 달성했습니다.
• 장기 이득: 가장 큰 개선은 장기 미로 스타일 작업 (예: PointMaze-Giant-Stitch) 에서 관찰되었으며, CFHRL 은 평탄/고정 계층 베이스라인의 0% 성공률을 57% 로 향상시켰습니다.
• 애블레이션 연구:
  • 적응적 정지: 적응적 정지 규칙을 제거하고 고정된 정제 깊이 ($K=2, 3$) 를 강제하면 성능이 저하되어 과도한 정제가 계획자 오차를 누적함을 확인했습니다.
  • 계획자 필요성: 학습된 계획자를 무작위 데이터셋 하위 목표로 대체하면 실패하므로, 하위 목표는 학습된 도달 가능 비용을 기반으로 선택되어야 함을 증명합니다.
  • 후보 예산: 훈련 후보 수 ($N_c$) 를 증가시키면 $N_c=16$까지 성능이 향상되어 지도 품질과 훈련 처리량을 균형 있게 맞춥니다.
• 한계: CFHRL 은 정밀한 접촉 역학이 필요한 작업에 대해 웨이포인트와 같은 분해가 덜 효과적임을 시사하는 접촉이 풍부한 조작 작업 (Cube) 에서는 평탄한 가치 기반 방법보다 성능이 떨어집니다.

5. 중요성 및 주장

이 논문은 세 가지 주요 기여를 주장합니다:

1. 형식화: 장기 오프라인 GCRL 을 적응적 정지 시간 하위 목표 정제로 형식화하여, 분해 깊이가 고정된 시간 범위가 아닌 학습된 실행 가능성에 의해 결정되도록 합니다.
2. 알고리즘: 테스트 시간 그래프 검색이나 온라인 상호작용 없이 감가상각 정제 계획자를 훈련하는 재생 지원 축소 목적함수를 도입합니다.
3. 검증: 스타일화된 분석과 경험적 애블레이션을 통해 근사적 축소와 적응적 정지가 미로 스타일 환경에서 장기 목표 도달을 효과적으로 개선함을 입증합니다.

저자들은 겸손한 입장을 견지하며, 이 방법이 학습된 도달 가능 비용의 품질에 의존하며 현재 추상화 인터페이스 (단순한 로컬 목표 표현) 는 정밀한 접촉 시퀀스가 필요한 복잡한 조작 작업에는 불충분할 수 있음을 인정합니다. 향후 작업은 적응적 계획과 더 풍부한 객체 중심 추상화를 결합하고, 프레임워크를 다른 오프라인 GCRL 가치 추정기로 확장하는 데 초점을 맞춰야 한다고 제안합니다.