기술적 요약: 오프라인 목표 조건 강화 학습을 위한 잠재 표현 정렬

1. 문제 정의

오프라인 목표 조건 강화 학습 (GCRL) 은 추가적인 환경 상호작용 없이 고정된 사전 수집 데이터를 사용하여 임의의 목표에 도달하는 정책을 학습하는 것을 목표로 합니다. 유망한 접근법이지만, 장기 과제에서 신뢰할 수 있는 목표 조건 가치 함수를 학습하는 것은 여전히 중요한 과제로 남아 있습니다. 본 연구에서 식별된 주요 병목 현상은 목표 조건 가치 함수의 오류 일반화입니다.

표준 가치 함수, 특히 다층 퍼셉트론 (MLP) 으로 매개변수화된 가치 함수는 상태 공간의 유클리드 근접성에 기반하여 일반화하는 경향이 있으며, 시간적 거리에 기반하지는 않습니다. 장애물이 있는 환경 (예: 미로) 이나 희소 보상이 있는 환경에서 이는 "가치 누출"을 초래합니다. 즉, 물리적으로는 목표에 가깝지만 장애물이나 복잡한 역학으로 인해 시간적으로 멀리 떨어진 상태에 오류로 높은 가치가 부여되는 현상입니다. 이로 인해 노이즈가 많은 가치 추정과 취약한 제어 정책이 발생합니다. 또한, 준거리 (quasimetric) 아키텍처 (예: IQE, MRN) 를 통해 이를 해결하려는 기존 방법들은 종종 서로 다른 도메인에서 일관되지 않은 성능 (예: 미로 탐색에서는 잘 작동하지만 로봇 조작에서는 실패) 을 보이거나 학습 불안정성을 초래합니다.

2. 방법론: 잠재 정렬 가치 학습 (LAVL)

저자들은 새로운 가치 함수 아키텍처와 계층적 계획 프레임워크를 통합한 오프라인 GCRL 알고리즘인 **잠재 정렬 가치 학습 (LAVL)**을 제안합니다.

2.1. 잠재 정렬 네트워크 (LAN)

핵심 혁신은 가치 일반화에 적합한 귀납적 편향을 강제하도록 설계된 가치 함수 아키텍처인 **잠재 정렬 네트워크 (LAN)**입니다.

• 아키텍처: 표준 MLP 나 엄격한 준거리 모델과 달리, LAN 은 상태와 목표의 학습된 잠재 표현 간의 음의 유클리드 거리로 목표 조건 가치 $V(s, g)$를 매개변수화합니다:
  $$V(s, g) = -\|\phi_S(s) - \phi_G(g)\|^2$$
  여기서 $\phi_S: \mathcal{S} \to \mathbb{R}^d$와 $\phi_G: \mathcal{G} \to \mathbb{R}^d$는 비대칭 상태 및 목표 표현 네트워크입니다.
• 메커니즘: 엄격한 거리 구조를 깨뜨림으로써 ($\phi_S \neq \phi_G$ 허용), LAN 은 가치 함수가 원시 유클리드 상태 근접성이 아닌 학습된 잠재 공간의 기하학에 기반하여 일반화할 수 있는 유연성을 도입합니다. 이는 장애물을 통과하여 가치가 전파되는 "과도 일반화" 문제를 완화합니다.
• 장점: LAN 은 엄격한 준거리 제약 (IQE 등) 과 관련된 학습 불안정성 및 도메인별 성능 저하를 피하면서도 정확한 시간적 거리 추정에 필요한 구조적 편향을 유지합니다.

2.2. 연속성 정규화를 통한 가치 학습

장기 설정에서 학습을 안정화하기 위해 LAVL 은 표준 암시적 가치 학습 (IVL) 목적 함수에 국소 연속성 정규화 항을 추가합니다.

• 목적: 전체 손실은 시간차 (TD) 목적 함수 ($L_{TD}$) 와 인접 상태 간의 가치 함수에서 급격한 국소 변동을 패널티로 부과하는 정규화 항 ($L_{Reg}$) 을 결합합니다:
  $$L(V) = L_{TD}(V) + w_c L_{Reg}(V)$$
• 기능: $L_{Reg}$는 글로벌 벨만 일관성을 훼손하지 않으면서 가치 지형의 고주파 노이즈를 억제하여 장기 동안 희소 보상이 안정적으로 전파되도록 보장합니다.

2.3. 계층적 정책 프레임워크

LAVL 은 HIQL 과 유사한 계층적 정책 프레임워크를 채택하며, 다음과 같이 구성됩니다:

• 고수준 정책 ($\pi_h$): 현재 상태 $s$와 최종 목표 $g$에 조건부로 하위 목표 표현 $w$를 생성합니다. LAVL 에서 하위 목표는 목표 전용 매핑 $w = \phi(g)$로 정의되어 LAN 매개변수화와 자연스럽게 정렬됩니다.
• 저수준 정책 ($\pi_l$): 상태 $s$와 하위 목표 $w$에 조건부로 동작을 출력합니다.
• 학습: 두 정책 모두 LAN 이 제공하는 안정적인 가치 추정을 활용하여 이점 가중 회귀 (AWR) 를 사용하여 학습됩니다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 제시합니다:

1. 오류 일반화의 식별: 저자들은 오프라인 GCRL 의 장기 과제 실패가 근본적으로 가치 함수가 시간적 거리 대신 유클리드 근접성을 통해 일반화함으로써 발생한다고 식별합니다. 그들은 학습 목적 함수 자체보다는 가치 함수 아키텍처의 귀납적 편향이 이를 해결하는 결정적 요소임을 입증합니다.
2. LAVL 제안: 그들은 신뢰할 수 있는 가치 일반화를 위한 잠재 정렬 네트워크 (LAN), 안정적인 학습을 위한 연속성 정규화, 장기 과제를 위한 계층적 정책을 통합한 통합 프레임워크인 LAVL 을 소개합니다.
3. 경험적 우위: OGBench 벤치마크에 대한 광범위한 실험은 LAVL 이 기존 최첨단 오프라인 GCRL 방법들보다 일관되게 우수한 성능을 보임을 입증합니다.

4. 실험 결과

저자들은 OGBench 의 22 개 데이터셋 (미로 탐색 (Point, Ant, Humanoid) 및 로봇 조작 (Cube, Scene) 작업 포함) 에서 LAVL 을 평가했으며, 다양한 시간 범위와 데이터 수집 전략 (탐색 대 스티치) 을 포함했습니다.

• 전체 성능: LAVL 은 22 개 데이터셋 중 20 개에서 최고 성능을 달성하여 GCIVL, QRL, HIQL, CGCIVL 과 같은 베이스라인을 크게 능가했습니다.
• 장기 안정성: "거대" 미로 환경에서 LAVL 은 중간 크기 미로 대비 상대적 감소폭이 9.6% 에 불과한 85% 의 성공률을 유지했습니다. 반면, HIQL 과 QRL 과 같은 베이스라인은 치명적인 성능 저하 (각각 75.4% 와 61.7% 의 상대적 감소) 를 겪었습니다.
• 궤적 스티칭: 짧은 파편화된 궤적으로 구성된 "스티치" 데이터셋에서 LAVL 은 탐색 데이터셋 대비 최소한의 성능 저하 (1.1%) 를 보인 반면, 다른 방법들은 크게 저하되었습니다 (예: HIQL 의 경우 36.9% 감소).
• 로봇 조작: 조작 작업에서 실패한 준거리 방법 (예: QRL) 과는 달리, LAVL 은 높은 성공률 (예: Scene-play 에서 88%) 을 달성하여 다양한 도메인에서 LAN 의 견고성을 입증했습니다.
• 결손 연구: 실험은 다음을 확인했습니다:
  • LAN 은 동일한 계층적 프레임워크 내에서 준거리 아키텍처 (IQE, MRN) 및 거리 기반 접근법 (Hilbert) 보다 우수한 성능을 발휘합니다.
  • LAN 과 계층적 정책의 결합은 평면 정책 단독 또는 평면 정책과 LAN 만을 사용하는 경우보다 우수한 결과를 제공합니다.
  • 연속성 정규화는 까다로운 작업에서 상당한 개선을 제공합니다 (예: 일부 구성에서 Pointmaze-giant-stitch 의 성공률을 35% 에서 95% 로 증가).

5. 중요성 및 주장

본 논문은 가치 일반화의 근본적인 병목 현상을 해결함으로써 LAVL 이 오프라인 GCRL 에서 중요한 진전을 나타낸다고 주장합니다.

• 아키텍처 통찰: 이 작업은 신뢰할 수 있는 일반화를 달성하기 위해 학습 목적 함수보다 가치 함수 아키텍처의 선택이 더 중요함을 강조합니다. 최적의 가치 함수는 준거리적이지만, 학습 중에 엄격한 준거리 제약을 부과하는 것은 지나치게 제한적일 수 있다고 주장합니다. 대신 학습된 잠재 정렬이 더 효과적인 귀납적 편향을 제공합니다.
• 통합 프레임워크: LAVL 은 효과적인 일반화, 안정적인 가치 학습, 계층적 계획을 성공적으로 통합하여 장기 추론과 궤적 스티칭이 필요한 작업에서 견고한 성능을 가능하게 합니다.
• 실용적 영향: 이 방법은 광범위한 하이퍼파라미터 튜닝이나 오라클 표현을 요구하지 않고 최첨단 결과를 달성하여 복잡한 오프라인 의사 결정 문제에 대한 실용적인 해결책을 제공합니다.

저자들은 그들의 작업이 가치 학습과 계층적 추출에 초점을 맞추고 있지만, 아키텍처적 귀납적 편향에 대한 발견은 더 넓은 가치 기반 RL 알고리즘으로 확장될 수 있으며, 향후 작업은 이러한 방법을 고차원의 실제 세계 로봇 제어로 확장하는 것을 탐구할 수 있다고 결론지었습니다.