기술적 요약: 마찰 Q-학습

1. 문제 제기

오프-폴리시 강화 학습 (RL) 은 학습된 정책이 리플레이 버퍼에서 약하게 지원되거나 존재하지 않는 행동을 선택할 때 **외삽 오류 (extrapolation errors)**를 겪습니다. 정책이 저장된 데이터의 분포 밖의 상태 - 행동 쌍을 질의할 때, 가치 추정이 부정확해져 정책 업데이트가 불안정해집니다. 배치 제약 Q-학습 (BCQ) 은 변분 오토인코더 (VAE) 를 통해 리플레이 버퍼의 지지 영역으로 정책을 제한함으로써 이를 완화하려 시도하지만, 기존 접근법들은 이론적 한계에 직면해 있습니다. 구체적으로, 배치 제약 방법에서의 외삽 오류 상수는 $(1-\gamma)^{-2}$에 비례하여 증가하는데, 이는 장기 과제 (할인 인자 $\gamma \to 1$) 의 경우 오류 상수가 과도하게 느슨해져 기대 수익의 심각한 과대 추정을 초래할 수 있음을 의미합니다.

2. 방법론: 마찰 Q-학습 (FQL)

저자들은 **정적 마찰 (static friction)**에 대한 유추에 기반한 기하학적 해석을 통해 외삽 오류를 해결하는 오프-폴리시 알고리즘인 **마찰 Q-학습 (FQL)**을 제안합니다.

2.1. 정적 마찰 유추

본 논문은 외삽 오류와 고전 역학의 정적 마찰 사이의 유사성을 제시합니다:

• 매니폴드 (Manifold): 리플레이 버퍼는 매끄러운 저차원 행동 매니폴드로 모델링됩니다.
• 접선 성분 vs 수직 성분: 리플레이 버퍼의 지지 영역 내의 행동은 관측된 데이터와 일관된 **접선 성분 (tangential components)**에 해당합니다. 이 지지 영역에서 벗어난 행동은 1 차적 이탈을 극대화하는 **수직 성분 (normal components)**에 해당합니다.
• 마찰 임계값: 정적 마찰이 임계값에 도달할 때까지 운동을 저항하듯, 외삽 오류는 정책 수렴에 대한 저항으로 작용합니다. "마찰"은 수직 방향으로 가장 강합니다. 안정성을 보장하기 위해 정책은 접선 방향과 정렬된 행동을 우선시하면서 수직 성분을 엄격히 피해야 합니다.

2.2. 행동 기하학 및 이방성

이 방법은 국소 행동 매니폴드에 대한 접선 및 수직 방향으로 행동 공간을 분해하는 데 의존합니다:

• 접선 공간 ($T_s M_B$): 재구성 충실도가 유지되는 방향 (지원된 행동) 을 포착합니다.
• 수직 공간 ($N_s M_B$): 1 차적 재구성 왜곡을 유발하는 방향 (지원되지 않은 행동) 을 포착합니다.
• 이방성 비율 ($\kappa$): 외삽 오류의 수직 및 접선 방향 리프시츠 상수 간의 비율로 정의됩니다 ($\kappa = g_n / g_t$). 안정성 조건은 정책 이탈 각도 $\theta$가 $\tan \theta \leq \lambda_{tol} / |\kappa|$를 만족해야 함을 요구하며, 이를 통해 가치 평가가 신뢰할 수 있는 영역 내에 정책이 머무르도록 보장합니다.

2.3. 알고리즘적 구현

FQL 은 이러한 기하학적 제약을 강제하기 위해 **대조적 변분 오토인코더 (cVAE)**를 사용합니다:

1. 수직 방향을 위한 정규 직교 기저: 수직 공간은 무한하므로, 알고리즘은 행동 벡터의 직교 보완 공간의 정규 직교 기저를 사용하여 결정론적인 수직 방향 집합을 구성합니다. 아핀 변환을 적용하여 행동 공간을 재중앙화함으로써, 이러한 기저 벡터가 실현 가능한 도메인 내에 있도록 합니다.
2. 대조 학습: cVAE($G_\zeta$) 는 두 가지 목적 함수로 훈련됩니다:
   • 타겟 데이터셋 ($D_t$): 리플레이 버퍼에서 지원된 행동을 재구성합니다.
   • 배경 데이터셋 ($D_b$): 수직 (지원되지 않은) 방향을 나타내는 "부정" 샘플로서 정규 직교 기저 벡터를 사용합니다.
   • 모델은 잠재 공간을 타겟 데이터에 고유한 **주요 요인 (salient factors, $\bar{s}$)**과 배경과 공유하는 **무관 요인 (irrelevant factors, $z$)**으로 분해합니다. 총 상관관계 (Total Correlation, TC) 패널티를 사용하여 이러한 요인들을 분리함으로써, 행동 생성 시 노이즈 구조 (수직 방향) 에 대해 디코더가 무감각하도록 보장합니다.
3. 정책 업데이트:
   • 크리틱은 디코더가 생성한 유한한 후보 집합을 평가합니다.
   • 추정된 Q-값이 가장 낮은 배경 샘플이 "가장 지원되지 않은" 행동을 나타내는 것으로 선택됩니다.
   • 정책은 생성된 후보들의 Q-값을 최대화하는 반면, cVAE 는 재구성 손실과 TC 패널티를 최소화합니다.

3. 주요 기여

• 배치 RL 의 기하학적 해석: 이 연구는 정적 마찰이라는 물리적 유추에 기반한 배치 RL 의 기하학적 해석을 최초로 도입하여, 행동 매니폴드 기하학과 외삽 오류 간의 관계를 형식화했습니다.
• 마찰 Q-학습 (FQL): cVAE 를 사용하여 지원된 (접선) 과 지원되지 않은 (수직) 행동 변형을 명시적으로 분리함으로써 느슨한 이론적 상수에 의존하지 않고 외삽 오류를 효과적으로 억제하는 새로운 오프-폴리시 알고리즘입니다.
• 안정성 조건: 이방성 비율 $\kappa$에 기반한 안정성 조건을 유도하여, 전역 리프시츠 상수보다 정책 이탈에 대해 더 엄격한 제약을 제공합니다.
• 정규 직교 기저 구성: 연속 행동 공간에서 대조 학습을 용이하게 하기 위해 직교 보완 공간의 정규 직교 기저를 사용하여 결정론적인 배경 샘플을 생성하는 방법을 제시했습니다.

4. 실험 결과

저자들은 MuJoCo 환경 스위트 (Hopper, HalfCheetah, Walker2d, Ant, Humanoid) 의 표준 연속 제어 벤치마크에서 FQL 을 평가했습니다.

• 베이스라인 대비 성능: FQL 은 오프-폴리시 베이스라인 (DDPG, TD3, SAC) 과 배치 제약 베이스라인 (BCQ) 에 비해 강력하고 안정적인 성능을 보여주었습니다. 특히 HalfCheetah 및 Humanoid 와 같은 고차원 작업에서 대부분의 환경에서 우수하거나 동등한 평균 수익을 달성했습니다.
• 모방 학습: 온라인 상호작용 없이 고정된 리플레이 버퍼에서만 학습하는 모방 학습 설정에서 FQL 은 BCQ 및 행동 정책보다 우수한 성능을 보였습니다. 이는 마찰 제약이 추가 데이터 없이도 지지 분포를 효과적으로 규제하고 유해한 외삽을 억제함을 시사합니다.
• 오프라인 RL: D4RL 벤치마크에서 FQL(행동 복제 목적 함수 사용) 은 HalfCheetah 와 Hopper 에서 암시적 Q-학습 (IQL) 과 유사한 성능을 보였으나, Walker2d 에서는 불안정성을 나타냈습니다.
• 애블레이션 연구: 총 상관관계 (TC) 패널티를 제거하거나 잠재 차원을 줄이면 성능이 일관되게 저하되어, 주요 요인과 무관 요인을 분리하고 충분한 표현 능력을 유지하는 것의 중요성을 확인했습니다.

5. 의의 및 주장

본 논문은 FQL 이 지원된 및 지원되지 않은 행동 변형의 명시적 비교를 통해 행동 매니폴드를 유도함으로써 연속 제어에 대한 실용적이고 확장 가능한 접근법을 제공한다고 주장합니다.

• 메커니즘: 정적 마찰을 모방함으로써, 알고리즘은 지원되지 않은 방향의 교란을 억제하면서 지원된 방향을 따른 정책 개선을 허용하는 안정화 메커니즘을 도입합니다.
• 일반성: 이 프레임워크의 이점은 보행 벤치마크를 넘어 조작 작업 (DMControl, MyoSuite) 으로도 일반화됨이 입증되었습니다.
• 한계: 저자들은 현재 프레임워크가 행동 공간과 잠재 매니폴드 간의 등거리성 (isometry) 을 명시적으로 강제하지 않으며, 설계에 의해 직교성을 보장하지도 않는다고 겸손하게 인정합니다. 관찰된 거의 직교성은 모델 구조의 발현적 성질일 뿐 형식적인 기하학적 보장이 아닙니다. 향후 연구는 이를 해결하기 위해 등거리 표현 학습 방법을 통합할 것을 제안합니다.

요약하자면, FQL 은 전통적인 배치 제약 방법들이 느슨한 오류 상수로 인해 어려움을 겪을 수 있는 상황에서 기하학적 제약을 활용하여 안정성을 달성함으로써, RL 에서의 분포 변화를 처리하는 새로운 관점을 제공합니다.