SAVGO: Learning State-Action Value Geometry with Cosine Similarity for Continuous Control

다음은 "SAVGO: Learning State–Action Value Geometry with Cosine Similarity for Continuous Control" 논문에 대한 상세한 기술적 요약입니다.

1. 문제 제기

심층 강화 학습 (RL), 특히 SAC 와 TD3 와 같은 오프-폴리시 액터-크리틱 방법은 연속 제어에서 성공을 거두었으나, 고차원 환경에서 샘플 비효율성과 불안정성에 의해 제한을 받고 있습니다.

• 현재의 한계: 표현 학습 (예: 대비 학습) 이 데이터 효율성을 향상시켰지만, 이는 일반적으로 보조 작업으로 취급됩니다. 정책 업데이트 단계는 일반적으로 학습된 잠재 공간의 전역 기하학적 구조를 무시하는 국소적 경사 하강법에 의존합니다.
• 격차: 기존 유사도 기반 방법들은 표현을 정규화하거나 가치 목표를 형성하기 위해 거리를 사용하는 경우가 많지만, 이러한 기하학적 관계를 행동 공간에서 정책을 직접 안내하는 **1 급 연산자 (first-class operators)**로 사용하는 경우는 드뭅니다. 결과적으로 정책 개선은 국소적으로 머무르며 전역 가치 지형에 의해 약하게만 영향을 받습니다.

2. 방법론: SAVGO

저자들은 가치 기반 유사도를 정책 업데이트 메커니즘에 명시적으로 통합하는 기하학적 인식 오프-폴리시 액터-크리틱 알고리즘인 **상태 - 행동 가치 기하 최적화 (SAVGO)**를 제안합니다.

A. 가치 인식 상태 - 행동 기하 학습

SAVGO 는 상태 - 행동 쌍 $(s, a)$에 대한 결합 임베딩 공간을 학습하며, 여기서 기하학적 거리 (특히 코사인 유사도) 는 기대 효용 (Q 값) 의 유사성을 반영합니다.

• 인코더: 신경망 $z_\psi(s, a)$가 상태 - 행동 쌍을 $d$차원 임베딩 공간으로 매핑합니다.
• 목표 구성: 임의의 상태 - 행동 튜플 쌍 $(s_i, a_i)$와 $(s_j, a_j)$에 대해, 그들의 Q 값 차이를 기반으로 정규화된 가치 간격 $\Delta_{i,j}$를 계산합니다.
• 곡률 매핑: 이 가치 간격은 경계 곡률 변환을 사용하여 목표 코사인 유사도 $Y_{i,j}$로 매핑됩니다:
  $$Y_{i,j} = 1 - 2(\Delta_{i,j})^\lambda$$
  여기서 $\lambda$는 민감도를 조절합니다. 작은 간격 (유사한 값) 은 높은 유사도 ($\approx 1$) 로 매핑되고, 큰 간격은 낮거나 음의 유사도로 매핑됩니다.
• 손실 함수: 인코더는 임베딩의 예측 코사인 유사도와 목표 $Y_{i,j}$ 사이의 회귀 손실을 최소화하도록 훈련됩니다. 이는 임베딩 공간이 유사한 값을 가진 행동들이 단위 초구면 (unit hypersphere) 위에서 군집하도록 조직화되도록 강제합니다.

B. 기하 인식 정책 개선

SAVGO 는 표준 점별 경사 업데이트 대신 후보 행동들에 대한 유사도 가중 집계를 수행합니다.

1. 샘플링: 주어진 상태 $s_t$에 대해 현재 정책에서 "앵커" 행동 $\hat{a}_t$를 샘플링합니다. additionally, 제안 분포에서 $K$개의 후보 행동 $\{a^k_t\}$를 샘플링합니다.
2. 임베딩 및 점수 매기기: 앵커와 후보 모두 $z_\psi$를 통해 임베딩됩니다. 후보들은 보수적인 크리틱 추정치 ($\min Q$) 를 사용하여 점수가 매겨집니다.
3. 커널 가중치: 앵커 임베딩과 후보 임베딩 간의 코사인 유사도는 온도 조절 소프트맥스를 사용하여 확률 분포 (유사도 커널) 로 변환됩니다:
   $$w_k = (1-\epsilon)\frac{\exp(\cos(\hat{\zeta}_t, \zeta^k_t)/\rho)}{\sum \exp(\dots)} + \frac{\epsilon}{K}$$
   이는 가치 인식 공간에서 앵커와의 기하학적 근접성에 기반하여 각 후보에 대한 가중치 $w_k$를 생성합니다.
4. 집계 업데이트: 정책은 유사도 가중 가치 추정치를 최대화하도록 업데이트됩니다:
   $$\hat{Q}(s_t, \hat{a}_t) = \sum_{k=1}^K w_k Q(s_t, a^k_t)$$
   이를 통해 정책은 원시 행동 공간에서 즉시 인접하지 않을 수 있지만 학습된 가치 기하학에서 "가까운" 고가치 영역으로 끌어당겨질 수 있습니다.

3. 주요 기여

1. 통합 목적 함수: 표현 학습, 가치 추정, 정책 최적화를 단일 기하 일관성 목적 함수로 통합하는 SAVGO 를 제안하여, 표현 학습을 단순한 정규화제로 취급하는 것을 넘어섰습니다.
2. 새로운 정책 연산자: 학습된 코사인 유사도를 사용하여 후보 행동에 가중치를 부여하는 기하 인식 정책 개선 연산자를 유도하여, 국소적 경사뿐만 아니라 전역 가치 구조에 의해 안내되는 정책 업데이트를 가능하게 했습니다.
3. 실증적 검증: MuJoCo 벤치마크, 특히 고차원 작업에서 강력한 기준선 (SAC, TD3, TQC, PPO) 대비 일관된 개선을 입증했습니다.

4. 실험 결과

이 방법은 고정된 100 만 단계의 환경 예산으로 MuJoCo v5 연속 제어 스위트에서 평가되었습니다.

• 성능: SAVGO 는 스위트 전반에 걸쳐 최고의 총 보상을 달성했으며, 특히 도전적인 고차원 작업에서 가장 큰 개선을 보였습니다:
  • Humanoid: SAVGO(7687) 는 TQC(6330) 와 SAC(5351) 를 크게 능가했습니다.
  • Walker2d: SAVGO(5626) 는 TQC(4952) 와 SAC(4693) 를 능가했습니다.
  • Ant & HalfCheetah: 분산이 감소하면서 경쟁력 있거나 우수한 성능을 보였습니다.
• 샘플 효율성: SAVGO 는 기준선 대비 초기 학습 속도가 더 빠르고 수렴이 더 매끄러운 것을 보여주었습니다.
• 절차 제거 연구 (Ablation Studies):
  • 곡률 ($\lambda$): 1.0–1.5 사이의 값이 안정성과 성능 사이의 최적 균형을 제공했습니다.
  • 후보 수 ($K$): 중간 정도의 값 (예: Humanoid 의 경우 $K=128$) 이 최적의 결과를 낳았습니다; 후보가 너무 적으면 분산이 증가하고, 너무 많으면 체감 수익이 감소했습니다.
  • 구성 요소 필요성: 적응형 온도, 표현 손실 (인코더 고정), 또는 적응형 가치 스케일링을 제거하면 모두 성능이 크게 저하되었습니다. 유사도 커널을 균일한 가중치로 대체하면 알고리즘이 붕괴되어 기하 인식 가중치의 필요성을 입증했습니다.

5. 의의 및 한계

의의:

• 격차 해소: SAVGO 는 표현 학습과 정책 최적화 간의 격차를 성공적으로 해소하여, 잠재 공간의 기하학이 의사 결정을 개선하는 데 직접 활용될 수 있음을 보여주었습니다.
• 강건성: 가치 - 유사도로 가중된 여러 후보에 대해 집계함으로써, 이 방법은 표준 경사 기반 업데이트보다 크리틱 노이즈와 국소 최소값에 더 강건합니다.
• 확장성: 이 방법은 관리 가능한 계산 오버헤드 ($K$에 선형) 를 추가하면서도 오프-폴리시 액터-크리틱 방법의 확장성을 유지합니다.

한계:

• 계산 비용: 이 방법은 상태당 $K$개의 후보를 평가해야 하므로 표준 SAC/TD3 보다 느립니다 (실험에서 100 만 단계당 약 8 시간 대 2 시간).
• 크리틱 의존성: 이 방법은 크리틱이 합리적으로 일관된 순위 매기기를 제공한다고 가정합니다. 심각한 크리틱 노이즈는 유사도 가중치를 불안정하게 만들 수 있습니다.
• 이산 행동: 연속적인 후보 제안과 상태 - 행동 기하학을 정의하는 것이 불연속 행동의 경우 어렵기 때문에, 이를 아타리 (Atari) 와 같은 이산 행동 공간으로 확장하는 것은 자명하지 않습니다.

결론적으로, SAVGO 는 가치 함수의 "형태"를 정책 개선의 직접적인 동인으로 만들어 복잡한 고차원 환경에서 우수한 성능을 이끌어냄으로써 연속 제어 분야에서 중요한 진전을 이루었습니다.