기술 요약: 소프트 브리지 정책을 활용한 생성적 액터-크리틱

문제 정의

최대 엔트로피 (MaxEnt) 온라인 강화 학습 (RL) 은 오프-폴리시 연속 제어에서 가치 최대화와 명시적 확률성을 균형 있게 조절하는 지배적인 접근법입니다. 표준 소프트 액터-크리틱 (SAC) 은 계산 가능한 가우시안 정책에 의존하지만, 복잡한 제어 문제는 종종 다중 모드 또는 매우 비가우시안인 행동 분포를 요구합니다. 표현력이 풍부한 생성 정책 (예: 확산 및 흐름 모델) 은 해결책을 제시하지만, MaxEnt RL 에 적용될 때 두 가지 치명적인 장애물에 직면합니다:

1. 계산 불가능한 엔트로피: MaxEnt 업데이트는 정책의 종단 밀도 또는 이에 상응하는 정규화항을 필요로 합니다. 생성적 액터의 경우, 행동이 잠재 경로에 대해 마진화되어 얻어지기 때문에 주변 행동 밀도는 종종 구할 수 없거나 계산 비용이 매우 높습니다. 기존 방법들은 엔트로피 상한, 휴리스틱 대리 변수, 또는 근사법에 의존하여 MaxEnt 목적 함수와의 간접적인 연결만 형성합니다.
2. 계산 비용: 고성능 생성 정책은 종종 공유 네트워크 매개변수를 재사용하는 반복적 샘플러 (예: 많은 디노이징 단계를 거치는 확산) 를 사용합니다. 이는 배포 시 추론 비용을 높일 뿐만 아니라, 결정적으로 훈련 비용을 증가시킵니다. 액터 업데이트 중에는 시간 역전파 (BPTT) 가 모든 정제 단계를 통과해야 하므로 메모리 사용량이 증가하고 최적화가 불안정해집니다. 함수 평가 횟수 (NFE) 를 줄이면 비용은 낮아지지만 종종 성능이 급격히 저하됩니다.

본 논문은 확률적 잠재 생성의 표현력을 유지하면서도 계산 가능한 MaxEnt 목적 함수를 노출하고, 긴 공유 매개변수 샘플러의 계산 부담을 피하는 생성적 액터를 모색합니다.

방법론: SoftGAC

저자들은 SoftGAC(Soft Generative Actor-Critic) 를 제안합니다. 이는 MaxEnt 목적 함수를 최종 행동 분포에서 전체 잠재 생성 경로로 확장하는 방법입니다.

1. 경로 공간 소프트 목적 함수

최종 행동 $a$의 엔트로피를 최적화하는 대신, SoftGAC 는 잠재 궤적 $\tau = (z_0, \dots, z_K)$에 대한 경로 공간 목적 함수를 최적화합니다. 목적 함수는 다음과 같이 정의됩니다:
$$J_{path}(P_\theta | s) = \mathbb{E}_{\tau \sim P_\theta} [Q(s, T(z_K))] - \alpha D_{KL}(P_\theta(\cdot|s) \| R)$$
여기서 $R$은 고엔트로피 참조 경로 법칙입니다.

• 이론적 기초: 저자들은 경로 KL 발산이 종단 KL 항 (표준 MaxEnt 정규화항을 복원) 과 조건부 경로 항으로 분해됨을 증명합니다. 이 경로별 상대 엔트로피는 행동 자체의 분포뿐만 아니라 액터가 최종 행동에 도달하는 방식을 통제하는 더 엄격한 정규화항으로 작용합니다.
• 고정 기반 제약: 실제로 액터는 고정된 기반 잠재 분포 $p_0$에서 시작합니다. 이론적 분석에 따르면, 고정된 기반은 제한되지 않은 최적값에 비해 일정한 간극을 도입하지만, 변분 문제를 깨뜨리지는 않으며 단순히 귀납적 편향으로 작용합니다.

2. 소프트 브리지 정책

경로 KL 을 계산 가능하고 계산 효율적으로 만들기 위해 SoftGAC 는 소프트 브리지 정책을 사용합니다:

• 아키텍처: 액터는 pre-tanh 잠재 공간의 유한 마르코프 체인입니다. 고정된 기반 법칙 (로지스틱 분포) 에서 시작하여 $K$개의 경량화된 단계별 가우시안 잔차 전이를 적용하여 최종 잠재 $z_K$에 도달합니다.
• 단일 통과 설계: $K$단계 동안 단일 네트워크를 재사용하는 확산 모델과 달리, SoftGAC 는 $K$개의 서로 다른 전이 블록을 사용합니다. 이는 반복적 샘플링과 긴 BPTT 그래프를 피하면서 네트워크를 통한 단일 샘플링 순방향 통과로 행동을 생성할 수 있게 합니다.
• 참조 과정: 참조 브리지 $R$은 균일 행동 분포로 매핑되는 pre-tanh 밀도의 점수에서 유도된 오일러 가우시안 커널과 로지스틱 기반을 사용하여 정의됩니다.
• 계산 가능한 정규화항: 액터와 참조 전이 모두 가우시안이므로, 경로 KL 발산은 로컬 KL 항의 합으로 인수분해됩니다. 이 합은 제어 에너지 $C_\theta(s, \tau)$로 표기되며, 해석적으로 계산 가능합니다.
  $$D_{KL}(P_\theta \| R) = D_{KL}(p_0 \| r_0) + \mathbb{E}[C_\theta(s, \tau)]$$
  액터 업데이트는 $\alpha C_\theta(s, \tau) - Q(s, a)$를 최소화하여 샘플링된 전이 제어 에너지와 가치 사이의 균형을 맞춥니다.

3. 훈련 알고리즘

SoftGAC 는 오프-폴리시 액터-크리틱 루프를 따릅니다:

• 크리틱: 다음 상태 경로의 샘플링된 제어 에너지를 포함한 타겟을 사용하여 소프트 가치 함수 $Q$를 업데이트합니다: $y = r + \gamma(Q_{min}(s', a') - \alpha C_{\bar{\theta}}(s', \tau'))$.
• 액터: 샘플링된 제어 에너지를 최소화하면서 Q-가치를 최대화하도록 매개변수를 업데이트합니다.
• 온도 튜닝: 이중 업데이트는 평균 제어 에너지를 목표 예산 $\rho_{ctrl} K d_a$ 근처로 유지하도록 $\alpha$를 조정합니다.

주요 기여

1. 경로 공간 공식화: 저자들은 생성적 액터를 위한 경로 공간 소프트 목적 함수를 수립하여, 그것이 종단 KL 정규화항을 주변 구성 요소로 포함하고 고정된 액터 기반 사용의 효과를 특성화함을 입증했습니다.
2. 소프트 브리지 정책 설계: pre-tanh 공간에서 짧은 국소 가우시안 전이 시퀀스를 사용하는 특정 정책 아키텍처를 설계했습니다. 이는 경로별 정규화항을 유한 단계 제어 에너지로 정확하게 계산 가능하게 하여, 단일 샘플링 통과를 통한 행동 생성으로 직접적인 액터 업데이트를 가능하게 합니다.
3. 계산 - 수익 트레이드오프: 실험은 SoftGAC 가 강력한 생성적 베이스라인 (확산 및 흐름 매칭) 과 비교하여 더 높거나 경쟁력 있는 수익을 달성하면서도 일회 통과 액터의 저지연 영역을 유지함을 보여줍니다.

실험 결과

이 방법은 DeepMind Control Suite(Humanoid, Dog) 와 HumanoidBench(H1) 의 까다로운 연속 제어 벤치마크에서 평가되었습니다.

• 성능: SoftGAC 는 고차원, 장기 지향 보행 작업 (예: Humanoid Run, Dog Run, H1 Hurdle) 에서 전체적으로 가장 강력한 성능을 달성하여, 생성적 베이스라인 (FLAC, DIME, FlowRL, QSM, QVPO) 과 단모드 가우시안 베이스라인 (CrossQ-SAC) 모두를 능가했습니다.
• 효율성:
  • 추론 시간: SoftGAC 는 저지연 영역 (CPU 기준 행동당 약 61–75 $\mu$s) 에서 작동하며, 이는 1 단계 흐름 베이스라인과 비교 가능하며, 고 NFE 확산 베이스라인 (300–400+ $\mu$s 소요) 보다 훨씬 빠릅니다.
  • 매개변수 예산: 액터 매개변수 수는 강력한 베이스라인과 비교 가능하며, 반복적 샘플링의 비용을 숨기기 위해 더 큰 네트워크가 필요하지 않습니다.
• 절제 실험: 소프트 경로 공간 정규화항을 제거 ($\alpha=0$) 하면 성능이 일관되게 저하되어, 성취된 이득이 단순한 브리지 매개변수화가 아닌 원칙적인 소프트 목적 함수에서 비롯됨을 확인했습니다.

중요성과 주장

본 논문은 SoftGAC 가 생성적 정책의 표현력과 MaxEnt RL 의 계산/최적화 제약 사이의 긴장을 해결한다고 주장합니다. 액터를 종단 분포가 아닌 경량화된 명시적 경로 법칙으로 취급함으로써, 이 방법은 다음과 같은 이점을 제공합니다:

• 휴리스틱 엔트로피 상한을 대체하는 원칙적인 소프트 정규화(샘플링된 전이 제어 에너지) 를 제공하며, 이는 해석적으로 계산 가능합니다.
• 반복적 샘플러와 관련된 긴 BPTT 체인의 최적화 부담을 피하여 액터 업데이트를 안정화합니다.
• 다단계 확산 샘플러의 높은 추론 지연 없이 어려운 작업에서 최첨단 수익을 달성하는 우수한 계산 - 수익 트레이드오프를 제공합니다.

저자들은 소프트 브리지 정책이 온라인 RL 환경에서 반복적 확산 접근법에 대한 실현 가능한 대안을 제공하는 효율적인 생성적 액터-크리틱 학습을 위한 실용적인 설계라고 결론지었습니다.