기술 요약: 설명 가능한 강화 학습을 위한 SHAP 가이드 커널 액터-크리틱 (SHAP-Guided Kernel Actor-Critic)

1. 문제 정의

액터-크리틱(Actor-Critic, AC) 방법론은 강화 학습의 기초가 되지만 해석 가능성이 제한적이라는 단점이 있다. 표준 AC 구조는 상태 특징들을 동등하게 취급하며, 개별 상태 차원이 보상에 미치는 이질적인 영향을 밝혀내지 못한다. 기존의 설명 가능한 강화 학습(Explainable RL, XRL) 방법들이 존재하지만, 이들은 주로 학습된 정책을 분석하는 사후적(post-hoc) 방식이거나, 의사결정 나무 또는 심볼릭 정책과 같이 거친 입도(coarse-grained)를 가진 내재적(intrinsic) 방식이다. 결정적으로, 학습 루프에 직접 통합되어 정책 업데이트를 유도할 수 있는 **차원 수준의 기여도(dimension-level attributions)**를 제공하는 방법은 거의 없다.

또한, 기여도 메커니즘을 AC에 통합하는 데에는 두 가지 근본적인 과제가 따른다:

1. 기여도의 신뢰성: 기여도를 사용하여 크리틱의 함수 형태를 수정하는 것은 호환 가능한 함수 근사(compatible function approximation)를 위반하고, 밑에 깔린 커널 딕셔너리가 진화할 때 벨만 연산자의 수축 성질(contraction properties)을 저해할 수 있다.
2. 최적화 안정성: RL 상태는 종종 노이즈, 확률적 역학, 분포 변화에 의해 교란된다. 기여도 민감형 방법은 적절히 규제되지 않으면 가짜 상관관계(spurious correlations)에 취ญ약하며, 기여도 값의 불안정성은 근사 오차를 증폭시키고 취약한 학습 역학을 초래할 수 있다.

핵심 연구 질문은 상태 교란 하에서도 안정성을 유지하면서 온라인으로 상태 기여도를 계산할 수 있는 효율적이고 증명 가능한 기여도 인지형 AC 알고리즘을 어떻게 설계하느냐 하는 것이다.

2. 방법론: RSA2C

저자들은 **RKHS-SHAP 기반 고급 액터-크리틱(RSA2C)**을 제안한다. 이는 마할라노비스 가중치 연산자 값 커널(Mahalanobis-weighted operator-valued kernel)을 통해 상태 기여도를 학습 과정에 직접 통합하는 기여도 인지형, 이중 시간 척도(two-timescale) AC 알고리즘이다.

2.1. 아키텍처

RSA2C는 근사 선형 의존성(Approximate Linear Dependence, ALD) 방법을 통해 유지되는 희소 딕셔너리에 의해 제어되는, 재생 커널 힐베르트 공간(RKHS) 내의 세 가지 구성 요소로 이루어진다:

• 고급 액터(Advanced Actor): **연산자 값 커널(Operator-Valued Kernel, OVK)**을 사용하는 벡터 값 RKHS에 구현된다. 커널은 마할라노비스 가중치가 적용된 가우시안 커널 $K(s, s_j) = \kappa_\phi(s, s_j)\Sigma_K$이며, 여기서 가중치 행렬 $W = \text{diag}(\tilde{\phi})$는 상태 특징 기여도($\phi_i$)에 따라 동적으로 조정된다. 이를 통해 정책은 상태 차원의 중요도에 따라 적응적으로 가중치를 재설정할 수 있다.
• 가치 크리틱(Value Critic): 자체 딕셔너리를 가진 스칼라 RKHS에 위치한다. TD(Temporal Difference) 학습을 사용하여 가치 함수 $V(s)$를 추정한다. 결정적으로, 순환 의존성을 방지하고 기여도 계산을 위한 안정적인 베이스라인을 보장하기 위해 가치 크리틱은 SHAP 점수에 의해 가중치가 재설정되지 않는다.
• 어드밴티지 크리틱(Advantage Critic): 액터의 딕셔너리를 공유하는 스칼라 RKHS에 위치한다. 저분산 정책 그래디언트를 보장하기 위해 "호환 가능한 특징(compatible features)"($\nabla \log \pi$와 정렬됨)을 사용하여 어드밴티지 함수 $A(s, a)$를 추정한다.

2.2. RKHS-SHAP 통합

RSA2C는 몬테카를로 샘플링(계산 비용이 높음) 대신, RKHS 프레임워크 내에서 **커널 평균 임베딩(Kernel Mean Embeddings, KME)**과 **조건부 평균 임베딩(Conditional Mean Embeddings, CME)**을 사용하여 SHAP 값을 분석적으로 계산한다.

• 온-매니폴드(관측적): KME를 사용하여 경험적 상태 분포에 대해 평균을 구함으로써, 기여도가 환경과 일치하는 구성(environment-consistent configurations)을 반영하도록 보장한다.
• 오프-매니폴드(개입적): 데이터의 기하학적 구조를 존중하면서 특징 집합(feature coalitions)에 대해 조건화하는 CME를 사용하여, 유효하지 않은 상태를 생성하지 않고 특징 간의 관계를 탐색한다.

이렇게 계산된 SHAP 기여도는 **마할라노비스 게이트 가중치(Mahalanobis-gated weights)**로 변환된다. 이 가중치들은 액터의 그래디언트 업데이트와 어드밴티지 크리틱의 타겟을 조절하며, 이를 통해 최적화 역학에 차원 수준의 중요도 신호를 직접 주입한다.

2.3. 이중 시간 척도 메커니즘

RSA2C는 두 개의 시간 척도에서 작동한다:

• 빠른 시간 척도(Fast timescale): 가치 크리틱이 안정적인 가치 추정과 SHAP 기여도를 제공하기 위해 빠르게 업데이트된다.
• 느린 시간 척도(Slow timescale): 액터와 어드밴티지 크리틱은 크리틱으로부터 얻은 안정적인 기여도를 활용하여 더 느리게 업데이트되며 정책 개선을 유도한다.

3. 주요 기여

1. 커널화된 이중 시간 척도 액터-크리틱: 액터와 두 개의 크리틱을 RKHS에 임베딩하는 RSA2C를 도입했다. 이는 벡터 값 정책을 모델링하고 상태 차원 간의 상관관계를 인코딩하는 마할라노비스 가중치 OVK를 통해, RKHS-SHAP를 통한 적응형 상태 특징 중요도를 독특하게 주입한다. 희소 딕셔너리의 사용은 계산 복잡도를 딕셔너리 크기에 대해 선형적으로 유지하여 온라인 RL에 적합하게 만든다.
2. 상태 기여도에서 학습 신호로의 전환: 이 방법은 KME(온-매니폴드)와 CME(오프-매니폴드)라는 두 가지 경로를 통해 가치 크리틱으로부터 SHAP를 계산한다. 이러한 신호들은 게이팅되어 액터와 어드밴티지 크리틱에 주입되며, 사후적 설명에만 의존하지 않고 효율성과 내재적 해석 가능성을 동시에 달달성한다.
3. 전역 비점근적 수렴(Global Non-Asymptotic Convergence): 저자들은 상태 교란 하에서 RSA2C에 대한 전역 수렴 경계를 도출했다. 학습 격차는 교란 오차(노이즈에 대한 안정성 정량화)와 수렴 오차(효율성 정량화)로 분해된다. 교란 오차는 다시 기여도 유도 항과 정책 학습 항으로 나뉘며, 알고리즘의 강건성을 입증한다.
4. 실험적 검증: 세 가지 연속 제어 환경(Pendulum-v1, BipedalWalker-v3, Ant-v5)에 대한 광범적인 시뮬레이션을 통해, RSA2C가 딥 RL 베이스라인(SAC, PPO)에 비해 현저히 낮은 계산 오버헤드(FLOPs)를 유지하면서도 경쟁력 있는 수익을 달성하며, 우수한 안정성과 해석 가능한 특징 기여도를 제공함을 보여준다.

4. 결과

• 효율성: 연속 제어 작업에서 RSA2C 변체들(KME 및 CME)은 절제 모델(SHAP 없는 고급 AC, 균등 SHAP) 및 전통적인 RKHS-AC보다 높은 수익으로 수렴한다. SAC와 같은 딥 RL 방법이 고차원 작업(예: Ant-v5)에서 더 높은 점근적 수익에 도달할 수는 있지만, RSA2C는 특히 CPU 환경에서 훨씬 적은 FL플롭(FLOPs)과 실행 시간으로 대등하거나 더 나은 성능을 달성한다.
• 안정성: 상태 교란(다양한 분산을 가진 제로 평균 노이즈) 하에서 RSA2C 변체들은 RKHS 기반 방법들 중 가장 안정적인 성능을 보인다. RSA2C의 평균 수익은 노이즈가 증가함에 따라 완만하게 감소하는 반면, 기여도가 학습되지 않은 방법들(Advanced AC, RKHS-AC)은 상당한 성능 저하를 겪는다. 또한 RSA2C는 PPO와 같은 딥 RL 베이스라인보다 안정성 면에서 우수하다(PPO는 높은 노이즈에서 성능이 급격히 저하되지만 RSA2C는 견고함을 유지함).
• 해석 가능성: 비스웜 플롯(beeswarm plots)과 히트맵을 통한 시각화는 RSA2C가 물리적 역학(예: Pendulum 작업에서 각도, 각속도, 토크 구분)과 일치하는 의미 있는 특징 기여도를 포착함을 확인시켜 준다. 조건부 의존성을 모델링하는 RSA2C-CME는 RSA2C-KME에 비해 더 균형 잡히고 시간적으로 적응적인 기여도를 생성한다.

5. 의의 및 주장

본 논문은 RSA2C가 상태 특징 중요도를 OVK 기반 정책의 마할라노비스 거리로 변환하는 원칙적인 메커니즘을 제공함으로써, 내재적 해석 가능성을 갖춘 샘플 효율적인 학습을 향상시킨다고 주장한다.

• 이론적 보장: 이 연구는 상태 교란 하에서의 전역적 비점근적 수렴 보장을 확립하였으며, 이는 이중 시간 척도 RKHS 강화된 AC에 대한 비점근적 보장이 이전에는 공백으로 남아있던 중요한 기여이다.
• 강건성: 학습된 특징 기여도가 확률적 교란에 대해 네트워크 업데이트를 안정화하는 데 핵심적임을 입증하였으며, 고정 가중치 또는 비기여도 베이스라인보다 뛰어난 성능을 보여준다.
• 한계점: 저자들은 RKHS 기반 표현의 확장성이 고차원 연속 제어 작업(예: 105차원 상태를 가진 Ant-v5)에서 제한적일 수 있음을 인정한다. 즉, RBF 커널을 사용하는 선형 RKHS의 표현 능력이 딥 뉴럴 네트워크에 비해 병목이 될 수 있다. 또한 메모리 사용량은 작업의 복잡도와 학습 기간에 따라 증가한다.

요약하자면, RSA2C는 차원 수준의 SHAP 기여도를 커널화된 학습 루프에 직접 통합함으로써 고성능 RL과 설명 가능성 사이의 간극을 메우며, 연속 제어를 위한 안정적이고 효율적이며 이론적으로 근거 있는 접근 방식을 제공한다.