기술 요약: 분리 가능한 신경 구조(SPAN)를 통한 민첩한 강화 학습

1. 문제 정의

심층 강화 학습(Deep Reinforcement Learning, RL)은 로보틱스, 에지 디바이스, 산업 제어 시스템과 같이 자원이 제한된 환경에 점점 더 많이 배치되고 있습니다. 그러나 이러한 환경에서 사용되는 표준 함수 근사기인 다층 퍼셉트론(MLP)은 종종 효율성이 떨어지는 모습을 보입니다. MLP는 전역적으로 연결된 구조를 가지고 있어, 가치 함수(value function)나 정책(policy)이 실제로 변화하는 지점과 관계없이 입력 공간 전체에 표현 능력을 균등하게 분산시킵니다. 이러한 구조적 불일치는 RL 가치 함수의 본질적인 국소적 매끄러움(local smoothness, 매끄러운 MDP 역학 하에서 리프시츠 연속성(Lipschitz continuity)을 만족함)과 맞지 않아, 특히 훈련 예산이 제한된 상황에서 높은 샘플 복잡도와 불안정한 수렴을 초래합니다.

모델 압축 기술이 존재하기는 하지만, 이는 대개 과잉 매개변수화된 모델에 사후적으로 적용되는 방식이며 내재적인 학습 효율성을 개선하지는 못합니다. 반대로, 최근의 스플라인 기반 구조인 콜모고로프-아르노프 네트워크(KAN)는 매개변수 효율성은 높지만, 조밀한 에지별 평가로 인한 과도한 계산 오버헤드 때문에 온라인 RL에 채택하기에는 한계가 있습니다. 따라서 제어 경관(control landscape)의 국소적 매끄러움과 명시적으로 정렬되면서도, 매개변수 효율적이고 계산적으로 실행 가능한 함수 근사기에 대한 필요성이 존재합니다.

2. 방법론: SPAN 아키텍처

저자들은 이러한 한계를 해결하기 위해 설계된 새로운 함수 근사 아키텍처인 **SPAN(SPline-based Adaptive Networks)**을 소개합니다. SPAN은 (이전에 과학 계산 분야에서 검증된) KHRONOS 프레임워크를 온라인 RL의 특정 요구 사항에 맞게 변형한 것입니다.

핵심 아키텍처 구성 요소

1. 학습 가능한 전처리 레이어: $[0, 1]^d$ 범위의 정적이고 정규화된 입력을 가정하는 KHRONOS와 달리, RL 환경은 비정상적(non-stationary)이고 경계가 없는 관측치를 제공합니다. SPAN은 완전 연결 레이어와 시그모이드 활성화 함수($\mathbf{z} = \sigma(\mathbf{W}_{pre}\mathbf{s} + \mathbf{b}_{pre})$)로 구성된 학습 가능한 전처리 레이어를 도입합니다. 이 레이어는 배치 통계량이나 미리 지정된 경계값에 의존하지 않고, 임의의 관측치를 스플라인 기저(basis)에 필요한 유계 영역으로 투영합니다. 개념적으로 이는 학습된 Koopman 스타일의 리프팅 맵(lifting map) 역할을 하며, 원시 입력을 분리 가능한 표현이 가능한 잠재 공간으로 해체합니다.
2. 분리 가능한 텐서 곱 스플라인 구조: SPAN의 핵심은 B-스플라인 기저 함수를 사용하는 랭크-$M$ 텐서 분해를 활용합니다. 입력 $\mathbf{x} \in [0, 1]^d$에 대해, 아키텍처는 $M$개의 분리 가능한 모드(mode)를 구축합니다:
   $$\mathcal{M}_j(\mathbf{x}) = \prod_{p=1}^{d} \sum_{i=1}^{N_p} w_{p,j,i} B_i^{(k)}(x_p)$$
   여기서 $B_i^{(k)}$는 차수가 $k$인 B-스플라인 기저 함수이며, $N_p$는 각 차원당 기저 함수의 수입니다. 최종 출력은 이러한 모드들의 선형 결합입니다.
3. 복잡도 감소: 이 분리 가능한 구조는 매개변수 복잡도를 지수적 $\mathcal{O}(N^d)$ (전체 텐서 그리드의 경우)에서 선형 $\mathcal{O}(M \cdot d \cdot N)$으로 줄여, 그리드 기반 스플라인 방식의 한계인 차원의 저주를 효과적으로 극복합니다.

RL 알고리즘과의 통합

SPAN은 표준 액터-크리틱(actor-critic) 프레임워크에서 MLP를 대체할 수 있는 드롭인(drop-in) 교체 모델로 설계되었습니다. 저자들은 다음과 같은 통합을 입증했습니다:

• Soft Actor-Critic (SAC): 연속 제어를 위해, SPAN은 가우시안 정책 매개변수와 트윈 Q-함수를 출력합니다.
• Proximal Policy Optimization (PPO): 이산 제어를 위해, SPAN은 액션 로짓(action logits)과 가치 추정치를 출력합니다.
• Implicit Q-Learning (IQL): 오프라인 RL을 위해, SPAN은 가치 함수, Q-함수 및 정책 네트워크에서 MLP를 대체합니다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 합니다:

1. 아키텍처 적응: 학습 가능한 전처리 레이어를 통해 KHRONOS 프레임워크를 RL에 적응시킴으로써, 과학 계산 프레임워크가 가정하는 정적 입력과 RL의 비정상적 관측치 사이의 간극을 메웠습니다.
2. 이론적 근거: SPAN의 국소적 지지(local support) 특성과 RL 가치 함수 및 정책의 리프시츠(Lipschitz) 구조 사이의 공식적인 연결을 제시합니다. 저자들은 SPan의 기저 함수가 유계 영역에서만 활성화된다는 점이 MDP의 "영향력 반경(influence radius)" 특성과 자연스럽게 일치하며, 필요한 곳에 표현 능력을 집중시킨다고 주장합니다나.
3. 포괄적인 실증적 검증: 온라인(PPO, SAC), 오프라인(IQL), 그리고 실제 공학 응용 분야에 걸친 광범위한 평가를 통해 샘플 효율성, 수렴 신뢰성 및 총 훈련 비용의 개선을 입증했습니다.

4. 실험 결과

온라인 제어 벤치마크

SPAN은 Classic Control (CartPole, Acrobot, LunarLander) 및 MuJoCo 연속 제어 작업 (Hopper, InvertedPendulum, Walker2d, HalfCheetah)에서 MLP 베이스라인과 비교 평가되었습니다.

• 샘플 효율성: SPAN은 벤치마크 전반에서 MLP 대비 30–50%의 샘플 효율성 향상을 달 최근했습니다. 예를 들어, Hopper 작업에서 SPAN은 475k 스텝에서 90%의 성공률로 전문가 성능의 50%에 도달한 반면, MLP는 715k 스텝에서 10%의 성공률만을 보였으며 더 높은 임계값에서는 문제를 해결하는 데 실패했습니다.
• 성공률: SPAN은 벤치마크 전반에서 1.3–9배 더 높은 성공률을 보였습니다. Walker2d에서 MLP는 25% 임계값을 넘어서는 솔루션을 찾는 데 실패했으나, SPAN은 50% 임계값에서도 55%의 성공률을 유지했습니다.
• 언제든 성능(Anytime Performance): SPAN은 하이퍼파라미터 변화에 대한 우수한 강건성과 중간 훈련 체크포인트에서의 더 나은 성능을 보여주었습니다.

계산 비용 분석

SPAN은 스플라인 평가로 인해 MLP보다 1.2–1.8배 느린 단계별 평가 오버헤드가 발생하지만, 뛰어난 샘플 효율성과 수렴 신뢰성 덕분에 기대 총 훈련 비용은 더 낮습니다.

• 수렴 실패(성공률)를 고려할 때, MLP의 기대 훈련 비용은 SPAN보다 1.3–6.3배 더 높습니다. 예를 들어, HalfCheetah에서 MLP의 기대 비용은 100% 임계값에서의 낮은 10% 성공률로 인해 SPAN보다 4.87배 높았습니다.

오프라인 강화 학습

IQL를 사용하여 Minari Adroit Hand 조작 벤치마크에서 평가되었습니다:

• 전문가 데이터셋(Expert datasets): SPAN은 MLP를 크게 압도하여, Door 작업에서 20배(8.0 대 0.4), Hammer에서 2.3배, Relocate에서 3.3배의 개선을 달성했습니다.
• 저품질 데이터셋(Cloned, Human): 결과는 엇갈렸으며, 이는 SPAN의 매끄러움 편향(smoothness bias)이 기초 데이터가 일관되고 매끄러운 정책을 나타낼 때 가장 효과적임을 시사합니다.

실제 응용: 데이터센터 HVAC

SPAN은 Sinergym 환경(EnergyPlus 시뮬레이션)을 사용하여 데이터센터 HVAC 제어 작업에 적용되었습니다.

• 에너지 효율: SPAN은 MLP와 비교하여 12개월 중 9개월 동안 에너지 소비를 줄였으며, 전환기(shoulder seasons)에는 최대 8.1%의 절감 효과를 보였습니다.
• 열 쾌적성: SPAN은 연중 내내 열 쾌적성 위반(온도가 18–27°C를 벗어남)을 1.1–3.4배 감소시켰습니다. 특히 8월에 SPAN은 MLP에 비해 위반 횟수를 12배 감소시켰는데, 이는 SP한이 피크 여름철에 약간 더 높은 에너지 사용량을 감수하더라도 엄격한 열 쾌적성을 유지하기 위한 트레이드오프를 보여줍니다.

5. 의의 및 주장

본 논문은 SPAN이 자원이 제한된 RL을 위한 원칙적이고 실질적으로 실행 가능한 MLP의 대안을 제공한다고 주장합니다. 그 의의는 다음과 같습니다:

• 귀납적 편향의 정렬: 물리적 제어 문제의 리프시츠 연속성 및 국소적 매끄러움과 아키텍처의 귀납적 편향을 명시적으로 정렬함으로써, SPAN은 사후 압축 없이도 더 높은 학습 효율을 달성합니다.
• 제한된 환경에서의 신뢰성: SPAN은 훈련 중단, 제한된 샘플, 또는 엄격한 메모리 예산이 흔한 설정에서 더 신뢰할 수 있는 수렴을 제공합니다.
• 공학적 일반화: 데이터센터 HVAC 제어에 대한 성공적인 적용은 합성 벤치마크에서 관찰된 아키텍처의 이점이 열역학적 역학과 날씨에 의한 비정상성을 가진 실제 공학 문제로 전이됨을 입증합니다.

저자들은 SPAN의 국로적 매끄러움 편향이 급격한 가치 함수 전이가 발생하는 희소 보상(sparse-reward) 설정에서는 덜 효과적일 수 있으며, 현재의 피드포워드(feedforward) 설계는 어텐션(attention)이나 순환(recurrence)을 기본적으로 지원하지 않는다는 점을 언급하며 한계를 인정했습니다. 향-후 연구로는 시간적 추론을 위한 Transformer와의 결의 하이브리드 아키텍처 및 차량 서스펜션 제어 및 산업 프로세스 최적화 분야에 대한 적용을 제안합니다.