기술 요약: 미분 가능한 가중치 없는 제어기 (Differentiable Weightless Controllers, DWCs)

문제 정의

실제 환경에서 자율 시스템을 제어하려면 낮은 지연 시간과 최소한의 에너지 소비로 평가할 수 있는 정책이 필요합니다. 표준 심층 신경망(DNN)은 강화 학습(RL)을 통한 연속 제어 작업에 효과적이지만, 연산 집약적인 곱셈-누적(MAC) 연산에 의존합니다. 이는 UAV나 모바일 로봇과 같은 자원 제한적인 임베디드 플랫폼에서 비효율적이며, 고성능 GPU에서도 저정밀도 대안들에 비해 최적화 수준이 낮습니다.

사후 훈련 양자화(PTQ) 또는 양자화 인식 훈련(QAT)과 같은 기존 솔루션은 주로 정적 지도 학습이나 이산 액션 공간을 대상으로 합니다. 이러한 방식은 입력 상태와 출력 액션이 실수 값인 연속 제어 설정에서 성능을 유지하는 데 어려움을 겪는 경우가 많으며, 작은 제어 오차가 시간이 지남에 따라 누적될 수 있습니다. 또한, 표준 DNN은 어떤 입력 특징이 특정 제어 결정을 유도하는지에 대한 해석 가능성을 제한적으로 제공하는 "블랙박스"로 작동합니다.

방법론

저자들은 밀집 행렬 곱셈을 희소 불리언 로직(sparse boolean logic)으로 대체하는 심볼릭-미분 가능 아키텍처인 **미분 가능한 가중치 없는 제어기(DWC)**를 소개합니다. DWC는 그래디언트 기반 RL을 통해 엔드 투 엔드로 훈련될 수 있도록 설계되었으며, FPGA 호환 회로로 직접 컴파일됩니다.

핵심 아키텍처

DWC 추론 파이프라인은 세 가지 주요 단계로 구성됩니다:

1. 입력 인코딩: 실수 형태의 관측치를 정규화( $[-10, 10]$ 범위로 클리핑)하고 **써모미터 인코딩(thermometer encoding)**을 사용하여 이진 벡터로 변환합니다. 입력 $x$에 대해, 스트레치드 가우시안 분위수(stretched-Gaussian quantiles)를 기반으로 정의된 임계값 $\tau_1 < \dots < \tau_B$를 설정하며, 인코딩 $E(x)$는 $x \ge \tau_i$인 경우 비트를 1로 설정하는 비트 벡터를 생성합니다.
2. 로직 레이어: 이진 벡터는 **룩업 테이블(LUT)**의 층을 거쳐 처리됩니다. 각 LUT는 $k$개의 이진 입력을 가진 하나의 뉴런이자 단일 비트 출력을 가집니다. 전통적인 가중치 기반 네트워크와 달리, 연결성(어떤 입력 비트가 어떤 LUT로 들어가는지)은 Straight-through estimation을 통해 학습 가능합니다. LUT는 산술 연산 없이 불리언 로직을 수행하는 이진 진리표를 저장합니다.
3. 출력 디코딩: 최종 레이어는 이진 출력을 생성하고 이를 액션 차원별로 그룹화합니다. 팝카운트(popcount) 연산이 각 그룹의 비트를 합산합니다. 이 정수 합은 학습 가능한 아핀 변환(스케일링 및 바이어스)을 통해 연속적인 액션 값으로 매핑되며, SAC의 경우 최종 $\tanh$ 활성화 함수를 거칩니다.

훈련 메커니즘

DWC는 **미분 가능한 가중치 없는 네트워크(DWN)**를 기반으로 합니다. 이산 구조를 통한 그래디언트 기반 훈련을 가능하게 하기 위해 다음을 사용합니다:

• 대리 그래디언트(Surrogate Gradients): 이산적인 LUT 연산을 통과하여 그래디언트를 근사하기 위해 확장된 유한 차분(Extended Finite-Difference, EFD) 추정기를 채택합니다.
• 학습 가능한 상호 연결(Learnable Interconnects): 이전의 DWN이 첫 번째 레이어의 연결성만을 학습했던 것과 달리, 본 연구는 표현 용량을 높이기 위해 후속 레이어까지 학습 가능한 상호 연결을 확장했습니다.
• RL 통합: 정책 네트워크는 DWC로 인스턴스화되는 반면, SAC와 같은 알고리즘의 보조 네트워크(크리틱, 노이즈 헤드)는 표준 부동 소수점 네트워크로 유지됩니다.

주요 기여

1. 심볼릭-미분 가능 아키텍처: DWN을 분류에서 연속 제어로 확장하여, 실숫값 함수가 아닌 디지털 회로로서의 제어 정책을 합성할 수 있게 했습니다.
2. 훈련 및 성능: 다섯 가지 MuJoCo 벤치마크에서 풀 정밀도(FP) 및 양자화된 신경망 베이스라인과 경쟁할 만한 성과를 달성하며, DWC가 표준 RL 알고리즘(SAC, DDPG, PPO)을 사용하여 성공적으로 훈련될 수 있음을 입증했습니다.
3. 하드웨어 효율성: DWC는 몇 번 또는 단일 클록 사이클의 지연 시간과 액션당 나노줄 수준의 에너지 비용을 갖는 FPGA 하드웨어로 컴파일되며, 이는 양자화된 베이스라인보다 수십 배 더 효율적입니다.
4. 해석 가능성: 희소하고 이산적인 연결성을 통해 정책을 직접 검사할 수 있어, 어떤 입력 차원과 임계값이 제어 결정에 영향을 미치는지 밝혀낼 수 있습니다.

실험 결과

저자들은 다섯 가지 MuJoCo 환경(Ant, HalfCheetah, Hopper, Humanoid, Walker2d)에서 DWC를 평가했습니다.

• 성능: 다섯 가지 작업 중 네 가지(Ant, Hopper, Humanoid, Walker2d)에서 DWC는 풀 정밀도(FP) 베이스라인과 대등한 중간 수익(median returns)을 기록했으며, 저정밀도 양자화 네트워크와 비슷하거나 그보다 우수한 성능을 보였습니다.
  • HalfCheetah는 도전 과제로 나타났습니다. 표준 DWC(레이어당 1024개 LUT)는 FP 베이스라인(11.5k)보다 낮은 수익(7.5k)을 기록했습니다. 그러나 고용량 변형 모델(레이어당 16,384개 LUT)은 이 격차를 좁혀 ~10.3k를 달성했으며, 이는 해당 작업이 용량 제한적임을 시사합니다.
• 노이즈 강건성: DWC는 양자화된 네트워크와 유사한 노이즈 강건성 프로필을 보여주었으며, 가우시안 노이즈가 주입된 상황에서 일반적으로 FP 베이스라인과 대등하거나 더 나은 성능을 보였습니다.
• 하드웨어 합성 (FPGA): 100 MHz에서 AMD Xilinx Artix-7 FPGA에 합성했을 때:
  • 지연 시간: 1–3 클록 사이클 (양자화된 베이스라인의 21–24,000 사이클 대비).
  • 처리량: 초당 최대 $10^8$ 액션.
  • 에너지: 액션당 약 2 나노줄 (베이스라인의 $10^{-5}$ ~ $10^{-8}$ 줄 대비).
  • 리소스: DWC는 DSP나 BRAM 리소스를 사용하지 않고 오직 LUT와 플립플롭(Flip-Flops)만을 사용했습니다.
• 해석 가능성 분석: 연결성 분석 결과, DWC는 일관되게 특정 입력 차원(예: Humanoid의 토르소 속도)을 중요한 요소로 식별하는 반면 무관한 차원은 무시함을 확인했습니다. 연결 밀도는 정규화된 제로 임계값 주변에서 가장 높았으며, 여러 작업에서 이봉 분포(two-modal distribution)가 관찰되었습니다.

의의 및 한계

본 논문은 DWC가 표준 딥 RL의 성능을 희생하지 않으면서도 엣지 장치를 위한 저지연, 에너지 효율적 제어를 향한 실행 가능한 경로를 제공한다고 주장합니다. 가중치 기반 네트워크를 프루닝(pruning)하거나 양자화하는 기존 방식과 달리, DWC는 행렬 곱셈을 희소 불리언 로직으로 대체함으로써 신경 네트워크의 유연성과 로직 회로의 효율성 사이의 간극을 메웁니다.

저자들은 중요한 한계점으로 훈련 계산 비용을 언급했습니다. 그래디언트 기반 훈련을 위한 완화(relaxation) 과정(대리 그래디언트 및 상호 연결 학습) 때문에 훈련 과정이 계산 집약적이며, 현재는 장치 내 실시간 상호작용이 아닌 시뮬레이션 환경에서만 가능합니다.

이 연구는 기존의 가중치 기반 네트워크를 최적화하는 방식과는 구별되는, 해석 가능하고 하드웨어 친화적인 제어 정책을 향한 단계로 자리매김하고 있습니다.