기술 요약: 정수 기반 하드웨어를 위한 양자화된 연속 제어기 학습

문제 정의

연속 제어(continuous control)를 위한 심층 강화 학습(RL) 정책을 임베디드 하드웨어에 배포하는 것은 지연 시간(latency), 전력 소비, 메모리 점유율 측면에서 상당한 제약에 직면한다. 고성능 GPU는 강력한 계산 능력을 제공하지만, 나노/마이크로 UAV와 같은 배터리 구동 시스템에는 에너지를 너무 많이 소비하거나, 핵융합 플라즈마 제어 또는 로봇 팔과 같은 안전 필수 루프의 마이크로초 단위 지연 시간 요구 사항을 충족하지 못할 수 있다. FPGA(Field-Programmable Gate Array)는 저지연, 저전력 추론을 위한 유망한 대안을 제공하지만, 온칩 메모리가 제한적이며 부동 소수점(FP32) 산술 연산의 하드웨어 비용이 높다. 결과적으로, 표준 FP32 신경망을 FPGA에 배포하는 것은 비효율적이다. 사후 훈련 양자화(Post-Training Quantization, PTQ)가 존재하지만, 특히 작은 모델과 낮은 비트 폭 설정에서는 양자화 인식 훈련(Quantization-Aware Training, QAT)에 비해 성능이 떨어지는 경우가 많다. 핵심 과제는 제어 품질을 희생하지 않으면서 효율적인 FPGA 배포를 가능하게 하기 위해, 저정밀도 정수 전용 영역에서 직접 연속 제어 정책을 학습하는 파이프라인을 개발하는 것이다.

방법론

저자들은 FPGA 상의 정수 전용 추론을 목표로 하는 연속 제어 RL을 위한 양자화 인식 훈련(QAT) 중심의 학습-하드웨어 파이프라인을 제안한다.

1. RL 프레임워크: 본 연구는 다섯 가지 MuJoCo 연속 제어 작업(Humanoid, Walker2d, Ant, HalfCheetah, Hopper)에서 훈련된 오프 폴리시(off-policy) 액터-크리틱 알고리즘인 DDPG(Deep Deterministic Policy Gradient) 및 SAC(Soft Actor-Critic)를 활용한다.
2. 양자화 인식 훈련 (QAT):
   • 아키텍처: 정책 네트워크는 훈련 중에는 표준 FP32 네트워크로 인스턴스화되지만, 양자화/역양자화(QDQ) 레이어가 장착된다.
   • 메커니즘: QDQ 단계는 입력, 모든 ReLU 활성화 함수 이후, 그리고 최종 출력 직전에 삽입된다. 이 단계들은 스케일링, 반올림, 클리핑을 통해 FP32 값을 목표 비트 폭($b$)으로 변환한 뒤, 그래디언트 계산을 위해 다시 FP32로 역양자화함으로써 정수 산술을 시뮬레이션한다.
   • 미분 가능성: 비미분적인 반올림 연산을 통해 그래디언트를 역전파하기 위해 Straight-Through Estimator(STE)가 사용된다.
   • 스케일링: 활성화 스케일은 그래디언트 업데이트(웜업 기간 이후)를 통해 학습되는 반면, 가중치 스케일은 가중치 행렬의 절대 최댓값으로 고정된다.
   • 범위: 본 연구는 "코어"(가중치 및 내부 활성화), 입력 상태, 출력을 양자화하는 것을 구분한다.
3. 모델 선택 전략: FP32 성능과 일치하는 가장 작은 하드웨어 친화적 구성을 찾기 위해 3단계 선택 프로세스를 채택한다.
   • 가중치 및 내부 활성화를 위한 최소 코어 비트 폭($b_{core}$)을 결정한다.
   • 성능을 유지하는 가장 작은 은닉층 너비($h$)를 선택한다.
   • 필요한 입력 비트 폭($b_{in}$)을 결정한다.
4. 하드웨어 합성: 선택된 정책은 FINN 데이터플로우 컴파일러를 사용하여 Artix-7 FPGA(XC7A15T)에 합성된다. 합성은 고정 100 MHz 클록을 타겟으로 하며, 프로세싱 엘리먼트(PE)와 SIMD 너비를 조정하여 처리량을 최적화한다. 배포는 초기 입력 양자화 이후 엄격하게 정수 전용(integer-only)으로 이루어진다.

주요 결과

본 연구는 다섯 가지 MuJoCo 환경에서 QAT 정책을 FP32 베이스라인 및 양자화 참조 모델과 비교하여 파이프라인을 평가한다.

• 비트 폭 민감도:
  • QAT 정책은 코어 비트 폭이 3비트만큼 낮아져도, 그리고 일부 사례(예: Ant, Hopper)에서는 2비트만으로도 FP32 수준의 성능(1 표준 편차 이내)을 달ras 수 있다.
  • 입력 양자화가 주요 병목 지점으로 식별되었다. 첫 번째 레이어에서의 높은 양자화 오차는 성능을 크게 저하시키는 반면, 더 깊은 레이어들은 낮은 비트 폭에 더 탄력적이다.
  • 출력 양자화는 성능에 미치는 영향이 미미하며, 하드웨어 효율성을 위해 8비트로 유지된다.
• 모델 선택:
  • 선택된 모델들(Table 1)은 16에서 256 사이의 은닉층 너비와 2 또는 3비트의 코어 비트 폭을 사용한다.
  • 공격적인 축소에도 불구하고, 이 모델들은 훈련 중에 FP32 베이스라인과 유사하게 수렴한다(Figure 2).
• 강건성:
  • 양자화된 정책은 FP32 베이스라인에 비해 입력 노이즈에 대한 강건성이 증가한다. 상태 공간에 가우시안 노이즈가 주입될 때, QAT 모델은 종종 FP32 성능과 일치하거나 이를 능가한다. 저자들은 이것이 훈련 중 상태 공간의 이산화(discretization) 때문이라고 가설을 세웠으며, 이는 정책이 인접한 양자화 빈(bin) 사이에서도 안정성을 유지하도록 강제하여 암묵적 규제(implicit regularization) 역할을 한다고 본다.
• 하드웨어 성능 (FPGA 합성):
  • 선택된 저비트 정책은 저사양 Artix-7 FPGA에 성공적으로 합성되었다.
  • 지연 시간: 추론 지연 시간은 0.2 µs(Hopper)에서 243.2 µs(HalfCheetah) 사이이다.
  • 에너지: 동작당 에너지 소비량은 마이크로줄 범위이다(예: Hopper의 경우 $6.5 \times 10^{-8}$ J).
  • 비교: (FPGA 용량을 초과하거나 훨씬 더 많은 자원을 요구했던) 8비트 코어 참조 모델과 비교했을 때, 선택된 저비트 모델들은 지연 시간에서 최대 1000배(Hopper 기준)의 향상된 성능을 보였으며, 전력 및 자원 활용도(LUT, FF, BRAM, DSP) 면에서 상당한 감소를 달성했다.

의의 및 주장

본 논문은 양자화 인식 훈련(QAT)이 자원이 제한된 정수 기반 하드웨어에 연속 제어 RL 정책을 배포하기 위한 실행 가능하고 효과적인 방법임을 입증한다고 주장한다.

• 저비트 제어의 실현 가능성: 저자들은 연속 제어 작업이 반드시 고정밀 부동 소수점 산술을 필요로 하지 않음을 보여준다. 정책은 제어 품질을 유지하면서도 가중치 및 활성화당 2 또는 3비트로 압축될 수 있다.
• 하드웨어 효율성: 비용이 많이 드는 부동 소수점 파이프라인을 피함으로써, 제안된 파이프라인은 마이크로초 단위의 지연 시간과 마이크로줄 단위의 에너지 비용을 갖는 소형 저전력 FPGA에 RL 컨트롤러를 배포할 수 있게 하여, 배터리로 구동되는 자율 시스템에 적합하게 만든다.
• 예상치 못한 강건성: 주목할 만한 발견은 양자화 과정 자체가 센서 노이즈에 대한 강건성을 향상시킬 수 있다는 점이며, 이는 QAT로 훈련된 정책이 불완전한 센싱이 존재하는 실제 환경에서 더 신뢰할 수 있음을 시사한다.
• 한계점: 저자들은 본 연구가 현재 시뮬레이션(MuJoCo)에 국한되어 있으며, 실제 물리적 시스템의 안전 제약, 보안, 또는 분석적으로 주입된 노이즈 이외의 특정 물리적 센서 노이즈 특성을 아직 다루지 않았음을 겸허히 밝히고 있다. 향-후 연구 과제로 물리적 시스템 및 비전 기반 정책에 대한 테스트를 제안한다.