A Constant-Time Implementation Methodology for Activation Functions on Microcontrollers

기술 요약: 마이크로컨트롤러용 활성화 함수를 위한 상수 시간 구현 방법론

문제 제기
자원 제약이 있는 마이크로컨트롤러에서의 임베디드 신경망 추론은 타이밍 사이드채널 공격에 점점 더 취약해지고 있습니다. 최근 연구들은 이러한 네트워크 내의 활성화 함수가 입력 값과 함수 유형에 의존하는 실행 시간 변동을 통해 정보를 유출함을 입증했습니다. 이러한 유출로 인해 공격자는 서로 다른 활성화 함수 (예: ReLU 대 시그모이드) 를 구별할 수 있으며, 잠재적으로 모델 아키텍처를 역공학하거나 민감한 입력 데이터를 추론할 수 있습니다. 기존에는 동기화 해제 (무작위 지연 도입) 와 같은 대응책이 이러한 타이밍 패턴을 흐리게 하려 시도했으나, 근본적인 입력 의존적 행동을 제거하지는 못했습니다. 결과적으로, 프로파일링 템플릿 기반 공격은 추가된 노이즈에도 불구하고 통계적으로 활성화 함수를 여전히 구별할 수 있습니다.

방법론
저자들은 단순히 타이밍 변동을 숨기는 것이 아니라, 그 근원에서 입력 의존적 시간 변동을 제거하도록 설계된 상수 시간 구현 방법론을 제안합니다. 이 접근법은 ARM Cortex-M4 플랫폼 (STM32F411) 에서 구현되었으며, ReLU, 시그모이드, tanh, 가우시안 오차 선형 단위 (GELU), Swish 등 다섯 가지 널리 사용되는 활성화 함수를 대상으로 합니다.

이 방법론은 네 가지 핵심 구성 요소에 의존합니다:

1. 분기 없는 마스킹 기반 선택: 제어 흐름 분기를 방지하기 위해 구현은 데이터 의존적 분기를 피합니다. 대신 논리적 마스킹과 비트 연산 (AND/OR) 을 사용하여 입력의 비트 표현에 기반해 후보 값들 (예: 포화 출력 대 근사 결과) 사이를 선택합니다. 이는 입력 값과 관계없이 명령어 시퀀스가 동일하게 유지되도록 보장합니다.
2. 고정 비용 파데 기반 근사: 비선형 함수 (시그모이드, tanh, GELU, Swish) 의 경우, 저자들은 표준 초월 함수 평가를 $\tanh(x)$에 대한 파데 근사 $R_{tanh}(x)$를 기반으로 한 공유된 고정 비용 유리 근사로 대체합니다. 이 근사는 입력에 의존하는 루프나 구간 선택을 피하고, 덧셈, 곱셈, 그리고 단일 나눗셈의 고정된 시퀀스를 포함합니다.
   • 시그모이드와 Swish 는 항등식 $S(x) = \frac{1}{2}(1 + \tanh(x/2))$를 사용하여 구성됩니다.
   • GELU 는 $\tanh$ 기반 공식을 사용하여 근사됩니다.
3. 마스킹 기반 포화: 근사 영역을 벗어난 입력을 처리하기 위해 방법론은 0, 1, 또는 $x$로 클램핑하는 포화 논리를 동일한 분기 없는 마스킹 전략을 통해 구현합니다. 이는 포화된 입력에 대해 유리 근사가 우회되더라도 실행 경로와 사이클 수가 일정하게 유지되도록 보장합니다.
4. 사이클 정렬 및 더미 산술: 다섯 가지 함수 전체에서 동일한 실행 시간을 달성하기 위해 저자들은 더미 산술 연산을 도입합니다. 구체적으로, 자연적으로 비선형 근사보다 훨씬 빠르게 실행되는 단순한 ReLU 함수는 최종 결과에 영향을 주지 않으면서도 $R_{tanh}$ 기반 산술 시퀀스를 동일하게 추가하여 더 복잡한 함수들과 사이클 수를 정렬합니다. 미세한 정렬을 위해 최소한의 NOP 패딩만 사용됩니다.

주요 기여

• 상수 시간 방법론: 임베디드 마이크로컨트롤러에서 입력과 무관한 실행 시간을 보장하는 활성화 함수를 위한 재사용 가능한 구성 원칙을 제시합니다.
• 다섯 가지 함수에 대한 구현: 방법론은 비선형 구성 요소에 대한 공유 유리 근사를 활용하여 ReLU, 시그모이드, tanh, GELU, Swish 에 성공적으로 적용되었습니다.
• 동기화 해제의 취약성: 저자들은 동기화 해제 기반 대응책이 시각적으로 타이밍 트레이스를 흐리게 하더라도 프로파일링 템플릿 기반 타이밍 공격에는 여전히 취약함을 입증했습니다. 실행 시간에 대한 통계적 분석을 통해 공격자는 충분한 측정 후 높은 확신으로 활성화 함수를 구별할 수 있습니다.
• 실험적 검증: 제안된 보호된 구현이 모든 테스트 입력에 대해 동일한 사이클 수를 달성하여 타이밍 유출을 효과적으로 억제한다는 경험적 증거를 제공합니다.

실험 결과
이 방법론은 84 MHz 로 실행되는 ARM Cortex-M4 에서 평가되었습니다.

• 타이밍 규칙성:
  • $[-8, 8]$ 구간에서 세 가지 함수 (ReLU, 시그모이드, tanh) 설정에서 모든 보호된 구현은 입력 값과 관계없이 정확히 88 클록 사이클(1.048 µs) 에서 실행되었습니다.
  • $[-500, 500]$ 구간에서 다섯 가지 함수 (GELU 및 Swish 포함) 설정으로 확장된 경우, 모든 구현은 정확히 108 클록 사이클(1.286 µs) 에서 실행되었습니다.
  • 반면, 보호되지 않은 구현은 상당한 타이밍 변동 (예: 보호되지 않은 ReLU 는 약 12 사이클, 보호되지 않은 tanh 는 약 403 사이클 소요) 과 입력 의존적 변동을 보였습니다.
• 수치적 정확도:
  • 근사치는 높은 정확도를 유지했습니다. $[-8, 8]$ 구간에서 시그모이드의 평균 제곱 오차 (MSE) 는 $2.93 \times 10^{-12}$였으며 tanh 는 $6.14 \times 10^{-10}$이었습니다.
  • 확장된 구간 $[-500, 500]$에서 시그모이드와 tanh 의 오차는 빠르게 포화되므로 무시할 수 있었으며, GELU 와 Swish 는 포화 임계값 근처에서 국소화된 낮은 오차를 보였습니다 (Swish 의 최대 절대 오차는 $1.11 \times 10^{-3}$였습니다).
• 성능 트레이드오프:
  • 정렬을 위한 더미 산술 삽입으로 인해 보호된 ReLU 구현은 지연 시간이 증가했습니다 (약 12 사이클에서 88/108 사이클로).
  • 반대로, 보호된 비선형 함수는 대상 하드웨어에서 표준 라이브러리 초월 함수보다 유리 근사가 더 효율적이기 때문에 보호되지 않은 대응물보다 훨씬 빨랐습니다 (예: 보호된 시그모이드/tanh 는 보호되지 않은 버전보다 약 33-38% 빠름).

의의 및 주장
이 논문은 제안된 방법론이 임베디드 추론에서 사이드채널 저항성 활성화 함수를 구축하는 실용적인 기초를 제공한다고 주장합니다. "숨기기"(무작위화) 에서 "상수 시간" 설계로 전환함으로써 이 접근법은 입력 의존적 실행 경로라는 타이밍 유출의 근본 원인을 제거합니다. 저자들은 이 방법론이 입력 값과 무관하게 실행되는 명령어 시퀀스를 가진 활성화 함수를 구축할 수 있게 하여 템플릿 기반 타이밍 공격을 방지한다고 주장합니다.

이 연구는 특히 타이밍 정보가 공격자에게 접근 가능할 수 있는 개인 정보 보호가 중요한 엣지 장치 (예: 의료 센서, 웨어러블 기기) 를 위한 보안 임베디드 머신러닝의 구성 요소로 자신을 위치시킵니다. 저자들은 이 방법이 활성화 함수의 타이밍 유출을 해결하지만 전체 추론 파이프라인에 대한 완전한 대응책은 아니며, 다른 사이드채널 (전력, 전자기파) 이나 구현 세부 사항들은 여전히 보호가 필요할 수 있음을 겸손하게 지적합니다. 이 연구는 구체적으로 타이밍 도메인에 초점을 맞추고 있으며 모든 잠재적 사이드채널 벡터를 해결한다고 주장하지는 않습니다.