Decision-Aware Quadratic ReLU Replacement for HE-Friendly Inference

기술 요약: HE 친화적 추론을 위한 의사결정 인지형 2 차 ReLU 대체

문제 제기
완전 동형 암호화(FHE) 는 암호화된 데이터를 복호화하지 않고 연산을 수행함으로써 프라이버시를 보호하는 신경망 추론을 가능하게 합니다. 그러나 FHE 는 본질적으로 덧셈과 곱셈만 지원하므로, ReLU($\max\{0, u\}$) 와 같은 비선형 활성화 함수는 계산 비용이 매우 큽니다. 기존 FHE 만을 사용하는 접근법들은 일반적으로 ReLU 를 경험적 활성화 구간에서 적합된 고차 다항식 (예: Remez 또는 체비셰프 근사) 으로 대체합니다. 이러한 방법들은 비교 연산을 피하지만, 근사 오차를 제어하기 위해 종종 고차 다항식을 필요로 하여 곱셈 깊이, 재스케일링 연산 및 지연 시간을 증가시킵니다. 또한, 이러한 방법들은 최종 1 위 로그 (top-1 logit) 순서를 보존하는 글로벌 분류 목적보다는 국소적인 점별 근사 충실도를 최적화합니다.

방법론
저자들은 모델을 재학습하지 않고 ReLU 를 공유되는 저차 2 차 다항식 ($q(u) = \alpha u^2 + \beta u + \eta$) 으로 대체하는 의사결정 인지형 (decision-aware) 프레임워크를 제안합니다. 핵심 통찰은 훈련된 단일 은닉층 ReLU 다층 퍼셉트론 (MLP) 또는 고정된 특징 (frozen features) 에 대한 MLP 헤드의 경우, 최종 결정은 로그 (logit) 의 순서에 의존한다는 것입니다. 따라서 대체 다항식은 ReLU 를 점별로 근사할 필요가 없으며, 선언된 보정 세트 (calibration set) 에서 최종 점수의 상대적 순서만 보존하면 됩니다.

방법론은 두 단계로 진행됩니다:

1. 오프라인 계수 구성: 훈련된 모델과 보정 세트를 기반으로, 저자들은 계수 $(\alpha, \beta, \eta)$ 탐색을 기하학적 실현 가능성 문제로 공식화합니다.
   • 이진 분류 경우: 문제는 통계량 $Q(x) = \sum a_j y_j(x)^2$와 $H(x) = \sum a_j y_j(x) + b$로 정의된 2 차 공간에서 두 개의 들어올려진 (lifted) 볼록 껍질 사이에 양의 마진 초평면 분리자를 찾는 문제로 축소됩니다. 만약 껍질들이 서로 겹치지 않으면, 보정 손실 없는 정확한 대체가 가능합니다. 최적 계수는 껍질 사이의 가장 가까운 점 쌍으로부터 유도됩니다.
   • 다중 클래스 경우: 조건은 쌍별 아핀 로그 마진 부등식의 엄격한 실현 가능성으로 변합니다.
   • 완화 (Relaxations): 정확한 분리가 실패할 때 (오분류된 샘플이나 작은 마진으로 인해), 저자들은 **축소된 볼록 껍질 (Reduced Convex Hulls, RCH)**과 라그랑주 쌍대 소프트 마진 완화를 사용합니다. 이러한 기법들은 개별 샘플의 영향을 매개변수 $\mu$를 통해 제한하거나 슬랙 변수를 도입하여, 문제를 실험적 일치도가 높은 근사적으로 실현 가능한 계수를 산출하는 볼록 2 차 계획법 (QPs) 으로 변환합니다.
2. 온라인 추론: 서버는 암호화된 입력에 대해 결과적으로 생성된 다항식화된 산술 회로를 평가합니다. 2 차 대체는 활성화당 하나의 암호문 - 암호문 곱셈만 필요로 하므로, 고차 대안들에 비해 곱셈 깊이를 현저히 줄입니다.

주요 기여

• 의사결정 인지형 공식화: 본 논문은 목적을 국소적 활성화 오차 최소화에서 보정 세트 로그 순서 일치도 최대화로 전환합니다. 이는 최종 분류 결정을 보존한다면 ReLU 의 점별 근사가 불충분하더라도 2 차 다항식을 사용할 수 있게 합니다.
• 정확한 유한 표본 이론: 이진 분류기의 경우, 저자들은 들어올려진 볼록 껍질의 양의 마진 분리 가능성에 기반한 보정 손실 없는 대체를 위한 필요충분조건을 확립합니다. 이는 계수를 찾는 $O(n \log n)$ 복잡도의 구성적 알고리즘과 양자화 허용 오차에 대한 증명을 제공합니다.
• 기하학적 완화: 정확한 분리가 불가능한 경우를 위해, 본 논문은 정확한 이론을 지속적으로 확장하는 RCH 와 소프트 마진 완화를 도입합니다. 이러한 방법들은 정확히 보존된다고 주장하기보다는 (인증할 수 없는 경우), 마진, 슬랙, 일치율과 같은 명시적 진단을 제공하는 실용적 대리 모델을 제공합니다.
• 구현 및 검증: 저자들은 오픈소스 QUAD4FHE 라이브러리에 파이프라인을 구현했습니다. 그들은 원시 특징과 고정된 표현 (DINOv2, Qwen3) 을 모두 사용하여 다양한 데이터셋 (표, 비전, 텍스트) 에서 접근법을 검증했습니다.

결과

• 정확도: CKKS 방식 하에서, 2 차 대체는 여러 벤치마크 (예: Otto, DINOv2/FGVC-Aircraft, Qwen3/MASSIVE) 에서 원래 ReLU 모델의 평문 1 위 정확도와 일치합니다. 많은 다중 클래스 작업에서, 더 낮은 차수의 다항식을 사용함에도 불구하고 OLA 및 Precise Approximation 과 같은 강력한 기준선과 일치하거나 능가합니다.
• 효율성: 2 차 대체는 활성화 모듈에서 3.7~4.1 배, 종단간 (end-to-end) 으로 1.18~1.68 배 더 빠르게 실행됩니다 (Remez-7 대비). 이는 2 차 회로가 더 얕은 곱셈 깊이 (Remez-7 의 5 에 비해 4) 내에 적합하여 더 효율적인 계수 - 모듈러스 체인을 허용하고 재스케일링 오버헤드를 줄이기 때문입니다.
• 강건성: 이 방법은 보정 풀이 작을 때 (데이터셋의 1~5% 수준) 도 효과적으로 유지되며, 고정된 특징 추출기를 효과적으로 처리합니다.

의의 및 주장
본 논문은 ReLU 대체를 함수 근사 문제가 아닌 의사결정 보존 문제로 재정의함으로써, 최소한의 계산 오버헤드로 고정밀 FHE 추론을 달성할 수 있다고 주장합니다. 그 의의는 2 차 다항식이 의사결정 인지형 기하학적 프레임워크를 통해 선택될 때 고정밀 암호화 추론에 충분함을 입증하여, 고차 다항식과 관련된 지연 시간 패널티를 피할 수 있다는 점에 있습니다. 저자들은 그들의 보장이 선언된 보정 세트에 국한되며 미지의 입력에 대한 분포 무관 보장을 제공하지는 않지만, 실험적 결과는 테스트 세트에 대한 강력한 일반화를 보여준다고 강조합니다. 이 연구는 FHE 만을 사용하는 신경 추론에서 정확도와 지연 시간 간의 균형을 최적화하는 수학적으로 투명한 경로를 제공합니다.