Kernel-Based ReLU Approximation for Homomorphic Encryption-Compatible Privacy-preserving Deep Learning Models

기술 요약: 동형 암호화 호환 프라이버시 보호 딥러닝 모델을 위한 커널 기반 ReLU 근사

1. 문제 제기

대규모 언어 모델 (LLM) 과 딥러닝 (DL) 의 광범위한 채택은 암호화되지 않은 형태로 민감한 사용자 데이터 (예: 건강 정보) 를 처리할 때 발생하는 프라이버시 우려를 고조시켰습니다. 동형 암호화 (HE), 특히 CKKS 와 같은 방식은 복호화 없이 암호화된 데이터에 대한 연산을 가능하게 함으로써 이러한 문제에 대한 해결책을 제시합니다. 그러나 HE 는 본질적으로 덧셈과 곱셈 연산으로 제한됩니다. 이는 비선형 활성화 함수인 ReLU(Rectified Linear Unit) 에 크게 의존하는 표준 DL 아키텍처와 근본적인 비호환성을 초래합니다.

$ReLU(x) = \max(0, x)$로 정의된 ReLU 함수는 매끄럽지 않습니다 (0 에서 미분 불가능). HE 에서 곱셈 깊이를 최소화하기 위해 요구되는 저차 다항식으로 이러한 매끄럽지 않은 함수를 직접 근사할 경우, 상당한 근사 오차가 발생합니다. $x^2$함수나 고차 체비셰프 다항식과 같은 기존 방법들은 음수 입력에 대한 0 처리 행동을 포착하지 못하거나, 암호화된 환경에서 배포 시 prohibitive 한 계산 비용과 불안정성 (예: 런게 현상) 을 초래합니다.

2. 방법론

본 논문은 ReLU 의 동작을 높은 충실도와 낮은 곱셈 깊이로 모방하는 HE 호환 2 차 다항식을 생성하도록 설계된 2 단계 커널 기반 ReLU 근사 방법을 제안합니다.

• 커널 회귀를 통한 평활화: ReLU 의 비매끄러움 문제를 해결하기 위해 저자들은 먼저 커널 기반 방법을 사용하여 함수를 매끄러운 근사치로 변환합니다. 구체적으로, 입력 데이터에 대해 훈련된 쌍곡선 탄젠트 커널 ($k(x, x') = \tanh(\langle x, x' \rangle + 1)$) 을 사용합니다. 이 단계는 잭슨 정리 (Jackson's Theorem) 가 지지하는 바와 같이, 더 매끄러운 함수가 다항식에 의해 더 정확하게 근사될 수 있다는 원리를 활용합니다.
• 다항식 피팅: 훈련된 커널 함수의 출력은 일반 최소제곱법 (OLS) 회귀를 통해 2 차 다항식 ($p(x) = a_0 + a_1x + a_2x^2$) 으로 근사됩니다.
• 데이터 소스: 이 방법은 사전 훈련된 LLM(RoBERTa 및 DistilBERT) 에서 추출한 토큰 임베딩을 스탠포드 감정 트리뱅크 (SST-2) 데이터셋을 사용하여 직접 훈련 및 평가됩니다. 이는 근사가 합성 분포가 아닌 실제 NLP 데이터에 기반하도록 보장합니다.
• 차수 선택: 저자들은 2 차부터 5 차까지의 다항식 차수를 체계적으로 평가했습니다. 고차수가 이론적으로는 더 나은 적합도를 제공하지만, CKKS 방식에서 증가된 곱셈 깊이와 노이즈 성장으로 인해 암호화된 도메인에서 불안정성과 기하급수적으로 높은 오차율을 초래한다는 사실을 발견했습니다. 결과적으로 정확도와 계산 효율성 사이의 최적의 균형을 이루는 2 차 다항식이 선택되었습니다.

최종적으로 도출된 다항식은 다음과 같습니다:
$$p(x) = 0.082261 + 0.495588x + 0.444488x^2$$

3. 주요 기여

• 새로운 근사 전략: HE 제약 조건에 맞게 특별히 설계된 저차 다항식 피팅에 이어지는 커널 기반 평활화 기법의 도입.
• 실제 환경 검증: 기존 연구들이 종종 합성 데이터에 의존하거나 분류 정확도를 통한 간접 평가를 수행하는 것과 달리, 본 방법은 사전 훈련된 LLM 의 실제 토큰 임베딩을 기반으로 훈련 및 평가됩니다.
• 종합 벤치마킹: 제안된 방법은 근사 오차 (MSE), 모델 정확도 (FeedForward, CNN, ViT), 그리고 계산 비용 등 여러 차원에 걸쳐 $x^2$, FasterCryptoNets, 그리고 3 차 및 5 차 체비셰프 다항식과 같은 기존 근사법들과 엄격하게 비교되었습니다.

4. 결과

평문 및 암호화 (CKKS) 환경 모두를 아우르는 6 가지 실험 시나리오에 걸쳐 평가가 수행되었습니다:

• 근사 정확도: 커널 다항식 방법은 고차 다항식들이 상당한 불안정성을 보인 것 (예: 5 차의 경우 MSE > 390) 과 비교하여 평문 및 암호화 환경 모두에서 가장 낮은 평균 제곱 오차 (MSE, 0.056862) 를 달성했습니다. RoBERTa 및 DistilBERT 임베딩을 사용한 구조화된 데이터 테스트에서 제안된 방법은 MSE 를 0.002 로 유지하며 $x^2$및 FasterCryptoNets 를 능가했습니다.
• 모델 성능:
  • DL 모델: MNIST 데이터셋의 FeedForward 및 CNN 아키텍처에서 커널 다항식은 각각 99% 및 99.2% 의 정확도를 달성하여, 최상위 성능을 보이는 FasterCryptoNets(99.3%) 와 비슷하거나 약간 낮은 수준을 보였습니다.
  • 트랜스포머: CIFAR-10 및 CIFAR-100 을 사용한 ViT 아키텍처에서 이 방법은 강력한 일반화 능력을 보여주어 CIFAR-100 에서 38.5% 의 정확도를 달성했습니다 (테스트된 방법 중 가장 높음). 반면 체비셰프 -5 와 같은 고차 근사법들은 더 낮은 성능을 보였습니다.
• 암호화 환경 성능:
  • 정확도 격차: 제안된 방법은 평문과 암호화 실행 사이의 정확도 격차가 가장 작았습니다 (29.3%). 이는 체비셰프 -3(35.3%) 및 체비셰프 -5(33.6%) 보다 우수한 성능입니다.
  • 계산 효율성: 2 차 다항식은 상당한 속도 이점을 제공했습니다. 커널 다항식의 총 실험 시간은 1,864 초였으나, 체비셰프 -5 는 11,348 초가 소요되어 약 109 배의 지연을 보였습니다. 이 방법은 낮은 곱셈 깊이를 유지하여 CKKS 에서 고차 다항식과 관련된 빠른 노이즈 성장을 방지했습니다.

5. 의의 및 주장

본 논문은 제안된 커널 다항식 방법이 LLM 과 DL 모델의 프라이버시 보호 추론을 위한 강력하고 효율적인 해결책이라고 주장합니다. 그 의의는 다음과 같습니다:

• 격차 해소: 암호화 및 비암호화 실행 간의 성능 격차를 효과적으로 해소하여, 고차 근사에서 보이는 심각한 정확도 저하 없이 프라이버시 민감 NLP 환경에서 트랜스포머와 같은 복잡한 모델의 배포를 가능하게 합니다.
• 최적의 균형: 본 연구는 매끄러운 커널 기반 함수의 경우, 저차 다항식 (특히 2 차) 이 높은 분류 정확도와 낮은 계산 비용을 유지하면서 예외적으로 낮은 근사 오차를 달성할 수 있음을 보여줍니다. 이는 HE 컨텍스트에서 근사를 위해 고차 다항식이 본질적으로 우월하다는 가정에 도전합니다.
• 실용적 타당성: 곱셈 깊이를 최소화함으로써 이 방법은 "프라이버시의 비용"(지연 시간 및 노이즈 누적) 을 줄여, 고속 처리가 필요한 안전한 추론 애플리케이션을 위한 실현 가능한 후보가 됩니다.

저자들은 향후 작업이 적응형 하이브리드 모델과 하드웨어 가속을 탐구할 수 있지만, 현재 방법은 비선형 활성화 함수를 동형 암호화 호환 딥러닝 파이프라인에 통합하는 중요한 과제를 성공적으로 해결했다고 결론지었습니다.