Meeting in the Middle: A Co-Design Paradigm for FHE and AI Inference

논문 요약: FHE 와 AI 추론을 위한 중재적 공동 설계 (Co-Design) 패러다임

1. 문제 정의 (Problem)

대규모 신경망 모델을 클라우드 호스팅 서비스로 배포할 때, **유용성 (Utility)**과 개인정보 보호 (Privacy) 사이에는 근본적인 긴장 관계가 존재합니다.

• 현재의 한계: 기존 생산 시스템은 주로 신뢰 실행 환경 (TEE, Trusted Execution Environments) 을 사용하여 이 문제를 해결하지만, TEE 는 사이드 채널 공격에 취약하고 하드웨어 제조사를 신뢰해야 하며 사용자에게 암호학적 보장을 제공하지 못합니다.
• FHE 의 비효율성: 완전 동형 암호화 (FHE) 는 TEE 의 대안으로 제시되지만, 범용 컴퓨팅을 위해 설계된 일반적인 FHE 를 그대로 적용할 경우 신경망 추론은 실용성이 떨어집니다. 특히 Transformer 와 같은 모델은 수백만 개의 비선형 및 구조적 연산을 수행하는데, 표준 FHE 파라미터 하에서는 이러한 연산 비용이 치명적으로 높습니다.
• 핵심 쟁점: 기존의 연구들은 암호 체계의 개선이나 모델 구조의 변경을 개별적으로 다루어 왔으나, 두 영역을 분리하여 접근하는 한계가 있었습니다.

2. 방법론 (Methodology)

저자들은 공동 설계 (Co-Design) 접근법을 제안합니다. 이는 암호 체계와 AI 모델을 상호적으로 특화 (Specialize) 시켜 "중간 지점 (Meeting in the Middle)"에서 최적의 성능을 달성하는 전략입니다.

A. 추론을 위한 FHE 특화 (Specializing FHE for Inference)
AI 추론 작업은 범용 프로그램과 달리 구조적으로 예측 가능하고 정적입니다. 이를 활용하여 FHE 를 최적화합니다.

• 정적 회로 최적화: 데이터 의존적 분기 (branching) 가 없으므로 전체 회로 토폴로지를 사전에 계산할 수 있습니다. 이를 통해 암호화 데이터 처리 전에 오프라인에서 공격적인 회로 최적화가 가능합니다.
• 플레인텍스트 모듈러스 및 인코딩 맞춤: 양자화 인식 학습 (QAT) 등을 통해 활성화 값, 가중치, 어텐션 점수의 동적 범위가 제한됨을 이용합니다. 필요한 정밀도를 유지하면서 깊이와 노이즈 증가를 제어하기 위해 평문 모듈러스, 스케일링 전략, 인코딩 방식을 공동 설계합니다.
• SIMD 패킹 전략 최적화: 추론 시 텐서 모양이 컴파일 시간에 고정되어 있으므로, 링 기반 FHE 스키마 (BFV/BGV/CKKS) 의 SIMD 패킹을 모델의 행렬 곱셈 구조에 정렬하도록 설계합니다. 이는 암호학적 회전 (rotations) 과 키 스위칭 (key switching) 과 같은 고비용 연산을 획기적으로 줄입니다.
• 정적 부트스트래핑 스케줄링: 고정된 추론 회로에서 노이즈가 가장 빠르게 누적되는 지점을 정적으로 추정하고 측정하여, 전체 부트스트래핑 연산 수를 최소화하는 최적의 정적 스케줄을 사전에 계산합니다.

B. FHE 를 위한 추론 제약 (Constraining Inference for FHE)
반대로, AI 커뮤니티는 FHE 에 더 적합하도록 추론 아키텍처를 재설계해야 합니다.

• FHE 친화적 신경 아키텍처 탐색 (NAS): 기존 NAS 가 정확도와 평문 지연 시간을 최적화했다면, 새로운 NAS 는 **승법 깊이 (multiplicative depth)**와 **회전 횟수 (rotation count)**를 주요 목적 함수로 포함해야 합니다. 이는 깊고 좁은 레이어보다 얕고 넓은 레이어를 선호하고, 고차 다항식 연산을 억제하는 아키텍처를 찾도록 유도합니다.
• 비선형 함수의 재정의: ReLU 나 GeLU 와 같은 표준 비선형 함수는 다항식이 아니거나 매끄럽지 않아 FHE 에서 평가하는 데 비용이 많이 듭니다. 이를 저차 다항식 활성화 함수로 대체하거나, FHE 에서 효율적으로 실행될 수 있도록 비선형/선형 연산을 근사화해야 합니다.
• 양자화 인식 학습 (QAT) 과 구조적 희소성: FHE 파라미터 (평문 모듈러스 등) 를 직접 타겟팅하여 QAT 를 수행하면 네트워크가 암호화 제약 내에서 자연스럽게 작동하도록 학습시킬 수 있습니다. 또한, SIMD 패킹 전략과 정렬되도록 블록 구조 희소성 (block structured sparsity) 을 강제하여 동형 평가 중 연산 자체를 물리적으로 생략 (skip) 할 수 있습니다.

3. 주요 기여 (Key Contributions)

1. 통합된 프레임워크 제시: 암호 체계와 AI 모델을 분리하여 최적화하는 기존 접근법과 달리, 두 영역의 제약을 동시에 수용하는 '중재적 공동 설계' 패러다임을 제안했습니다.
2. FHE 특화 최적화 전략: AI 작업의 정적 특성을 활용하여 회로 토폴로지, 패킹 전략, 부트스트래핑 스케줄 등을 사전에 최적화하는 구체적인 방법을 제시했습니다.
3. FHE 친화적 모델 설계 가이드: NAS 에 암호학적 비용 함수를 도입하고, 비선형 함수를 다항식으로 대체하거나 근사화하는 등 모델 구조 자체를 FHE 에 맞게 변형하는 방향을 제시했습니다.
4. 실증적 유효성 입증: Softmax 함수의 근사화 실험을 통해, 특정 조건 (CPU 기반, 키 생성/암호화 등 오버헤드 제외) 에서 동형 평가가 평문 Rust 구현체보다 더 빠를 수 있음을 보였습니다.

4. 결과 및 성과 (Results)

• 성능 개선 가능성: 범용 FHE 와 SOTA 추론 모델의 단순 결합 (Naive integration) 보다 공동 설계 접근법이 훨씬 우수한 성능을 낼 것으로 가설을 세웠습니다.
• Softmax 평가 실험: 제한된 로그 (logit) 범위 내에서 Softmax 를 근사화하는 실험적 모델을 개발했습니다.
  • 오차: 측정된 지표 하에서 0.5% 미만의 오차를 기록했습니다.
  • 속도: 동일한 CPU 환경 (SIMD/AVX/GPU 미사용) 에서 Softmax 함수 평가만 타이밍을 측정한 결과, 동형 평가가 평문 Rust 구현체보다 더 빠른 속도를 보였습니다.
  • 주의: 이 비교는 키 생성, 암호화/복호화, 패킹/언패킹, 통신, 부트스트래핑 등 전체 파이프라인의 오버헤드를 제외한 순수 함수 평가 시간입니다.

5. 의의 (Significance)

이 논문은 FHE 기반의 프라이버시 보호 AI 추론이 실용화되기 위해서는 단순히 암호화 기술을 개선하거나 모델을 단순히 암호화 가능한 형태로 바꾸는 것을 넘어, 두 기술의 근본적인 구조를 상호 조정 (Co-design) 해야 함을 강조합니다.

• 실용성 확보: AI 모델의 양자화, 가지치기, 적대적 공격에 대한 내성을 활용하면 FHE 의 제약 조건 (정밀도 손실 등) 을 모델이 자연스럽게 견딜 수 있음을 보여줌으로써, FHE 추론의 실용적 가능성을 높였습니다.
• 미래 연구 방향: 추론 아키텍처 탐색 (NAS) 과 암호 파라미터 설정을 통합하는 새로운 연구 분야를 개척하며, 클라우드 기반의 안전한 AI 서비스 구현을 위한 새로운 표준을 제시합니다.

결론적으로, 이 논문은 "FHE 를 AI 에 맞추거나, AI 를 FHE 에 맞추는" 이분법적 사고를 탈피하고, 두 기술이 서로의 제약 조건을 이해하고 최적화하는 상호 적응적 공동 설계가 미래의 핵심 해법임을 주장합니다.