🤖 machine learning

Towards Deep Encrypted Training: Low-Latency, Memory-Efficient, and High-Throughput Inference for Privacy-Preserving Neural Networks

이 논문은 민감한 데이터를 보호하기 위해 암호화된 데이터로 대량 배치 추론을 수행할 때 발생하는 지연 시간과 메모리 사용량 문제를 해결하기 위해, 최적화된 알고리즘과 파이프라인 아키텍처를 제안하여 기존 최첨단 기술 대비 실행 시간을 단축하고 메모리 효율성을 크게 향상시킨 암호화 신경망 추론 방법을 제시합니다.

원저자: Nges Brian Njungle, Eric Jahns, Michel A. Kinsy

게시일 2026-04-21

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Nges Brian Njungle, Eric Jahns, Michel A. Kinsy

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 **"비밀스러운 데이터를 해독하지 않은 채로, 인공지능 (AI) 이 그 데이터를 분석할 수 있게 만드는 기술"**에 대한 획기적인 개선을 다룹니다.

기존의 기술은 한 번에 하나의 데이터만 처리할 수 있어 느리고 비효율적이었습니다. 이 연구팀은 "대량으로 한꺼번에 처리하면서도, 메모리 (RAM) 를 적게 쓰고 속도도 빠르게" 만드는 새로운 방법을 개발했습니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

🕵️‍♂️ 비유: "비밀 편지 처리소" 이야기

상상해 보세요. 여러분은 **비밀 편지 (암호화된 데이터)**를 보내고 싶은 고객이고, 이 편지를 처리해 주는 **거대한 우체국 (서버/AI)**이 있습니다.

1. 문제: "한 장씩만 열어봐" (기존 기술의 한계)

기존의 우체국은 아주 신중했습니다.

"고객님이 보내신 512 장의 비밀 편지가 왔네요. 하지만 우리는 한 번에 한 장씩만 열어볼 수 있어요."
편지를 하나씩 꺼내서, 암호를 풀고, 내용을 읽고, 다시 봉투에 넣는 과정을 512 번 반복해야 했습니다.
결과: 시간이 너무 오래 걸리고, 편지들을 임시로 쌓아두는 공간 (메모리) 이 우체국 전체를 다 채워버려서 다른 일을 할 수 없게 되었습니다.

2. 해결책: "한 번에 512 장을 묶어서 처리하는 새로운 시스템" (이 연구의 핵심)

이 연구팀은 **"한 번에 편지 뭉치를 통째로 처리하는 새로운 컨베이어 벨트"**를 만들었습니다.

비유 1: "편지 뭉치 (Batch Processing)"
- 이제 우체국은 편지를 한 장씩 처리하지 않습니다. 512 장을 한 묶음으로 묶어서 한 번에 대량으로 처리합니다.
- 마치 공장에서 자동차를 한 대씩 조립하는 게 아니라, 한 번에 50 대씩 조립 라인에 올리는 것과 같습니다.
비유 2: "빈 공간 활용 (Slot Reclamation)"
- 편지를 처리하는 과정에서 편지 크기가 줄어들면 (예: 사진이 작아지면) 원래 공간에 빈자리가 생깁니다.
- 기존 시스템은 그 빈자리를 그냥 비워두었습니다. 하지만 이 연구팀은 **"아, 빈자리가 생겼네? 다른 편지 뭉치를 그 빈자리에 쑤셔 넣자!"**라고 생각했습니다.
- 이렇게 하면 **한 번에 더 많은 편지 (데이터)**를 처리할 수 있게 되어, 전체 처리 속도가 비약적으로 빨라집니다.
비유 3: "여러 명의 직원 동시 작업 (Multi-threading)"
- 우체국에 직원 32 명이 있습니다. 예전에는 한 명이 일하고 나머지는 기다렸습니다.
- 하지만 이 새로운 시스템은 32 명의 직원이 동시에 각자 맡은 편지 뭉치를 처리하도록 배정합니다. 서로 방해받지 않고 일하니까 속도가 훨씬 빠릅니다.
비유 4: "필요한 도구만 들고 다니기 (Memory Efficiency)"
- 예전에는 모든 편지 처리에 필요한 열쇠 (암호화 키) 를 한 번에 모두 가져와서 책상 위에 쌓아두어야 했습니다. 책상이 (메모리) 너무 커졌습니다.
- 이 연구팀은 **"지금 처리하는 편지 뭉치에 필요한 열쇠만 가져와서 쓰고, 끝나면 다시 치워버린다"**는 방식을 썼습니다.
- 결과: 책상 (메모리) 을 훨씬 작게 만들면서도, 처리량은 훨씬 늘렸습니다.

🚀 이 기술이 가져온 놀라운 변화

이 연구팀이 만든 새로운 시스템 (ResNet-20 모델 기준) 은 다음과 같은 성과를 냈습니다.

속도 2 배 빨라짐:
- 예전에는 편지 512 장을 처리하는 데 15 초 이상 걸렸는데, 이제는 8.8 초면 충분합니다. (약 1.78 배 빨라짐)
공간 4 배 절약됨:
- 예전에는 우체국 전체를 다 채울 만큼의 공간 (370GB 메모리) 이 필요했는데, 이제는 100GB 정도만 있으면 됩니다. (약 3.74 배 줄어듦)
현실적인 장비로 가능:
- 예전에는 거대하고 비싼 슈퍼컴퓨터가 필요했지만, 이제는 일반적인 서버로도 이 일을 할 수 있게 되었습니다.

💡 왜 이것이 중요한가요?

병원: 수천 명의 환자의 MRI 스캔 데이터를 해독하지 않고도, AI 가 한 번에 분석해서 병을 찾아낼 수 있습니다.
은행: 수만 건의 거래 내역을 해독하지 않고도, 한 번에 사기 여부를 체크할 수 있습니다.
개인정보 보호: 데이터를 보내는 사람도, 처리하는 사람도 "원본 데이터"를 볼 필요가 없습니다. 오직 암호화된 상태에서만 계산이 이루어지기 때문입니다.

📝 결론

이 논문은 **"비밀을 지키면서 AI 를 빠르게, 저렴하게, 대량으로 돌리는 방법"**을 찾아냈습니다. 마치 비밀 편지 처리소를 자동화 공장처럼 바꾸어, 한 번에 수백 장을 처리하면서도 공간은 반으로 줄인 혁신적인 기술이라고 할 수 있습니다.

이제 우리는 더 안전하고 빠른 AI 서비스를 일상에서 더 쉽게 만날 수 있게 되었습니다.

이 논문은 개인정보 보호를 위한 머신러닝 (PPML) 분야에서, 암호화된 데이터에 대한 대규모 배치 (Batch) 추론의 성능과 메모리 효율성을 획기적으로 개선한 연구 결과를 제시합니다. 저자들은 Homomorphic Encryption(HE, 동형 암호화) 을 사용하여 암호화된 이미지 배치 처리를 최적화하고, 이를 통해 기존 단일 입력 처리 방식의 한계를 극복하는 새로운 파이프라인 아키텍처를 제안합니다.

주요 내용은 다음과 같습니다.

1. 문제 정의 (Problem)

배치 처리의 부재: 기존 HE 기반 신경망 연구는 주로 단일 암호화된 이미지에 대한 추론에 집중해 왔습니다. 그러나 실제 의료, 금융 등 대규모 민감 데이터를 처리해야 하는 고처리량 (High-throughput) 환경에서는 배치 처리가 필수적입니다.
성능 병목 현상: 암호화된 배치 처리는 기존 방식에 비해 처리량 (Throughput) 은 높일 수 있지만, 복잡한 패킹 (Packing) 로직, 과도한 회전 (Rotation) 연산, 그리고 막대한 메모리 요구량으로 인해 실용화에 큰 장벽이 존재했습니다.
기존 연구의 한계: 가장 최신 연구 (Cheon et al., 2024) 도 512 개 배치 처리 시 약 15.76 초의 지연 시간과 370GB 이상의 막대한 메모리를 요구하여, 일반적인 서버 환경에서의 배포가 어려웠습니다.

2. 방법론 (Methodology)

저자들은 FHEON 프레임워크와 OpenFHE 라이브러리를 기반으로 다음과 같은 최적화 기법들을 개발했습니다.

채널별 패킹 (Channel-By-Channel, CBC) 전략 확장:
- 입력 데이터의 각 채널을 여러 암호문 (Ciphertext) 에 걸쳐 인코딩하여, SIMD(단일 명령어 다중 데이터) 방식을 통해 배치 내 모든 이미지를 동시에 처리할 수 있도록 합니다.
- 가중치 (Weights) 를 배치 레이아웃에 맞춰 동적으로 복제하여, 하나의 평문 - 암호문 곱셈으로 전체 배치에 동일한 커널을 적용하도록 최적화했습니다.
최적화된 회전 (Rotation) 전략:
- 합성곱 (Convolution) 레이어: 기존에는 커널 크기 ( $k \times k$ ) 만큼의 회전 키가 필요했으나, 저자들은 4 개의 기본 회전 키 ( $\pm 1, \pm W$ ) 만으로 모든 공간적 정렬을 유도하는 알고리즘을 제안했습니다. 이는 회전 키 저장 메모리를 대폭 줄이고 연산 비용을 절감합니다.
- 완전 연결 (Fully Connected) 레이어: 배치 인덱스에 따른 회전 오프셋을 '베이스'와 '모듈'로 분해하여 회전 키 재사용을 극대화하고, 메모리 부담을 줄였습니다.
다중 스레딩 (Multi-threading):
- 합성곱 및 완전 연결 레이어의 계산을 논리적으로 독립적인 서브모듈로 분해하여 CPU 코어 간 병렬 처리를 가능하게 했습니다. 데이터 종속성을 최소화하여 스레드 간 동기화 오버헤드를 줄였습니다.
최적화된 파이프라인 아키텍처 (Accumulator):
- 다운샘플링 (Downsampling) 시 슬롯 회수: 신경망의 다운샘플링 과정에서 발생하는 빈 슬롯 (Empty Slots) 을 방치하지 않고, **Accumulator(누적기)**를 통해 여러 중간 암호문을 하나의 밀집된 암호문으로 병합 (Merging) 합니다.
- 가상 배치 크기 확장: 이 과정을 통해 실제 입력 배치 크기보다 큰 유효 배치 크기 (Effective Batch Size) 를 유지하며, 연산의 평균화 (Amortization) 효과를 극대화합니다.
- 키 재사용 전략: 블록 그룹 (Block Group) 단위로 필요한 회전 키와 부트스트래핑 키만 메모리에 로드하고 나머지는 언로드하여 메모리 사용을 최소화합니다.

3. 주요 기여 (Key Contributions)

최적화된 알고리즘 개발: 암호문 패킹 효율 향상, 불필요한 회전 제거, 레이어 수준 연산 간소화를 통해 대규모 암호화 배치 추론을 지원합니다.
새로운 파이프라인 아키텍처: 네트워크 레이어를 지속적으로 활성화하여 유휴 시간을 최소화하고, Accumulator 를 통해 배치 크기를 유연하게 제어하며 처리량을 극대화하는 설계를 제안했습니다.
광범위한 평가: CIFAR-10 및 CIFAR-100 데이터셋을 사용하여 ResNet-20 및 ResNet-34 모델에 대해 16~512 개의 다양한 배치 크기로 실험을 수행하여 방법론의 확장성과 실용성을 입증했습니다.

4. 실험 결과 (Results)

실험은 32 코어 CPU 와 256GB RAM 을 갖춘 일반적인 서버 환경에서 수행되었습니다.

ResNet-20 (CIFAR-10, 배치 512):
- 평균 추론 시간: 이미지당 8.86 초 (기존 최선 대비 1.78 배 개선).
- 피크 메모리 사용량: 98.96 GB (기존 최선 대비 3.74 배 감소, 기존 370GB 대비).
- 기존 연구 (Cheon et al.) 가 고사양 하드웨어 (1TB RAM, 40 코어) 를 사용했음에도 불구하고, 본 연구는 더 저렴하고 일반적인 하드웨어에서 훨씬 우수한 성능을 달성했습니다.
ResNet-34 (CIFAR-100, 배치 256):
- 평균 추론 시간: 이미지당 28.14 초.
- 메모리 사용량: 246.78 GB.
정확도: 암호화된 환경에서의 정확도는 평문 (Plaintext) 모델과 거의 동일한 수준을 유지했습니다 (ResNet-20: 92.2%, ResNet-34: 74.4%).

5. 의의 및 결론 (Significance)

이 연구는 고처리량 암호화 추론을 실용적인 수준으로 끌어올린 중요한 이정표입니다.

실용성 증대: 막대한 메모리 요구량과 높은 지연 시간을 해결함으로써, 의료 진단, 금융 사기 탐지 등 대규모 민감 데이터가 필요한 실제 PPML 애플리케이션의 배포 가능성을 높였습니다.
하드웨어 접근성: 고가의 특수 하드웨어 없이도 상용 서버에서 고효율 암호화 추론이 가능함을 입증했습니다.
향후 전망: 추론에서 얻은 기술 (슬롯 회수, 다중 스레딩, 배치 최적화) 은 향후 암호화된 **신경망 학습 (Training)**으로 확장될 수 있는 기반을 마련했습니다.

요약하자면, 이 논문은 동형 암호화 기반의 딥러닝 추론이 단일 입력 처리의 한계를 넘어, 대규모 배치 처리 환경에서도 효율적이고 메모리 친화적으로 작동할 수 있음을 보여주는 획기적인 연구입니다.