💻 컴퓨터 과학

GPU-Accelerated Tensor Operations for CKKS-Based CNN Inference on Homomorphically Encrypted Data

본 논문은 TenSEAL 라이브러리를 Troy CKKS 라이브러리를 위한 커스텀 CUDA 백엔드와 통합하여, 고성능 CPU 서버 및 연산 단위(operation-level) GPU 베이스라인을 모두 크게 능가하며 소형 및 엣지 기기에서 효율적인 텐서 수준의 암호화된 CNN 추론을 가능하게 하는 GPU 가속 프레임워크를 제시한다.

원저자: Núria Moreno-Chamorro, Leonel Sousa, Aleksandar Ilić, Maribel Castillo, Manuel F. Dolz

게시일 2026-10-13

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Núria Moreno-Chamorro, Leonel Sousa, Aleksandar Ilić, Maribel Castillo, Manuel F. Dolz

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

디지털 시대에 인공지능의 약속은 종종 숨겨진 비용을 동반합니다. 바로 데이터를 처리하기 위해 서버에 개인 정보를 넘겨줘야 한다는 점입니다. 의료 기록이든, 금융 거래든, 혹은 개인 사진이든, 현재의 표준은 정보를 이해하기 위해 데이터를 복호화해야 하며, 이 과정에서 정보는 취약한 상태로 노출됩니다. 동형 암호(Homographic encryption)는 이러한 딜레마를 해결할 방법을 제시합니다. 이는 컴퓨터가 암호화되어 뒤섞인 상태를 유지하는 데이터에 대해 계산을 수행할 수 있게 하는 수학적 방법입니다. 컴퓨터는 원래의 값을 전혀 보지 않고도 암호화된 숫자들을 더하고, 곱하고, 분석하여, 나중에 잠금을 해제했을 때 원본 데이터로부터 얻었을 결과와 수학적으로 동일한 결과를 반환할 수 있습니다. 이 기술은 프라이버시 혁명을 일으킬 잠재력을 가지고 있지만, 수년 동안 실용적인 용도로 쓰기에는 너무 느렸습니다. 데이터를 암호화된 상태로 유지하면서 작업을 수행하는 데 필요한 계산량이 매우 방대한 나머지, 단 하나의 이미지를 처리하는 데 몇 시간 또는 며칠이 걸릴 수도 있어 얼굴 인식이나 질병 진단과 같은 실시간 응용 분야에서는 무용지물이었기 때문입니다.

스페인과 포르투갈의 연구팀은 이제 이 느리고 이론적인 기술을 실용적인 영역, 특히 인공지능을 이용한 이미지 분석 분야로 가져오는 새로운 접근 방식을 개발했습니다. 그들은 이미지 인식에 사용되는 근사치를 처리하도록 설계된 CKKS라는 특정 유형의 암호화에 집중했으며, 이러한 계산을 그래픽 처리 장치(GPU)에서 실행할 수 있는 시스템을 구축했습니다. GPU는 컴퓨터와 스마트로폰에서 대량의 데이터를 동시에 처리하도록 설계된 강력한 칩입니다. 연구진은 단순히 기존 코드를 빠르게 만든 것이 아니라, 컴퓨터가 작업을 조직하는 방식을 근본적으로 재고했습니다. 암호화된 데이터를 길고 순차적인 개별 단계의 사슬로 취급하는 대신, 그들은 이미지 분석 네트워크의 전체 계층(layer)을 한꺼번에 처리하는 시스템을 설계했습니다. 이를 통해 그들은 고수준 소프트웨어 명령과 현대 하드웨어의 가공할 속도 사이의 가교를 구축했으며, 복잡한 이미지 인식 작업을 이전에는 가능하다고 생각했던 시간의 아주 일부분만으로 암호화된 데이터에 대해 수행할 수 있게 했습니다.

그들 작업의 핵심은 '계층 수준 실행(layer-level execution)'이라 불리는 방법입니다. 이미지를 분석하는 일반적인 인공지능 네트워크에서 데이터는 일련의 단계, 즉 계층을 통과합니다. 어떤 계층은 가장자리와 모양을 찾고, 다른 계층은 유사한 픽셀들을 그룹화하며, 또 다른 계층은 최종 결정을 내리기 위해 정보를 결합합니다. 암호화된 데이터로 이러한 네트워크를 실행하려 했던 이전의 시도들에서, 컴퓨터는 매 수학 연산이 끝날 때마다 멈춰서 데이터를 재구성한 뒤 다음 단계를 시작해야 했습니다. 이러한 지속적인 멈춤과 시작은 거대한 병목 현상을 초상했습니다. TenSEAL이라는 인기 있는 소프트웨어 프레임워크와 통합되는 이 새로운 시스템은 컴퓨터가 네트워크의 전체 계층을 하나의 연속적인 폭발적 흐름(burst)으로 실행할 수 있게 합니다. 이는 암호화된 이미지를 개별적인 숫자의 집합이 아니라, 병렬로 조작될 수 있는 크고 조직된 블록으로 취급하는 것입니다. 이는 마치 사서가 책 한 권을 분류하는 것과 책장 전체를 한꺼번에 분류하는 것의 차이와 같습니다. 새로운 방식은 컴퓨터가 책을 하나씩 다루는 대신, 전체 책장을 동시에 분류할 수 있게 해줍니다.

이 아이디어를 테스트하기 위해 연구진은 그래픽 카드가 이러한 대규모 암호화 데이터 블록을 정확히 어떻게 다루어야 하는지 지시하는 '커널(kernel)'이라고 불리는 특화된 명령 세트를 구축했습니다. 그들은 두 가지 다른 유형의 하드웨어, 즉 고성능 서버 칩과 드론이나 자율 주행 차량 같은 엣지 디바이스용으로 설계된 소형 에너지 효율 칩에서 시스템을 테스트했습니다. 또한 그들의 새로운 방식을 두 가지 벤치마크와 비교했습니다. 하나는 96개의 프로세서 코어를 가진 표준적인 강력한 서버였고, 다른 하나는 동일한 그래픽 카드에서 실행되지만 더 느린 단계별 방식을 사용하는 그들 자신의 구형 소프트웨어였습니다. 결과는 놀라웠습니다. 이미지 인식에 필요한 복잡한 수학적 연산을 처리할 때, 소형 서버 칩에서 작동하는 새 시스템은 96코어의 거대 서버보다 최대 7.5배 더 빨랐습니다. 동일한 그래픽 카드에서 실행되는 구형 단계별 방식과 비교했을 때, 새 시스템은 특정 유형의 계산에서 최대 258배 더 빨랐습니다.

연구진은 단순히 속도만을 측정한 것이 아니라, 새 시스템이 정확한 결과를 생성하는지도 검증했습니다. 그들은 필기체 숫자를 식별하도록 설계된 모델과 작은 물체를 분류하는 모델, 두 가지 서로 다른 이미지 인식 모델을 암호화된 시스템을 통해 실행했습니다. 그리고 암호화된 처리를 거친 최종 답변을 암호화하지 않은 이미지를 처리했을 때의 답변과 비교했습니다. 차이는 미미했습니다. 암호화된 시스템은 암호화되지 않은 시스템과 동일한 정확한 예측을 내놓았으며, 결과값에는 수학적으로 예상 가능한 아주 미세한 변동만이 있었을 뿐 최종 결과에는 영향을 미치지 않았습니다. 이는 속도 향상이 정확도나 신뢰성을 희생하며 얻어진 것이 아님을 확인시켜 주었습니다. 시스템은 데이터의 프라이버시를 성공적으로 보호하면서도 전통적인 방식과 동일한 고품질의 결과를 전달했습니다.

이번 연구의 가장 중요한 발견 중 하나는 이러한 수준의 성능이 소형 및 엣지 디바이스에서도 달성 가능하다는 점입니다. 오랫동안 동형 암호의 높은 비용 때문에 이는 거대하고 전력을 많이 소모하는 데이터 센터에서만 실행될 수 있었습니다. 연구진은 최적화된 접근 방식을 통해 이러한 프라이버시 보호 계산이 더 작고 휴대 가능한 하드웨어에서도 효율적으로 실행될 수 있음을 입증했습니다. 이는 데이터가 생성된 기기를 떠날 필요가 없는 응용 분야의 문을 열어줍니다. 의료 기기가 클라우드 서버로 원본 이미지를 보내지 않고도 로컬에서 환자의 스캔 데이터를 분석하거나, 스마트 카메라가 중앙 데이터베이스로 시각 데이터를 전송하지 않고도 얼굴을 인식할 수 있게 됩니다. 이 연구는 계산의 장벽이 더 이상 극복할 수 없는 벽이 아니라, 적절한 아키텍처 설계를 통해 넘을 수 있는 허들임을 증명합니다.

새로운 시스템이 극적인 개선을 제공하지만, 연구진은 모든 과정이 이 방식으로부터 동일한 혜택을 받는 것은 아니라고 언급했습니다. 다음 단계의 준비를 위해 암호화된 데이터를 재구성하는 것을 포함하는 가장 복잡한 연산들은 여전히 상당한 시간을 소비합니다. 이러한 특정 사례들에서는 구형 그래픽 카드 방식 대비 새로운 방식의 이점이 덜 두드러졌으나, 여전히 상당한 수준이었습니다. 이는 계층 수준 전략이 큰 도약이긴 하지만, 가장 까다로운 계산들을 처리하는 방식에 있어서는 여전히 개선의 여지가 있음을 시사합니다. 연구진은 향로에 이러한 복잡한 작업들을 하드웨어에 매핑하는 다양한 방법을 탐구하여 효율성을 더욱 극대화하는 것을 목표로 하고 있습니다.

이 연구는 프라이버시와 성능이 서로 배타적이지 않은 미래를 향한 실질적인 발걸음을 의미합니다. 암호화된 데이터가 컴퓨터를 통과하는 방식을 재설계함으로써, 연구팀은 속도를 희생하지 않고도 정교한 인공지능을 잠긴 데이터 위에서 실행할 수 있음을 보여주었습니다. 결과는 프라이버시를 보호하는 머신 러닝의 시대가 더 이상 먼 미래의 이론적 가능성이 아니라, 우리가 이미 보유한 하드웨어에 배치할 수 있는 현실임을 나타냅니다. 이미지를 안전하고 빠르게 처리할 수 있는 능력은 차세대 보안 애플리케이션이 독립적으로 작동하면서도, 현대 사용자들이 기대하는 지능적인 통찰력을 제공하면서 동시에 민감한 정보를 안전하게 지킬 수 있음을 시사합니다.

기술 요약: CKKS 기반 CNN 추론을 위한 GPU 가속 텐서 연산

문제 정의

동형 암호(Homomorphic Encryption, HE)는 암호화된 데이터에 대해 복호화 없이 직접 심층 신경망(DNN) 추론을 수행할 수 있게 함으로써 프라이버시 보호형 머신러닝을 가능하게 한다. 그러나 고비용의 HE 연산—특히 다항식 곱셈, 키 스위칭(key switching), 모듈러 변환(modular transformations)—은 실질적인 배포를 심각하게 제한한다. GPU는 개별 HE 프리미티브(primitives)를 가속화하는 능력을 입증해 왔으나, 이를 완전한 합성곱 신경망(CNN) 추론을 위한 고수준 텐서 프레임워크로 통합하는 것은 여전히 도전적인 과제이다. 기존 솔루션들은 종종 특정 암호학적 커널을 가속화하는 데 집중하거나 서버급 CPU에 의존하며, 이로 인해 효율적인 실행을 위한 컴팩트 및 엣지 GPU 플랫폼에서의 격차가 발생한다. 또한, 현재의 GPU 기반 접근 방식은 암호화된 텐서 레이어를 개별 암호문 연산의 시퀀스로 실행하는 경우가 많아, 암호화된 텐서 요소와 그 다항식 계수들 사이에 존재하는 병렬성을 충분히 활용하지 못한다.

방법론

저자들은 고수준 암호화 텐서 연산과 효율적인 GPU 실행을 연결하는 GPU 가속 프레임워크를 제시한다. 이 접근 방식은 CKKS 스킴을 구현하는 CUDA 기반 HE 라이브러리인 Troy를 확장하고, 이를 TenSEAL 실행 파이프라인에 통합한다.

핵심 실행 전략

제안된 방법론은 연산 단위(operation-level) 실행 모델에서 레이어 단위(layer-level) 실행 전략으로 전환한다. 텐서 레이어를 독립적인 암호문 연산(예: 개별 덧셈, 곱셈, 리스케일링)의 시퀀스로 분해하는 대신, 시스템은 완전한 텐서 레이어를 GPU에서 직접 처리한다. 이 전략은 두 가지 차원의 병렬성을 노출한다:

텐서 수준 병렬성: 여러 개의 암호화된 텐서 요소(암호문)를 동시에 처리함.
계수 수준 병렬성: 암호문의 잔여 수 체계(Residue Number System, RNS) 표현 내에 있는 다항식 계수를 처리함.

기술적 구현

프레임워크는 CKKS 기반 CNN에 필요한 주요 연산을 위한 전용 CUDA 커널을 구현한다:

합성곱(Convolution) 및 완전 연결(Fully Connected) 레이어: 커널은 하나의 출력 다항식 계수에 하나의 CUDA 스레드를 할당한다. 스레드는 입력 채널과 필터/커널 위치를 순회하며, 모든 RNS 모듈스(moduli)에 대해 계수별 모듈러 곱셈과 누적을 수행한다.
풀링(Pooling): 나눗셈을 피하여 승법 깊이(multiplicative depth)를 보존하기 위해, 계수별 덧셈을 사용하여 풀링 윈도우 상의 합을 구하는 방식으로 구현된다.
제곱 활성화(Square Activation): 단일 암호문-암호문 곱셈( $x^2$ )과 렐리어라이제이션(relinearization)을 활용한다. 구현 과정에서는 세 가지 중간 구성 요소( $c_0^2, 2c_0c_1, c_1^2$ )를 병렬로 계산한다.
렐리어라이제이션 및 리스케일링(Rescaling): 이러한 중요한 곱셈 후 연산들은 협력적 스레드 전략을 사용하여 최적화된다. 구체적으로, 수론적 변환(Number Theoretic Transform, NTT) 및 역 NTT(INTT) 커널은 하나의 RNS 다항식을 하나의 CUDA 블록에 할당하며, 버터플라이 연산(butterfly operations) 중에 글로벌 메모리 접근을 최소화하기 위해 데이터를 공유 메모리에 유지한다.

시스템은 단일 CKKS 암호문의 슬롯(slots)에 여러 입력 샘플을 패킹함으로써 배치 입력을 지원하며, 이를 통해 CKKS의 내재적인 SIMD(Single Instruction Multiple Data) 능력과 제안된 레이어 수준 GPU 병렬성을 활용한다.

주요 기여

레이어 수준 GPU 실행 전략: 저자들은 이전의 GPU 구현들이 가진 연산 단위의 한계를 넘어, 암호화된 텐서 요소와 다항식 계수 전체에 걸쳐 병렬성을 노출하는 실행 모델을 설계하였다.
전용 CUDA 커널: 합성곱, 풀링, 제곱 활성화, 완전 연결 레이어 및 RNS-CKKS 표현에서 직접 작동하는 지원 연산(NTT/INTT, 렐리어라이제이션, 리스케일링)을 위한 특정 커널을 구현하였다.
프레임워크 통합: 본 연구는 Troy 라이브러리를 확장하고 이를 TenSEAL 파이프라인에 통합하여, 고수준 프로그래밍 인터페이스를 유지하면서 레벨드(leveled) CKKS의 투명한 GPU 실행을 가능하게 한다.
포괄적 평가: 저자들은 개별 레이어에 대한 합성 벤치마크와 CryptoNets 및 Mini-LoLa 아키텍처에 대한 엔드 투 엔드(end-to-end) 평가를 통해 상세한 성능 분석을 제공한다.
교차 플랫폼 검증: 성능은 컴팩트 및 엣지 플랫폼(NVIDIA DGX Spark 및 NVIDIA Jetson AGX Thor)에서 평가되었으며, 서버급 96코어 Intel Xeon Sapphire Rapids 시스템과 비교되었다.

실험 결과

평가는 세 가지 플랫폼(96코어 CPU 서버인 Sapphire, 컴팩트 GPU 플랫폼인 DGX Spark, 엣지 GPU 플랫폼인 Jetson AGX Thor)에서 수행되었다.

합성 벤치마크

합성곱(Convolution): DGX에서 제안된 레이어 수준 구현은 96코어 CPU 대비 2.87배에서 7.55배의 속도 향상을 보였으며, 동일 장치의 연산 단위 GPU 베이스라인 대비 7.82배에서 258.30배의 속도 향상을 달려냈다.
풀링(Pooling): CPU 대비 6.87배에서 18.12배, 연산 단위 GPU 베이스라인 대비 3.06배에서 12.25배의 속도 향상을 달성하였다.
완전 연결(Fully Connected): CPU 대비 평균 3.86배, 연산 단위 GPU 베이스라인 대비 1.90배에서 87.09배의 속도 향상을 보였다.
제곱 활성화(Square Activation): 렐리어라이제이션의 높은 비용으로 인해 CPU가 대규모 워크로드에서 경쟁력을 유지했으나, GPU 구현은 연산 단위 베이스라인 대비 2.66배에서 16.41배의 속도 향상을 달성하였다.

엔드 투 엔드 추론

CryptoNets: DGX에서의 전체 추론은 96코어 CPU 서버보다 2.95배 더 빨랐다.
Mini-LoLa: DGX에서의 전체 추론은 CPU 서버보다 2.37배 더 빨랐다.
엣지 성능: Jetson AGX Thor 역시 서버급 CPU보다 우수한 성능을 보여, 엣지 디바이스에서도 암호화된 추론이 실행 가능하다는 것을 입증하였다.

수치적 정확도

평문 실행과 암호화 추론을 비교한 오차 분석 결과, 무시할 만한 수준의 편차를 보였다. CryptoNets의 경우, 모든 클래스에서 분류 정확도가 유지되었으며 평균 절대 오차(MAE)는 $10^{-3}$ 수준이었다. Mini-LoLa의 경우 편차는 더욱 작았으며( $10^{-4}$ ), Thor 플랫폼의 한 클래스에서 -0.10 퍼센트 포인트의 미미한 변동만이 관찰되었다.

의의 및 주장

본 논문은 제안된 레이어 수준 실행 전략이 현대적 하드웨어에서 프라이버시 보호형 딥러닝을 실용화하는 데 필수적이라고 주장한다. 실행의 입도를 개별 동형 연산에서 완전한 텐서 레이어로 전환함으로써, 프레임워크는 연산 단위 베이스라인에서 지배적인 리스케일링 및 렐리어라이제이션의 오버헤드를 크게 줄인다.

저자들은 컴팩트 및 엣지 GPU에서의 텐서 수준 실행이 전통적인 서버급 CPU 시스템을 능가할 수 있음을 강조한다. 이 발견은 데이터 센터를 넘어 엣지 및 컴팩트 환경으로 프라이버시 보호형 추론을 배포할 수 있는 플랫폼의 범위를 넓힌다. 또한, 일반적인 텐서 연산은 이 접근 방식의 혜택을 크게 받지만, 제곱 활성화와 같이 렐리어제이션이 지배적인 특정 연산은 GPU 효율성을 극대화하기 위해 맞춤형 병렬화 전략이 필요함을 강조한다. 결과적으로, 고수준 텐서 프레임워크인 TenSEAL이 사용자 인터페이스를 해치지 않으면서도 GPU 가속 라이브러리를 효율적으로 백엔드로 사용할 수 있음을 검증하였다.