💻 computer science

FHECore: Rethinking GPU Microarchitecture for Fully Homomorphic Encryption

본 논문은 현대 GPU 아키텍처와 FHE 요구사항 간의 불일치를 해결함으로써 최소한의 면적 오버헤드로 최대 2.12배의 가속을 달성하며, 광폭 정밀도 나머지 연산을 네이티브로 지원하여 완전 동형 암호(FHE) 워크로드를 크게 가속화하기 위해 GPU 스트리밍 멀티프로세서에 통합된 특화된 기능 유닛인 FHECore를 제안한다.

원저자: Lohit Daksha, Seyda Guzelhan, Kaustubh Shivdikar, Carlos Agulló Domingo, Óscar Vera Lopez, Gilbert Jonatan, Hubert Dymarkowski, Aymane El Jerari, José Cano, José L. Abellán, John Kim, David Kaeli, Aja

게시일 2026-07-29

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Lohit Daksha, Seyda Guzelhan, Kaustubh Shivdikar, Carlos Agulló Domingo, Óscar Vera Lopez, Gilbert Jonatan, Hubert Dymarkowski, Aymane El Jerari, José Cano, José L. Abellán, John Kim, David Kaeli, Ajay Joshi

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 친구에게 비밀 메시지를 보내려고 하는데, 우체부가 그것을 훔쳐볼까 봐 몹시 두려워하는 상황을 상상해 보세요. 컴퓨터의 세계에서 이것은 거대한 문제입니다. 보통 비밀에 대해 수학 연산을 하려면 봉투를 열고, 숫자를 확인하고, 계산을 한 뒤에 다시 봉인해야 합니다. 하지만 봉투가 닫혀 있는 상태 그대로 수학 연산을 할 수 있다면 어떨까요? 그것이 바로 **완전 동형 암호(Fully Homogeneous Encryption, FHE)**의 마법입니다. 이는 컴퓨터가 데이터를 꽉 잠긴 상태로 유지하면서도 그 안의 숫자를 계산할 수 있게 해줍니다. 이를 통해 여러분의 의료 기록이나 은행 세부 정보가 엿보는 눈으로부터 안전하게 보호될 수 있습니다.

하지만 문제가 하나 있습니다. 잠긴 봉투를 대상으로 수학을 하는 것은 엄청나게 힘든 작업입니다. 이것은 마치 모든 조각이 유리로 만들어진 거대한 퍼즐을 푸는 것과 같아서, 두껍고 투박한 장갑을 끼고 작업해야 합니다. 이 과정은 너무 느리고 에너지를 많이 소모해서, 일반적인 잠기지 않은 데이터를 사용하여 수학 연산을 할 때보다 수천 배 더 오래 걸릴 수 있습니다. 이 때문에 FHE는 주로 이론의 영역에 머물러 있었으며, 실제 사용하기에는 너무 느립니다. 이를 실현하기 위해 과학자들은 이 작업을 위한 특별하고 초고속인 전용 컴퓨터를 구축하려고 노력해 왔지만, 이들은 비용이 많이 들고 설계하는 데 수년이 걸립니다. 한편, 게임용 그래픽 카드(GPU)나 데이터 센터와 같이 다른 작업을 수행하는 세상에서 가장 강력한 컴퓨터들은 매일 더 빨라지고 있지만, 그들은 FHE의 "잠긴 봉투" 스타일에는 잘 맞지 않는 종류의 수학을 처리하도록 만들어져 있습니다.

**"FHECore: Fully Homomorphic Encryption을 위한 GPU 마이크로아키텍처의 재고(Rethinking GPU Microarchitecture for Fully Homomorphic Encryption)"**라는 제목의 이 논문은 아주 간단한 질문을 던집니다. 우리가 이미 가지고 있는 강력한 일상적인 그래픽 카드를 약간 수정함으로써, 처음부터 완전히 새로운 비싼 기계를 만들지 않고도 FHE를 처리할 수 있을까? 연구진(대학 및 AMD와 같은 기업의 연구진으로 구성된 팀)은 현재의 그래픽 카드들이 실제로 필요한 특정 도구를 놓치고 있다는 것을 발견했습니다. 그들은 FHECore라고 불리는 영리하고 작은 추가 요소, 즉 그래픽 카드의 두뇌 안에 직접 내장되는 특화된 "보조 유닛"을 제안합니다.

현대의 그래픽 카드(GPU)를 매우 효율적이고 빠른 공장 조립 라인이라고 생각해 보십시오. 이 라인은 비디오 게임이나 AI에 사용되는 숫자와 같은 저정밀도의 작은 레고 블록을 만드는 데 매우 효율적입니다. 하지만 FHE는 거대하고 무거운 고정밀도의 강철 빔을 다루어야 합니다. 레고 공장을 사용하여 강철 빔을 만들려고 시도하는 것은 재앙입니다. 작업자들은 강철 빔을 아주 작은 레고 크기로 조각내고, 구조물을 만든 다음, 다시 그것들을 모두 접착제로 붙여야 합니다. 이 "조각하고 붙이는" 과정이 바로 FHE를 매우 느리게 만드는 원인입니다.

연구진은 이 과정에서 발생하는 가장 큰 병목 현상이 반복적으로 발생하는 두 가지 특정 조립 단계와 같다는 것을 발견했습니다. 강철을 조각내도록 공장에 강요하는 대신, 그들은 FHECore라는 새로운 도구를 설계했습니다. 이 도구는 조립 라인에 특화된 중장비 프레스를 추가하는 것과 같습니다. 이 프레스는 거대한 강철 빔을 받아 단 한 번의 부드러운 동작으로 빔을 합치고 완벽한 크기로 절단할 수 있습니다. 먼저 강철을 잘게 조각낼 필요가 없습니다.

논문은 그래픽 카드에 FHECore 도구를 추가함으로써 이 지저분한 "조각하고 붙이는" 단계들을 완전히 건너뛸 수 있음을 보여줍니다. 시뮬레이션 결과, 이 새로운 도구는 기본 수학 작업에서 컴퓨터가 따라야 하는 작고 반복적인 명령어의 수를 약 2.4배 줄였고, 전체적인 복잡한 애플리케이션에서는 거의 2배 가까이 줄였습니다. 이는 기본 작업의 경우 컴퓨터 속도를 1.57배 빠르게 했고, AI 모델 학습이나 데이터 복호화와 같은 큰 작업의 경우 2.12배 더 빠르게 만들었습니다. 아마도 가장 흥aker한 점은, 보안 유지를 위해 필요한 복잡한 리셋 단계인 "부트스트래핑(bootstrapping)" 시간을 **50%**나 단축했다는 것입니다.

가장 좋은 점은 무엇일까요? 이 새로운 도구는 매우 작습니다. 연구진은 이 도구를 그래픽 카드에 추가하는 것이 칩의 "공장 바닥(factory floor)" 크기를 단 **2.4%**만 증가시킨다고 계산했습니다. 이는 엄청난 속도 향상을 위해 지불하기에는 매우 작은 대가입니다. 논문은 우리가 완성될 때쯤이면 구식이 되어버릴지도 모르는 맞춤형의 비싼 기계를 만들기 위해 몇 년을 기다리는 대신, 우리가 이미 가지고 있는 그래픽 카드를 업그레이드하면 된다고 주장합니다. 기존 설계 안에 이 특화된 FHECore 유닛을 끼워 넣음으로써, 우리는 암호화된 컴퓨팅을 우리 일상생활에서 유용할 만큼 빠르게 만들면서도, 컴퓨터의 나머지 공장은 이전과 똑같이 작동하도록 유지할 수 있습니다.

기술 요약: FHECore: 완전 동형 암호(FHE)를 위한 GPU 마이크로아키텍처의 재고찰

1. 문제 정의

완전 동형 암호(Fully Homomorphic Encryption, FHE)는 암호화된 데이터에 대한 연산을 가능하게 하지만, 평문 실행보다 수 차례 높은 수준의 막대한 계산 및 메모리 오버헤드를 발생시킨다. GPU는 필요한 병렬성과 프로그래밍 가능성을 제공하지만, 현대의 아키텍처들은 저정밀도 머신러닝(ML) 워크로드(예: INT8, FP8)에 점점 더 특화되고 있다. 이는 근본적인 불일치를 야기한다: CKKS와 같은 FHE 스킴은 광대역 정밀도 정수 모듈로 산술(INT32/INT64)에 의존하는 반면, 현재의 GPU 텐서 코어(Tensor Cores)는 이를 네이티브로 지원하지 않는다.

FHE를 텐서 코어에 매핑하려는 기존의 시도들은 광대역 정수를 저정밀도 청크(예: INT8)로 분해하고, 행렬 곱셈을 수행한 뒤, 중간 모듈로 리덕션(modulo reduction)과 함께 결과를 재조립하는 방식을 포함한다. 이 방식은 다음과 같은 상당한 오버헤드를 발생시킨다:

명령어 오버헤드: 분해 및 재조립 과정이 미세한 단위의 명령어 체인을 생성하여 프런트엔드 압박과 동적 명령어 수를 증가시킨다.
지연 시간(Latency): 중간 재조립 및 모듈로 리덕션은 전체 수론 변환(Number Theoretic Transform, NTT) 지연 시간의 거의 40%를 차지한다.
비효율성: 현재의 GPU에는 광대역 정밀도 모듈로 연산을 위한 네이티브 오코드가 부족하여, 소프트웨어가 복잡한 리덕션 시퀀스를 구현하도록 강제한다.

2. 방법론 및 설계

저자들은 FHE의 핵심인 모듈로 선형 변환(modulo-linear transformations)을 네이티브로 가속화하기 위해 GPU의 스트리밍 멀티프로세서(SM)에 직접 통합되는 특화된 기능 유닛인 FHECore를 제안한다.

아키텍처 통합

배치: FHECore는 각 SM 내의 기존 CUDA 코어 및 텐서 코어와 함께 인스턴스화된다. 이 설계는 워프 스케줄러(warp scheduler) 및 레지스터 파일 액세스와의 대칭성을 유지하기 위해 텐서 코어 수(예: A100 구성에서 SM당 4개의 FHECore)를 반영한다.
마이크로아키텍처: FHECore는 16×8 시스톨릭 어레이(systolic array) 형태의 프로세싱 엘리먼트(PE)를 활용한다. 각 PE는 32비트 피연산자에 대해 모듈로 곱셈-누산 연산( $R \leftarrow (R + a \cdot b) \mod q$ )을 수행한다.
모듈로 리덕션: 리덕션을 위한 긴 명령어 시퀀스를 제거하기 위해, 각 PE는 전용 바렛 리덕션(Barrett reduction) 파이프라인을 포함한다. 이 하드웨어 구현은 모듈로 연산을 네이티브로 처리하여, 소프트웨어 수준의 조건부 실행(predicate) 및 곱셈 체인의 필요성을 없앤다.
데이터 흐름(Dataflow): 설계는 출력 스테이셔너리(output-stationary) 데이터 흐름을 채택한다. 한 피연산자가 파이프라인을 통과하는 동안 다른 피연산자가 대기하는 피연산자 스테이셔너리 흐름과 달리, 출력 스테이셔너리 흐름은 매 사이클마다 두 피연산자를 전달하여 6단계 PE 파이프라인이 버블 없이 지속적으로 작동할 수 있게 한다. 이를 통해 16×8×16 행렬 곱셈의 지연 시간을 44 사이클로 단축한다.
메모리 인터페이스: 텐서 코어와 마찬가지로, FHECore는 레지스터 파일에 있는 값만을 독점적으로 사용한다. 공유 메모리나 캐시와 직접 상호작용하지 않으므로 기존 GPU 메모리 계층 구조를 보존하며 비동기 데이터 전송을 가능하게 한다.

명령어 집합 아키텍처 (ISA) 확장

새로운 인트린직(Intrinsic): 저자들은 텐서 코어의 mma_sync와 유사하게 커스-SASS 명령어(FHEC)에 매핑되는 새로운 CUDA 인트린직 fhe_sync를 도입한다.
기능: fhe_sync는 모듈로 행렬 곱셈을 수행한다. 이 함수는 모듈로스 $q$ 와 미리 계산된 바렛 상수 $\mu$ 를 인자로 받아 PE를 직접 프로그래밍한다.
컴파일: fhe_sync 인트린직은 PTX로 컴파일된 후 커스텀 FHEC 명령어로 변환되어, 복잡한 산술 및 데이터 이동 연산을 하나의 조립된(coarse-grained) 프리미티브로 통합한다.

3. 주요 기여

FHECore 기능 유닛: NTT 및 베이스 컨버전(Base Conversion)을 네이티브로 지원하며 내장된 바렛 리덕션을 갖춘, GPU SM에 통합된 특화된 시스톨릭 어레이.
ISA 확장: 복잡한 모듈로 산술 시퀀스를 단일 연산으로 통합하여 동적 명령어 수를 줄이는 새로운 명령어(FHEC)를 도입함.
포괄적 평가: CKKS 프리미티브(NTT, INTT, 베이스 컨버전) 및 엔드 투 엔드 워크로드(부트스트래핑, 로지스틱 회귀, ResNet20, BERT-Tiny)에 대해 Accel-Sim과 실제 A100 트레이스(NVBit 활용)를 사용한 시뮬레이션 기반 평가 수행.
면적 및 성능 분석: ASAP7 프로세스 노드를 사용하여 RTL에서 GDS까지의 전체 물리 설계 흐름을 수행함으로써 면적 오버헤드를 정량화하고, 설계가 GPU의 크리티컬 패스에 영향을 미치지 않음을 검증함.

4. 결과

평가는 최소한의 하드웨어 비용으로 상당한 성능 향상을 입증한다:

성능 가속(Speedup):
- CKKS 프리미티브: 기하 평균 1.57× 가속.
- 엔드 투 엔드 워크로드: 기하 평균 2.12× 가속.
- 부트스트래핑(Bootstrapping): 지연 시간 50% 감소 (A100 기준 314.67 ms에서 163.90 ms로).
명령어 수 감소:
- CKKS 프리미티브: 동적 명령어 수 기하 평균 2.41× 감소.
- 엔드 투 엔드 워크로드: 기하 평균 1.96× 감소.
면적 오버헤드:
- A100에 FHECore를 통합하면 다이(die) 면적이 단 2.4% (826 mm²에서 845.91 mm²로) 증가하며, 이는 표준 레티클 제한 범위 내에 있음.
- 이는 이전 연구(예: AMD MI100의 GME)가 26.6%의 면적 오버헤드를 초래했던 것과 극명히 대조됨.
효율성: 설계는 FHE와 평문 ML 워크로드가 실제로는 상호 배타적이라는 점을 이용하여, 기존 GPU 워크로드의 성능을 저하시키지 않으면서 이러한 이득을 달성함.

5. 의의 및 주장

본 논문은 FHECore가 현대 GPU와 FHE 요구사항 사이의 근본적인 아키텍처 불일치를 해결한다고 주장한다. FHE의 지배적인 병목 현상(NTT 및 베이스 컨버전)이 모듈로 선형 변환으로 공식화될 수 있음을 인식함으로써, 저자들은 특화된 조립된(coarse-grained) 기능 유닛이 어떻게 명령어 오버헤드와 지연 시간을 획기적으로 줄일 수 있는지 보여준다.

FHECore의 의의는 그 실용성과 확장성에 있다:

최소한의 오버헤드: 높은 시장 진입 시간과 비용이 드는 ASIC이나 FPGA, 또는 레티클 제한을 초과했던 이전의 GPU 수정 방식과 달리, FHECore는 낮은 면적(2.4%)의 솔루션을 제공하여 기존 제조 제약 조건을 충족한다.
생태계 호환성: SM에 통합되고 기존 레지스터 파일 및 프로그래밍 모델(fhe_sync)을 재사용함으로써, FHECore는 성숙한 CUDA 생태계를 활용하여 완전히 새로운 소프트웨어 스택을 구축할 필요를 없앤다.
미래 보장성: 이 설계는 A100에 국한되지 않으며, 제로 지식 증명(Zero-Knowledge Proofs) 및 양자 내성 암호(Post-Quantum Cryptography)와 같이 모듈로 산술에 의존하는 다른 암호학적 워크로드를 위해 최신 아키텍처(예: Hopper, Blackwell)로 확장될 수 있다.

저자들은 FHECore가 기존 GPU 인프라에서 프라이버시 보호 애플리케이션을 대규모로 배포하기 위한 실행 가능하고 고성능인 경로를 제공한다고 결론짓는다.