이 논문은 NVMe-oF 기반의 분산 스토리지 환경에서 성능 저하를 최소화하면서도 기밀 컴퓨팅(CC)의 보안 요구사항(기밀성, 무결성, 신선도)을 충족하기 위해, 카운터 리싱(counter-leasing)과 Hazel Merkle Tree(HMT) 등의 새로운 개념을 도입한 스토리지 관리 시스템인 'Hazel'을 제안합니다.
원저자:Marcin Chrapek, Meni Orenbach, Ahmad Atamli, Marcin Copik, Mikhail Khalilov, Fritz Alder, Torsten Hoefler
요즘 슈퍼컴퓨터나 대형 데이터 센터는 데이터를 한곳에 모아두지 않고, **'계산하는 컴퓨터(CPU)'**와 **'저장하는 장치(SSD)'**를 따로 떼어놓습니다. 이걸 **'분산 저장(Disaggregated Storage)'**이라고 해요. 마치 요리사(CPU)는 주방에 있고, 식재료(데이터)는 아주 멀리 있는 거대한 냉장고(SSD)에 따로 보관하는 것과 같습니다.
그런데 문제가 생겼습니다.
보안의 구멍: 식재료를 옮기는 과정에서 누군가 몰래 가로채거나, 상한 재료(오래된 데이터)를 새것인 척 속여서 요리사에게 줄 수 있습니다.
속도의 저하: 보안을 강화하려고 모든 재료를 하나하나 검사하고 암호화하면, 요리사가 요리를 못 할 정도로 느려집니다. (기존 방식은 성능이 반토막 나기도 합니다.)
✨ 해결사 '헤이즐(Hazel)': "스마트한 배달 시스템"
연구진은 이 문제를 해결하기 위해 **'헤이즐'**이라는 시스템을 만들었습니다. 헤이즐은 마치 **'최첨단 자동화 물류 센터'**처럼 작동합니다.
1. 🎫 "번호표 대여 시스템" (Counter-Leasing)
기존에는 암호화할 때마다 매번 새로운 열쇠를 만드는 게 너무 복잡해서, 똑같은 열쇠를 계속 쓰다가 보안이 뚫리는 문제가 있었습니다.
비유: 헤이즐은 중앙 관리소에서 **'번호표 뭉치'**를 미리 빌려옵니다. 요리사가 재료를 저장할 때마다 이 번호표를 하나씩 쓰기 때문에, 열쇠를 매번 새로 만들 필요도 없고, 번호가 겹칠 일도 없어 아주 안전하고 빠릅니다.
2. 🏷️ "스마트 라벨" (NVMe Metadata)
데이터를 암호화하고 검사할 때, 별도의 장부에 기록하면 시간이 너무 오래 걸립니다.
비유: 헤이즐은 식재료 봉투(데이터) 자체에 **'스마트 라벨'**을 붙입니다. 이 라벨에는 "이건 언제 만든 건지", "암호는 무엇인지"가 아주 작게 적혀 있습니다. 검사관이 장부를 뒤질 필요 없이, 지나가면서 라벨만 슥 보고 "음, 싱싱하군!" 하고 바로 통과시키는 방식입니다.
3. 🌳 "똑똑한 가계도" (Hazel Merkle Tree)
데이터가 진짜인지 확인하려면 복잡한 '가계도(Merkle Tree)'를 확인해야 합니다. 하지만 데이터가 너무 많으면 이 가계도가 너무 커져서 확인하는 데만 한 세월이 걸립니다.
비유: 헤이즐은 **'요약 가계도'**를 만듭니다. 모든 조상을 다 적는 게 아니라, 핵심 인물만 적어둔 요약본을 들고 있는 거죠. 덕분에 데이터가 엄청나게 많아도(페타바이트급) 순식간에 "이 데이터는 진짜다!"라고 판별할 수 있습니다.
4. 🏎️ "전용 고속도로와 자동화 로봇" (Smart NIC Offloading)
보안 검사를 요리사(CPU)가 직접 하면 요리를 못 합니다.
비유: 헤이즐은 보안 검사 업무를 **'전용 배달 로봇(Smart NIC)'**에게 맡깁니다. 요리사는 요리에만 집중하고, 로봇이 데이터를 실어 나르면서 암호화도 하고 검사도 동시에 처리합니다.
📊 결과: "안전한데, 심지어 빠르기까지!"
연구팀이 이 시스템을 실제로 테스트해 보니 놀라운 결과가 나왔습니다.
성능 저하가 거의 없음: 기존 방식은 보안을 강화하면 속도가 뚝 떨어졌는데, 헤이즐은 성능 저하가 고작 1~2% 내외였습니다. (거의 차이가 안 나는 수준이죠!)
실전 적용 가능: 인공지능(AI) 학습이나 대규모 데이터 처리 같은 아주 무거운 작업에서도 아주 매끄럽게 작동했습니다.
💡 한 줄 요약
"헤이즐은 거대한 데이터 창고에서 데이터를 주고받을 때, 보안은 철저하게 지키면서도 속도는 거의 떨어뜨리지 않는 '스마트 자동화 보안 물류 시스템'이다!"
[기술 요약] Hazel: 보안성과 효율성을 갖춘 분산형 스토리지 시스템
1. 문제 정의 (Problem Statement)
현대 슈퍼컴퓨터와 데이터 센터는 성능과 자원 효율성을 위해 NVMe-over-Fabrics (NVMe-oF) 기반의 **분산형 스토리지(Disaggregated Storage)**를 표준으로 채택하고 있습니다. 동시에, 민감한 워크로드를 보호하기 위해 **기밀 컴퓨팅(Confidential Computing, CC)**이 필수적인 보안 패러다임으로 부상했습니다.
그러나 기존의 보안 방식(예: Linux의 dm-crypt, dm-integrity, dm-x)을 분산형 스토리지에 그대로 적용할 경우 다음과 같은 심각한 문제가 발생합니다:
확장성 부족 (Scalability Issues): PB(페타바이트)급 대규모 스토리지에서 고유한 IV(초기화 벡터)를 관리하거나, 여러 노드 간에 데이터의 최신성(Freshness)을 보장하기 위한 메르클 트리(Merkle Tree)를 동기화하는 것이 불가능에 가깝습니다.
성능 저하 (Performance Degradation): 보안 연산(암호화, 해싱)이 CPU에 과도한 부하를 주어 처리량(Throughput)을 최대 50%까지 감소시키고 지연 시간(Latency)을 증가시킵니다.
자원 비효율성 (Resource Inefficiency): 보안 처리를 위해 높은 CPU 점유율이 요구되어, 실제 애플리케이션 연산에 사용할 자원이 부족해집니다.
2. 제안 방법론 (Methodology: Hazel의 설계)
Hazel은 NVMe-oF 프로토콜을 확장하면서도 CC 위협 모델을 준수하며, **기밀성(Confidentiality), 무결성(Integrity), 최신성(Freshness)**을 모두 보장하는 새로운 스토리지 관리 시스템입니다.
A. 제어 경로 (Control Path) 혁신
카운터 리싱(Counter-Leasing) 프로토콜: 대규모 스토리지에서 고유한 IV를 확보하기 위해, 중앙 Key Broker Service(KBS)로부터 특정 범위의 카운터를 임대(Lease)받는 방식을 도입했습니다. 이를 통해 노드 간 복잡한 동기화 없이도 PB급 데이터에 대해 안전한 암호화를 수행할 수 있습니다.
키 관리(Key Management): 사용자 키를 직접 저장하는 대신, 장치 ID와 사용자 키를 조합한 키 유도(Key Derivation) 방식을 사용하여 보안성을 높였습니다.
B. 데이터 경로 (Data Path) 최적화
NVMe 메타데이터 활용: 기존 프로토콜을 수정하는 대신, NVMe의 LBA(Logical Block Address) 메타데이터 영역에 IV, 해시, 키 ID 등을 저장하여 추가적인 I/O 오버헤드를 최소화했습니다.
Hazel Merkle Tree (HMT): 최신성을 보장하기 위한 새로운 트리 구조입니다. 데이터 자체가 아닌 IV를 리프(Leaf) 노드로 사용하여 메모리 사용량을 획기적으로 줄였으며, **결과적 일관성(Eventual Consistency)**과 **배치 업데이트(Batching)**를 통해 쓰기 성능을 최적화했습니다.
Fast-path Read: 메타데이터에 부모 노드의 해시를 미리 저장하여, 읽기 시 트리를 전체 검증할 필요 없이 즉시 최신성을 확인할 수 있는 경로를 제공합니다.
C. 자원 효율성 (Resource Efficiency)
SmartNIC(sNIC) 오프로딩: 보안 연산 부하를 CPU에서 분리하여 NVIDIA BlueField-3와 같은 CC 지원 스마트 NIC로 오프로딩합니다. 이를 통해 CPU 부하를 줄이고 네트워크 라인 레이트(Line-rate)에 근접한 보안 처리를 구현합니다.
3. 주요 기여 (Key Contributions)
새로운 보안 분산 스토리지 아키텍처 설계: CC 위협 모델 하에서 기밀성, 무결성, 최신성을 모두 만족하는 Hazel 시스템 제안.
HMT(Hazel Merkle Tree) 도입: 대규모 스토리지에 최적화된, 메모리 효율적이고 빠른 읽기/쓰기가 가능한 새로운 무결성 트리 구조 개발.
스마트 NIC 가속화: DPU(Data Processing Unit)를 활용하여 보안 연산을 하드웨어 수준에서 가속화하는 프레임워크 구축.
오픈 소스 구현: SPDK 기반의 실질적인 프로토타입 구현 및 공개.
4. 실험 결과 (Results)
NVIDIA BlueField-3를 사용한 프로토타입 실험 결과는 다음과 같습니다:
낮은 성능 오버헤드: 합성 패턴(Synthetic patterns), AI 학습, IO500, YCSB 벤치마크에서 단 1~2%의 성능 저하만을 기록했습니다.
효율적인 자원 사용: 기존 솔루션이 50~80%의 CPU를 점유하는 것과 달리, Hazel은 스마트 NIC 오프로딩을 통해 호스트 CPU의 부담을 최소화했습니다.
실제 워크로드 검증: MLPerf 기반의 AI 학습(ResNet50, UNet3D)에서도 매우 낮은 오버헤드를 보여, 실제 데이터 센터 환경에서의 실용성을 입증했습니다.
5. 의의 (Significance)
Hazel은 "보안은 성능을 희생한다"는 기존의 통념을 깨뜨린 연구입니다. 분산형 스토리지 환경에서 보안(CC)과 고성능(HPC/Cloud)이라는 두 마리 토끼를 동시에 잡을 수 있는 기술적 토대를 마련했습니다. 특히, 하드웨어 가속기(SmartNIC)와 새로운 데이터 구조(HMT)를 결합하여 차세대 데이터 센터와 슈퍼컴퓨터의 보안 스토리지 표준 모델을 제시했다는 점에서 매우 중요한 의미를 갖습니다.