Designing Transport-Level Encryption for Datacenter Networks

1. 문제 정의 (Problem)

클라우드 애플리케이션은 다중 테넌트 환경에서의 데이터 격리와 네트워크 인프라 내 도청 방지를 위해 네트워크 데이터 암호화가 필수적입니다. 현재 데이터센터에서는 TLS/TCP 가 암호화의 표준으로 널리 사용되고 있습니다. 그러나 최근 데이터센터 전송 프로토콜 (Homa, NDP 등) 은 대용량 전송의 높은 처리량과 작은 메시지 (RPC) 에 대한 낮은 지연 시간을 위해 메시지 기반 (Message-based) 설계와 청소된 상태 (Clean-slate) 의 혼잡 제어 방식을 채택하여 TCP 와 근본적으로 다릅니다.

기존의 암호화 솔루션 (TLS/TCP, QUIC, IPSec 등) 을 이러한 새로운 전송 프로토콜에 적용할 때 발생하는 주요 문제점은 다음과 같습니다:

• 하드웨어 오프로드 부재: 기존 TLS/TCP 는 NIC(네트워크 인터페이스 카드) 의 암호화 및 세그멘테이션 오프로드 (TSO) 를 활용하여 CPU 부하를 줄입니다. 그러나 메시지 기반 프로토콜은 TCP 의 순차적 바이트 스트림 가정을 따르지 않아, 기존 TLS 오프로드 메커니즘을 그대로 적용하기 어렵습니다.
• 메시지 경계와 순서 문제: TLS 는 순차적인 바이트 스트림을 가정하고 레코드 시퀀스 번호를 관리합니다. 메시지 기반 전송은 메시지가 순서 없이 도착할 수 있으므로, TLS 레코드 재조립 및 순서 보장에 실패하거나, 매 메시지마다 핸드셰이크를 수행해야 하는 비효율이 발생합니다.
• CPU 병목 및 Head-of-Line Blocking (HoLB): TCP 는 커널 스레드 및 코어 간 병목 현상과 패킷 손실 시 발생하는 HoLB 문제가 있습니다. 메시지 기반 프로토콜은 이를 해결하지만, 암호화 계층이 추가되면 이러한 이점이 사라질 수 있습니다.

2. 방법론 (Methodology)

저자들은 SMT(Secure Message Transport) 라는 새로운 프로토콜을 제안합니다. SMT 는 Homa 와 같은 메시지 기반 데이터센터 전송 프로토콜에 TLS 기반 암호화를 통합하면서도 기존 NIC 하드웨어 오프로드를 활용하는 아키텍처를 설계했습니다.

핵심 설계 요소

1. 메시지 단위 레코드 시퀀스 번호 공간 (Per-Message Record Sequence Number Space):

   • TLS 는 일반적으로 연결 전체의 단일 시퀀스 번호를 사용하지만, SMT 는 각 메시지마다 독립적인 시퀀스 번호 공간을 할당합니다.
   • 이를 위해 64 비트의 TLS 레코드 시퀀스 번호를 메시지 ID와 메시지 내 레코드 인덱스로 분할하여 사용합니다.
   • 이 방식은 메시지가 순서 없이 도착하더라도 TLS 레코드 재조립이 가능하게 하며, 각 메시지 내에서만 순서 보장을 제공합니다.

2. 하드웨어 오프로드 호환성 유지:

   • SMT 는 TCP 헤더 구조를 오버레이 (Overlay) 하되, 새로운 프로토콜 번호를 사용하여 TSO(TCP Segmentation Offload) 를 지원합니다.
   • 자율 오프로드 (Autonomous Offload, AO) 기능을 활용하여, NIC 가 소프트웨어에서 전송된 세그먼트의 암호화 키와 시퀀스 번호를 동기화할 수 있도록 설계했습니다.
   • 메시지 ID 와 오프셋을 평문 헤더에 포함시켜, NIC 가 암호화할 영역을 정확히 식별하고 암호화할 수 있게 합니다.

3. 0-RTT 및 키 교환 최적화:

   • 데이터센터의 낮은 지연 시간 요구사항을 충족하기 위해, DNS 를 통한 서버의 장기 공개 키 배포 방식을 도입하여 0-RTT(Zero Round Trip Time) 데이터 전송을 지원합니다.
   • 키 사전 생성 및 짧은 인증서 체인 등을 통해 핸드셰이크 오버헤드를 최소화합니다.

4. 구현:

   • SMT 는 Linux 커널의 Homa 구현체를 확장하여 구현되었습니다.
   • NVIDIA ConnectX-7 NIC 드라이버를 수정하여 TLS 오프로드 기능을 SMT 프로토콜에 맞게 조정했습니다.

3. 주요 기여 (Key Contributions)

1. 새로운 설계 포인트 제시: 기존 TLS/TCP 와 동일한 보안 위협 모델 (데이터 유출, 패킷 주입, 재생 공격 방지) 을 유지하면서, 하드웨어 오프로드와 호환되는 메시지 기반 데이터센터 전송 프로토콜의 설계 가능성을 입증했습니다.
2. SMT 프로토콜 설계 및 구현: TLS 오프로드를 지원하는 메시지 기반 전송 프로토콜인 SMT 를 설계하고 Linux 커널 및 NIC 드라이버 수준에서 프로토타입을 구현했습니다.
3. 성능 및 적용성 검증:
   • Redis(키 - 값 저장소) 와 NVMe-oF(인-커널 스토리지) 와 같은 실제 애플리케이션에 SMT 를 적용하는 데 드는 노력 (Porting effort) 이 적음을 보였습니다.
   • 기존 TLS/TCP 대비 성능 향상을 실증했습니다.

4. 실험 결과 (Results)

저자들은 두 개의 동일한 머신 (Intel Xeon, NVIDIA ConnectX-7 100Gb/s NIC) 을 사용하여 SMT, TLS/TCP, kTLS 등을 비교 평가했습니다.

• 처리량 (Throughput):

  • SMT 는 TLS/TCP 대비 최대 41% 더 높은 처리량을 보였습니다.
  • 특히 64B 와 1KB 크기의 RPC(데이터센터에서 흔한 크기) 에서 큰 향상을 보였으며, 이는 Homa 의 낮은 프로토콜 오버헤드와 SMT 의 효율적인 암호화 처리 때문입니다.
  • 8KB 이상의 큰 메시지에서는 Homa 의 미성숙함으로 인해 TCP 대비 약간 낮았으나, TLS/TCP 대비 여전히 우수했습니다.

• 지연 시간 (Latency):

  • 부하가 없는 상태 (Unloaded RTT) 에서 SMT 는 kTLS 대비 10~35% 낮은 지연 시간을 보였습니다.
  • NVMe-oF 테스트에서 P99 지연 시간은 최대 21% 감소했습니다.

• CPU 사용량:

  • 하드웨어 오프로드를 사용할 경우, SMT 는 kTLS 대비 서버 측에서 8%, 클라이언트 측에서 2% 더 낮은 CPU 사용량을 기록했습니다.
  • 이는 암호화 작업이 NIC 에서 처리되어 CPU 사이클이 애플리케이션 로직에 더 많이 할당되기 때문입니다.

• 보안성:

  • TLS 1.3 의 인증, 기밀성, 무결성, 재생 공격 방지 (Non-replayability) 등을 모두 보장합니다. 메시지 ID 와 시퀀스 번호의 조합을 통해 재생 공격을 방지합니다.

5. 의의 및 결론 (Significance)

이 논문은 데이터센터 네트워크의 진화 방향을 제시합니다.

• 하드웨어 가속화와의 공존: 새로운 전송 프로토콜 (Homa, NDP 등) 이 도입될 때, 기존 데이터센터 인프라에 필수적인 NIC 하드웨어 오프로드 기능을 포기하지 않고도 강력한 암호화를 구현할 수 있음을 증명했습니다.
• 클라우드 네이티브 보안: 다중 테넌트 환경에서 테넌트 간 격리와 내부 도청 방지를 위해 암호화가 필수적인 상황에서, SMT 는 높은 성능과 낮은 지연 시간을 유지하며 이를 해결합니다.
• 실용성: 복잡한 커널 바이패스나 사용자 공간 구현이 아닌, Linux 커널과 표준 NIC 드라이버를 기반으로 구현되어 실제 데이터센터 환경으로의 도입 장벽을 낮췄습니다.

결론적으로, SMT 는 데이터센터 RPC 워크로드에 최적화된 메시지 기반 전송 프로토콜에 암호화를 통합하는 이상적인 설계 포인트를 제시하며, TLS/TCP 에서 더 효율적이고 안전한 데이터센터 네트워크로의 전환을 가능하게 합니다.