Layered Performance Analysis of TLS 1.3 Handshakes: Classical, Hybrid, and Pure Post-Quantum Key Exchange

이 논문은 TLS 1.3 핸드셰이크에 적용된 고전적, 하이브리드, 순수 양자내성 암호 (PQC) 알고리즘이 TCP, TLS, HTTP 등 HTTP-over-TLS 트랜잭션의 각 계층에 미치는 영향을 100 TPS 부하 테스트를 통해 실험적으로 분석하고 통계적으로 평가한 연구입니다.

핵심

🏛️ 비유: 고급 레스토랑의 VIP 입구 (TLS 연결 과정)

인터넷에 접속할 때, 우리 데이터는 마치 **고급 레스토랑 (웹사이트)**에 들어가는 **VIP 고객 (사용자)**과 같습니다. 레스토랑에 들어가기 위해서는 몇 가지 단계를 거쳐야 합니다. 이 논문은 이 과정의 각 단계에서 **'새로운 보안 수칙 (양자 내성 암호)'**을 적용했을 때 시간이 얼마나 더 걸리는지 측정했습니다.

연구진은 3 가지 시나리오를 테스트했습니다:

1. 기존 방식 (Classical): 현재 우리가 쓰는 일반적인 보안 (x25519).
2. 혼합 방식 (Hybrid): 기존 보안 + 새로운 보안 수칙을 동시에 적용.
3. 순수 양자 방식 (Pure PQC): 오직 새로운 보안 수칙만 적용 (ML-KEM).

---

🔍 5 단계 분석: 어디에서 시간이 걸릴까?

연구진은 레스토랑 입구 과정을 5 단계로 나누어 세심하게 관찰했습니다.

1 단계: 문 밖에서 줄 서기 (TCP 핸드쉐이크)

• 상황: 레스토랑 문 앞에 도착해서 "여기 들어갈게요"라고 인사하는 단계입니다.
• 결과: 완전 동일합니다. 보안 수칙이 무엇이든, 문 밖에서 줄을 서는 시간은 변하지 않았습니다. (약 0.36 초)
• 비유: 문 앞에 서 있는 경비원은 어떤 보안 수칙이든 상관없이 똑같이 인사만 받고 통과시킵니다.

2 단계: 보안 검사대 통과 전 대기 (TCP → TLS 지연) ⭐ 가장 큰 차이 발생!

• 상황: 문 안으로 들어가기 직전, 보안 검사대를 준비하는 단계입니다.
• 결과: 여기서 가장 큰 차이가 발생했습니다. 새로운 보안 수칙 (PQC) 을 쓰면, 검사대를 준비하는 시간이 약 6 배 더 걸렸습니다. (0.3 초 → 1.8 초)
• 비유: 기존 방식은 지갑에서 신분증만 꺼내면 되지만, 새로운 방식은 무거운 방패와 복잡한 암호화된 신분증을 준비해야 해서 시간이 더 걸립니다. 이 준비 시간이 전체 지연의 주범입니다.

3 단계: 본체 보안 검사 (TLS 핸드쉐이크)

• 상황: 실제 보안 검사대를 통과하며 신원을 확인하는 단계입니다.
• 결과: 거의 차이가 없습니다. 새로운 보안 수칙을 쓴다고 해서 검사대 통과 시간이 빨라지거나 느려지지 않았습니다. (약 5~6 초)
• 비유: 검사관 (서버) 은 이미 준비된 방패와 신분증만 확인하면 되므로, 어떤 수칙을 쓰든 처리 속도는 비슷합니다. "새로운 방식이 더 빠르다"는 말은 이 단계에서는 사실과 다릅니다.

4 단계: 테이블 안내 (TLS → 앱 지연)

• 상황: 보안이 끝난 후, 안내원이 테이블로 안내하는 짧은 순간입니다.
• 결과: 아주 미세하게 0.4 초 정도 더 걸릴 수 있지만, 체감할 수 없을 정도로 작습니다.

5 단계: 주문과 음식 받기 (응답 시간)

• 상황: 메뉴를 보고 음식을 받아먹는 단계입니다.
• 결과: 보안 방식과 무관합니다. 음식이 작든 (4KB) 크든 (40KB), 보안 수칙이 어떻든 음식이 나오는 시간은 같습니다.
• 비유: 음식이 크면 (데이터가 많으면) 시간이 더 걸리지만, 그건 보안 때문이 아니라 '음식 양' 때문일 뿐입니다.

---

💡 핵심 발견 (Takeaway)

이 논문의 결론은 매우 명확하고 놀랍습니다.

1. 가장 큰 병목은 '준비' 단계: 새로운 보안 기술 (양자 내성 암호) 을 도입한다고 해서 전체 시스템이 느려지는 것은 아닙니다. 오직 **클라이언트 (사용자) 가 첫 번째 연결을 준비할 때 (2 단계)**만 약간의 시간이 더 걸립니다.
2. 전체 속도는 여전히 빠름: 이 준비 시간이 걸리더라도, 전체 연결 시간 (입구부터 음식 받기까지) 에 비하면 약 10~15% 정도만 더 걸립니다. 나머지 85% 는 기존과 똑같이 빠릅니다.
3. 음식 크기가 클수록 영향은 줄어듦: 만약 주문한 음식이 아주 크다면 (대용량 데이터), 준비 시간이 걸리는 비중은 상대적으로 더 줄어들어 체감 속도는 거의 변하지 않습니다.
4. 컴퓨터 성능 (CPU) 영향: 사용자 기기 (모바일, IoT 등) 에서는 보안 준비를 위해 전력 소모가 약 2 배 늘어날 수 있습니다. 하지만 서버 측에서는 그 영향이 미미합니다.

🚀 결론: 우리는 무엇을 해야 할까?

이 연구는 **"양자 내성 암호 (PQC) 로 전환해도 인터넷 속도가 느려져서 걱정할 필요는 없다"**는 메시지를 전달합니다.

• 사용자 경험: 웹사이트 접속 속도는 거의 변하지 않습니다.
• 주의할 점: 다만, 배터리가 약한 스마트폰이나 IoT 기기 같은 **'작은 장치'**에서는 보안 준비를 위해 배터리가 조금 더 빨리 닳을 수 있습니다.
• 미래 준비: 우리는 이미 2030 년까지 이 새로운 보안 체계로 완전히 전환해야 합니다. 이 논문은 그 전환이 성공적으로, 그리고 속도 저하 없이 이루어질 수 있음을 실험적으로 증명했습니다.

한 줄 요약:

"새로운 보안 수칙 (양자 내성 암호) 을 도입하면, 입구에서 신원 확인 준비하는 시간이 조금 더 걸리지만, 그 이후로 들어가는 과정은 예전과 똑같이 빠르므로 전체적인 체감 속도는 거의 변하지 않습니다."

기술 요약

이 논문은 TLS 1.3 프로토콜에서 양자 내성 암호화 (Post-Quantum Cryptography, PQC) 알고리즘을 도입했을 때의 성능 영향을 계층적 (Layered)으로 분석한 연구입니다. 기존 연구들이 전체 핸드셰이크 시간의 합계만 측정했다면, 이 연구는 TCP, TLS, 애플리케이션 레이어 및 그 사이의 중간 레이어를 세분화하여 PQC 로 인한 오버헤드가 정확히 어느 단계에서 발생하는지 정량화했습니다.

다음은 논문의 주요 내용을 기술적으로 요약한 것입니다.

1. 연구 배경 및 문제 정의 (Problem)

• 양자 컴퓨팅의 위협: 암호학적으로 의미 있는 양자 컴퓨터의 등장으로 현재 공개키 기반 구조 (RSA, ECDH 등) 의 보안 가정이 무너질 수 있습니다. 이에 따라 NIST 는 2024 년 8 월 ML-KEM 등 PQC 표준을 최종 확정했습니다.
• 이행의 필요성: "현재 저장, 나중 해독 (Store Now, Decrypt Later)" 공격 위협으로 인해 조직들은 PQC 로의 이행을 서두르고 있습니다.
• 연구 격차: 기존 연구들은 PQC 가 TLS 핸드셰이크 전체에 미치는 영향을 집계 (Aggregate) 수준에서만 평가했습니다. 그러나 PQC 도입 시 시스템 성능 저하가 정확히 어느 프로토콜 레이어 (TCP, 키 교환, 인증서 처리 등) 에서 발생하는지, 그리고 그 영향이 실제 트래픽 부하 하에서 어떻게 나타나는지에 대한 세분화된 데이터가 부족했습니다.

2. 연구 방법론 (Methodology)

• 실험 환경:
  • 아키텍처: 로드 밸런서 (Nginx) 와 백엔드 서버를 시뮬레이션하는 3 대의 VM 환경.
  • 트래픽 생성: Keysight CyPerf 를 사용하여 초당 100 건 (100 TPS) 의 상태 유지 (Stateful) HTTP 트랜잭션을 생성.
  • 구성: TLS 1.3 1-RTT 전체 핸드셰이크 모드 사용 (0-RTT 또는 세션 재개는 제외).
  • 알고리즘 비교:
    1. 전통적 (Classical): x25519 (ECDH)
    2. 하이브리드 (Hybrid): x25519 + ML-KEM (512, 768)
    3. 순수 PQC (Pure PQC): ML-KEM (512, 1024)
  • 변수: 백엔드 응답 크기 (Direct, 4KB, 40KB) 를 변경하여 암호화 오버헤드가 데이터 전송 크기에 따라 어떻게 변하는지 분석.
• 데이터 수집 및 분석:
  • 전체 패킷 캡처 (pcap) 와 SSLKEYLOGFILE 을 수집하여 각 연결의 암호화 키를 복호화.
  • 5 계층 지연 분해 (Latency Decomposition):
    1. TCP 핸드셰이크 (SYN → SYN-ACK)
    2. TCP-to-TLS 지연 (SYN-ACK → ClientHello)
    3. TLS 핸드셰이크 (ClientHello → Finished)
    4. TLS-to-Application 지연 (Finished → HTTP GET)
    5. 애플리케이션 응답 (HTTP GET → HTTP 200 OK)
  • 통계적 유의성 검증을 위해 Glass's $\Delta$ (효과 크기) 와 Cohen's 기준을 적용.

3. 주요 기여 (Key Contributions)

1. 5 계층 지연 분해 방법론: TLS 1.3 연결을 TCP 핸드셰이크부터 애플리케이션 응답까지 5 개의 프로토콜 단계로 세분화하여 지연을 분석하는 새로운 방법론 제시.
2. 실제 부하 조건下的 비교: 100 TPS 의 지속적 부하 하에서 30 회 이상의 실험을 통해 총 약 100 만 건의 요청에 대한 대규모 데이터셋 생성 및 분석.
3. 알고리즘 중립성 발견: TLS 핸드셰이크 레이어가 알고리즘 (전통적, 하이브리드, 순수 PQC) 에 따라 실질적인 성능 차이가 없음을 통계적으로 입증.
4. 오픈 소스 도구 및 데이터셋: 패킷 캡처에서 계층별 통계를 추출하는 데이터 축소 도구와 복호화된 TLS 패킷 캡처 데이터셋을 공개하여 재현성을 보장.

4. 주요 결과 (Results)

A. 계층별 성능 영향 분석

• TCP 핸드셰이크: 암호화 알고리즘과 무관하며, 모든 구성에서 지연이 거의 동일함 (중앙값 0.36~0.40ms).
• TCP-to-TLS 지연 (가장 큰 오버헤드):
  • PQC 도입 시 가장 큰 성능 저하가 발생하는 구간.
  • 전통적 (x25519) 대비 PQC 구성에서 중앙값 지연이 약 6 배 증가 (0.29ms → 1.7~1.9ms).
  • 이는 클라이언트 측에서 키 자료 생성 및 ClientHello 구성에 소요되는 계산 비용 때문임.
• TLS 핸드셰이크 (ClientHello → Finished):
  • 알고리즘 중립성: 하이브리드 및 순수 PQC 구성 모두 전통적 구성과 비교해 통계적으로 유의미한 차이가 없음 (Glass's $\Delta$ < 0.33).
  • 순수 ML-KEM 이 ECDH 보다 계산적으로 빠를 수 있다는 미크로벤치마크 결과와 달리, 실제 TLS 프로토콜 레벨에서는 프레임 오버헤드, 네트워크 지터, 시스템 스케줄링 등으로 인해 그 차이가 측정 가능한 수준으로 나타나지 않음.
• 애플리케이션 레이어: 응답 크기 (4KB vs 40KB) 에 따라 지연이 비례하여 증가하지만, 암호화 알고리즘에 따른 영향은 미미함.

B. 정규화된 오버헤드 지표

• Overhead Factor (OF): TCP-to-TLS 레이어에서 PQC 는 약 6 배의 오버헤드를 발생시킴.
• Cryptographic Overhead Share (COS): 전체 연결 시간 (End-to-End) 대비 PQC 로 인한 오버헤드 비율은 6~14% 수준으로 moderate(적정) 함.
  • 하이브리드 구성이 순수 PQC 보다 COS 가 약간 높음 (10.614.1% vs 6.07.9%).
• 페이로드 크기 영향: 응답 크기가 4KB 에서 40KB 로 증가하면, 절대적인 PQC 오버헤드 (약 2~3ms) 는 일정하게 유지되지만, 전체 지연 시간 내에서의 상대적 비중은 약 15% 에서 8% 로 감소 (희석 효과).

C. 자원 사용률 (CPU 및 네트워크)

• 클라이언트 CPU: PQC 사용 시 약 2 배 증가 (약 3.7% → 8.2~8.7%). IoT 나 모바일 등 리소스 제약 장치는 주의 필요.
• 서버 CPU: 절대적 증가량은 작으나 (약 14% → 15%), 하이브리드 구성 시 상대적 증가율이 약 6% 발생. 고부하 환경에서는 이 영향이 커질 수 있음.
• 네트워크 트래픽: 키 교환 메시지 크기 증가 (32B → 최대 1568B) 로 인해 트래픽은 증가했으나, 지연 시간에는 비례적인 영향을 미치지 않음.

5. 의의 및 결론 (Significance)

• PQC 이행의 현실적 평가: PQC 도입 시 전체 시스템 성능이 크게 저하될 것이라는 우려와 달리, 실제 트랜잭션 지연의 약 85% 이상은 PQC 와 무관한 레이어 (TCP, 애플리케이션 전송 등) 에서 발생함을 입증.
• 클라이언트 측 최적화 필요: 서버 측보다는 클라이언트 측 (특히 키 생성 및 초기화) 에서 성능 저하가 두드러지므로, 리소스 제약이 있는 디바이스 (IoT, 모바일) 에 대한 최적화 전략이 필요함.
• 하이브리드 vs 순수 PQC: 순수 PQC 가 하이브리드보다 전체 지연 시간에서 약간의 이점 (약 1~2ms) 을 보일 수 있으나, 이는 통계적으로 유의미하지 않으며, 하이브리드 방식이 현재 과도기적 접근으로 더 안전하고 실용적임.
• 미래 연구 방향: 실제 네트워크 장비 (로드 밸런서, MiTM 검사 장비) 환경에서의 성능 평가, 고부하 (100 TPS 이상) 스트레스 테스트, 그리고 PQC 서명 알고리즘 (ML-DSA 등) 의 영향 분석이 필요함.

이 연구는 PQC 로의 전환이 시스템 전체를 마비시킬 것이라는 오해를 불식시키고, 구체적인 오버헤드 발생 지점을 명확히 함으로써 조직들이 PQC 이행을 계획할 때 데이터 기반의 의사결정을 내릴 수 있도록 돕습니다.