기술 요약: 기밀 가상 머신에서의 쿼리 비용 모델 보정

문제 정의

AMD SEV-SNP와 같은 기밀 가상 머신(CVM)의 채택은 소스 코드 수정 없이도 레거시 데이터베이스 관리 시스템(DBMS)을 실행하면서 사용 중인 데이터를 보호할 수 있는 실질적인 경로를 제공한다. 그러나 CVM에서의 분석 쿼리는 기존의 암호화되지 않은 가상 머신(KVM)에 비해 상당한 성능 저하를 겪는다.

기존 연구들은 이러한 성능 저하를 벤치마킹하는 데 주로 집중해 왔으나, 최적화에는 미치지 못했다. 본 논문은 그 근본 원인이 하드웨어-소프트웨어 불일치에 있음을 밝혀냈다. 즉, 전통적인 쿼리 옵티마이저는 KVM에 맞춰 보정된 비용 모델에 의존하는데, 이 모델은 CVM 환경에서는 더 이상 유효하지 않다. 결과적으로 옵티마이저는 실행 계획의 순위를 잘못 매겨, KVM에서는 효율적이지만 CVM에서는 최적이 아닌 전략을 선택하게 된다.

저자들은 이 불일치를 SEV-SNP의 두 가지 특정 아키텍처 특성으로 설명한다:

1. 데이터 이동 오버헤드: CVM에서 스토리지와 메모리 간의 데이터 전송은 암호화 처리와 "바운스 버퍼(bounce-buffer)" 복사(공유 메모리에 데이터를 스테이징하는 과정)를 포함한다. 이 오버헤드는 비균일적이다. 즉, 서로 다른 쿼리 계획(예: Hash Join 대 Nested Loop)은 서로 다른 데이터 이동 패턴을 유발하며, 이는 가변적인 페널티로 이어진다.
2. RMP 관련 변환 오버헤드: SEV-SNP는 주소 변환 과정에서 페이지 소유권과 권한을 검증하기 위해 역방향 맵 테이블(Reverse Map Table, RMP)을 사용한다. 이는 메모리 액세스 경로, 특히 인덱스 스캔이나 프로브(probe)가 많은 중첩 루프(nested loops)와 같은 무작위 액세스 작업에서 지연 시간을 유발한다. 실험적 증거에 따르면, 이는 총 명령어 실행 수의 증가가 아니라 변환 및 보호된 메모리 체크로 인한 사이클 당 명령어(CPI)의 유의미한 증가로 나타난다.

방법론

저자들은 쿼리 옵티마이저의 비용 모델에 직접 통합되는 경량화된 CVM 인식 비용 보정 방식을 제안한다. 실행 엔진을 재설계하는 대신, 이 접근 방식은 SEV-SNP에서의 실행 경로에 대한 실제 상대적 비용을 반영하도록 연산자의 추정 비용을 조정한다.

핵심 메커니즘

보정 작업은 일반적으로 CPU, 메모리, I/O로 분해되는 표준 비용 공식에 옵티마이저가 이미 사용할 수 있는 물리적 프록시로부터 도출된 두 가지 추가 오버헤드 항을 추가한다:

1. 데이터 이동 비용 (datamovecost): 이 항은 **작업 집합 크기(working set size, $ws$)**와 **오버플로 계수(overflow factor, $x$)**를 기준으로 연산자에 페널티를 부여한다. 오버플로 계수는 작업 집합이 유효 캐시 예산을 초과할 때 계산된다. 비용은 $ws \cdot \eta_{dm} \cdot \sigma(x)$로 모델링되며, 여기서 $\eta_{dm}$은 보정된 페널티이고 $\sigma(x)$는 활성 풋프린트가 캐시를 벗어나 암호화된 메모리 트래픽과 바운스 버퍼 상호작용을 트리거할 때 해당 항을 활성화한다.
2. RMP 오버헤드 비용 (rmptcost): 이 항은 **페이지 액세스 강도(page-access intensity, $a$)**와 지역성(locality)을 기준으로 연산자에 페널티를 부여한다. 이는 $a \cdot \eta_{rmp} \cdot (1 + \alpha_{rmp} \cdot \sigma(x))$로 모델링된다. 이는 주소 변환 및 RMP 검증의 증가된 지연 시간을 포착하며, 특히 무작위 액세스 연산(예: 인덱스 스캔, 인덱스 프로브가 포함된 중첩 루프 조인)에 불균형적으로 영향을 미친다.

연산자별 보정

저자들은 이러한 항들을 PostgreSQL의 특정 연산자에 적용한다:

• 스캔 (순차, 비트맵, 인덱스): 순차 및 비트맵 스캔은 작업 집합이 오버플로될 때 주로 데이터 이동에 대해 비용을 부과받는다. 인덱스 스캔은 데이터 이동과 RMP 오버헤드 모두에 대해 비용을 부과받는데, 이는 인덱스 트래셜(traversal)이 변환 체크를 트리거하는 포인터 체이싱 및 비순차적 페이지 액세스를 포함하기 때문이다.
• 조인 (Joins):
  • 중첩 루프 (Nested Loop): 내부 측면이 인덱스 기반인 경우 데이터 이동과 조건부 RMP 오버헤드에 대해 비용을 부과받는다.
  • 해시 조인 (Hash Join): 비용 모델은 해시 테이블 크기를 마지막 레벨 캐시(LLC)와 비교하여 명시적으로 고려한다. 해시 테이블이 LLC를 초과하면 연산자는 상당한 데이터 이동 및 변환 비용을 입게 된다.
  • 병합 조인 (Merge Join): 주로 데이터 이동에 대해 비용을 부과받으며, 입력값에 지역성이 부족한 경우 조건부 RMP 비용이 발생한다.
• 구체화/메모이제이션 (Materialize/Memoize): 버퍼링된 중간 상태의 크기에 따라 비용을 부과받는다.

이러한 비용 항의 파라미터들은 다양한 시나리오에 걸쳐 견고한 보정을 목표로, 각 워크로드의 대표적인 쿼리 서브셋을 사용하여 튜닝된다.

주요 기여

1. 성능 왜곡 식별: 본 논문은 RMP 체크와 데이터 이동 오버헤드가 CVM에서 옵티마이저가 직면하는 주요 성능 왜곡의 동인임을 입증한다. 또한, 이러한 오버헤드가 연산자 의존적이며 실행 계획에 민감하다는 것을 실험적 증거(CPI 팽창 및 바운스 버퍼 활동 분석을 통해)로 제시한다.
2. CVM 보정 비용 모델: 저자들은 RMP 민감도가 높은 무작위 액세스 및 데이터 이동에 대해 표적화된 페널티를 주입하는 실용적인 비용 모델 확장을 제안한다. 이는 옵티마이저의 구조를 유지하면서도 실행 결정이 CVM의 현실에 더 충실하도록 만든다.
3. 구현 및 평가: 이 보정 방식은 PostgreSQL 16.9 내에 구현되었다. 평가는 AMD SEV-SNP 하드웨어 상에서 표준 OLAP 벤치마크(JOB, CEB, Stack, TPC-DS)를 대상으로 수행되었다.

결과

평가 결과, 보정 작업은 KVM과 SEV-SNP 사이의 성능 격차를 크게 좁히는 것으로 나타났다:

• 시간 절감: 보정은 워크로드 전반에서 총 실행 시간을 3.54%에서 48.35%까지 단축시켰다.
  • JOB: 6.90% 개선.
  • CEB: 17.14% 개선.
  • Stack: 48.35% 개선.
  • TPC-DS: 3.54% 개선.
• 교차 환경 성능: CEB 및 Stack 워크로드에서, 보정된 SEV-SNP 실행은 보정되지 않은 KVM 베이스라인보다 우수한 성능을 보였다. 이는 비용 모델 수정이 특정 시나리오에서 비암호화 베이스라인을 능가할 만큼 충분한 효율성을 회복할 수 있음을 나타낸다.
• 쿼리 커버리지: 상당한 비율의 쿼리가 보정의 혜택을 받았으며(워크로드 전반에 걸쳐 38.8% ~ 62.5% 범위), 이는 보정이 광범위하게 효과적임을 보여준다.
• 지연 시간 분포: 보정은 쿼리 지연 시간 분포를 하향 이동시켜 중앙값 지연 시간을 낮추고 편차를 압축한다. 예를 들어, Stack 워크로드에서 최대 지연 시간은 50.80초에서 13.84초로 감소했고, 표준 편차는 7.00초에서 2.24초로 감소했다.

의의 및 주장

본 논문은 CVM에서 고성능 데이터베이스 워크로드를 가로막는 주요 장벽이 단순히 원시 하드웨어 오버헤드가 아니라, 소프트웨어 비용 모델의 불일치라고 주장한다. 데이터 이동 및 RMP 체크에 대한 비용을 재보정함으로써, 시스템은 이러한 페널티를 최소화하는 실행 계획을 자동으로 선택할 수 있다.

저자들은 이 접근 방식이 경량화되어 있다는 점을 강조한다. 이는 새로운 실행 시점 메커니즘을 추가하지 않고 오직 옵티마이저의 비용 추정 로직만을 수정하기 때문에 무시할 만한 수준의 오버헤드만을 도입한다. 저자들은 이 연구가 단순한 벤치마킹을 넘어, 레거시 DBMS가 기밀 환경에서 성능 저하를 일으키는 원인인 "하드웨어-소프트웨어 불일치"를 해결함으로써 최적화 단계로 나아가는 필수적인 단계라고 위치시킨다. 결론적으로, 워크로드의 특성에 따라 개선 정도는 달라질 수 있지만, 합리적인 비용 모델 보정만으로도 KVM과 CVM 사이의 성능 격차를 유의미하게 완화할 수 있다고 본 논문은 명시한다.