기술 요약: P-MOSS

문제 정의

NUMA(Non-Uniform Memory Access) 및 칩렛(Chiplet) 아키텍처를 사용하는 현대적인 멀티 코어 서버는 상당한 하드웨어 이질성을 나타냅니다. 이러한 복잡성은 메인 메모리 인덱스(예: B+-Tree)의 성능이 다음 두 가지 요인에 따라 최대 한 자릿수(order of magnitude)까지 차이 날 수 있는 방대한 설계 공간을 생성합니다:

1. 데이터 파티셔닝(Data Partitioning): NUMA 노드(메모리 컨트롤러) 전반에 걸친 인덱스 파티션의 위치.
2. 코어 스케줄링(Core Scheduling): 특정 인덱스 파티션을 대상으로 하는 쿼리를 실행하기 위해 논리 코어를 할당하는 작업.

이러한 조합을 **공간적 스케줄링(spatial scheduling)**이라고 합니다. 전통적인 접근 방식은 정적 휴리스틱(예: 라운드 로빈, 인터리빙)이나 OS 수준의 기본 설정에 의존하는 경우가 많으며, 이는 현대 하드웨어(Intel, AMD, NVIDIA, ARM)의 다양한 토폴로지와 변화하는 워크로드 패턴(읽기 중심, 쓰기 중심, 스캔)에 적응하지 못합니다. 기존 연구들은 대개 시간적 스케줄링(쿼리를 실행하는 시점)에 집중하거나 관계형 테이블의 데이터 배치를 다루지만, 메인 메모리 인덱스에서의 코어-데이터 친화성(core-to-data affinity)이라는 중요한 공간적 측면은 간과합니다. 또한, 휴리스틱 기반 솔루션은 스케줄링 문제의 조합적 특성으로 인해 서로 다른 CPU 벤더와 아키텍처 전반에 걸쳐 일반화되는 데 어려움을 겪습니다.

방법론: P-MOSS

본 논문은 대규모 언어 모델(LLM)의 원리를 활용하여 공간적 스케줄링을 최적화하는 학습된 프레임워크인 P-MOSS(Performance MOnitoring Unit-driven Spatial Query Scheduling)를 소개합니다.

핵심 패러다임: 다음 토큰 예측 (Next Token Prediction, NTP)

P-MOSS는 공간적 스케줄링 문제를 다음 토큰 예측(Next Token Prediction) 작업으로 재구성합니다. 문장에서 다음 단어를 예측하는 대신, 시스템은 일련의 스케줄링 결정 과정에서 다음 **코어 ID(Core ID)**를 예측합니다.

• 시퀀스(Sequence): 시퀀스는 인덱스의 스케줄링 정책을 나타내며, 각 "토큰"은 인덱스 슬라이스(키 범위에 기반한 논리적 파티션)를 특정 CPU 코어에 할당하는 것을 의미합니다.
• 컨텍스트(Context): 자연어 토큰과 달리 코어 ID는 내재된 구문론적 규칙성이 없습니다. P-MOSS는 하드웨어 성능 통계로부터 유도된 컨텍스트를 통해 "토큰"을 풍부하게 함으로써 이 문제를 해결합니다.

아키텍처 및 훈련 파이프라인

P-MOSS는 **오프라인 강화 학습(Offline Reinforcement Learning, RL)**을 통해 훈련된 디시전 트랜스포머(Decision Transformer, DT) 아키텍처를 사용합니다. 시스템은 세 가지 단계로 작동합니다.

1. 사전 훈련 (Generative Pre-training):

   • 데이터 소스: 다양한 하드웨어(Intel, AMD, NVIDIA, IBM), 다양한 NUMA 구성(1NPS, 4NPS, Chiplet), 그리고 다양한 워크로드(YCSB 변형)로부터 오프라인 데이터셋을 큐레이션합니다.
   • 프로세스: 시스템은 쿼리 실행 중에 하드웨어 성능 모니터링 유닛(PMU)을 조사하여 "하드웨어 스냅샷"을 생성합니다. 이 스냅샷은 소프트웨어 수준의 장부 기록 없이 저수준 통계(명령어 수, 캐시 미스, 메모리 트래픽)를 캡처합니다.
   • 토큰화(Tokenization): 하드웨어 스냅샷, 현재 스케줄링 정책, 성능 지표를 상태(State), 행동(Action), 보상-투-고(Return-to-Go, RTG), 메타(Meta) 토큰으로 토큰화합니다.
   • 목표: DT는 다양한 환경에 걸쳐 효율적인 스케줄링의 일반화 가능한 패턴을 학습합니다.

2. 추론 (Online Execution):

   • 훈련된 "베이스" 모델은 대상 하드웨어와 워크로드에 대한 스케줄링 정책을 예측합니다.
   • P-MOSS는 무작위 또는 이전 정책으로 부트스트랩하고, 실시간으로 PMU 통계를 모니터링하며, 이를 DT에 입력하여 인덱스 슬라이스를 코어에 매핑하는 최적의 방법을 추론합니다.
   • 시스템은 인덱스 슬라이스를 해당 NUMA 노드로 마이그레이션하고 쿼리 실행을 특정 코어에 바인딩함으로써 이러한 결정을 강제합니다.

3. 사후 훈련 (Fine-tuning):

   • 시스템이 대상 하드웨어에서 작동함에 따라, 해당 환경에 특화된 "미세 조정 데이터셋"을 수집합니다.
   • 베이스 모델은 특정 서버와 워크로드의 고유한 특성에 적응하기 위해 (오프라인으로) 점진적으로 업데이트되어 "어시스턴트(assistant)" 모델을 생성합니다.

주요 기술 구성 요소

• 하드웨어 프로파일링 (PMU): P-MOSS는 PMU(예: LLC 미스, 메모리 컨트롤러 트래픽)를 통해 수집된 저수준 하드웨어 통계에만 의존합니다. 이는 소프트웨어 수준의 장부 기록으로 인한 오버헤드와 부정확성을 피할 수 있게 해줍니다.
• 토큰화 전략:
  • 상태 토큰(State Token): 뷰(View), 포지션(Position), 머신(Machine) 토큰을 통해 현재 하드웨어 상태(점유된 코어, 캐시/메모리 통계)를 나타냅니다.
  • 행동 토큰(Action Token): 예측된 코어 ID입니다.
  • RTG 토کن(RTG Token): 미래의 목표 보상(목표 처리량)에서 현재 보상을 뺀 값으로, 모델이 높은 성능의 결과로 향하도록 유도합니다.
  • 메타 토큰(Meta Token): 시스템 전체의 컨텍스트(소켓 수, NUMA 토폴로지, CPU 벤더)를 나타냅니다.
• 오프라인 RL: 학습 과정을 쿼리 실행의 크리티컬 패스(critical path)로부터 분리함으로써, P-MOSS가 학습 단계 동안 DBMS의 성능 저하를 겪지 않도록 보장합니다.

주요 기여

1. P-MOSS 프레임워크: 현대적인 NUMA 및 칩렛 서버에서 메인 메모리 인덱스의 공간적 쿼리 스케줄링을 위한 최초의 학습된 프레임워크로, 데이터 배치와 코어 스케줄링을 모두 우선시합니다.
2. PMU 기반 최적화: 소프트웨어 수준의 장부 기록 없이 오직 저수준 하드웨어 통계(PMU)에만 의존하는 새로운 DBMS 커널 최적화 방식으로, 다양한 하드웨어 벤더에 대한 적응성을 보장합니다.
3. NTP 정식화: 쿼리 스케줄링을 다음 토큰 예측(Next Token Prediction) 작업으로 정식화하여, 온라인 상호작용 없이도 오프라인 RL 및 디시전 트랜스포머를 사용하여 스케줄링 정책을 학습할 수 있게 합니다.
4. 실증적 검증: 다양한 CPU(Intel, AMD, ARM, IBM), NUMA 아키텍처(1-4 소켓, 2-8 노드), 워크로드에 대한 광범위한 평가를 수행했습니다.

실험 결과

평가는 3천만 개에서 10억 개의 레코드를 가진 메인 메모리 B+-Tree를 사용하여 5가지 서로 다른 서버 구성(AMD Milan, Intel Skylake X, Intel Sandy Bridge, NVIDIA Grace Hopper, IBM Power)에서 진행되었습니다.

• 처리량 개선: P-MOSS는 전통적인 스케줄링 정책에 비해 쿼리 처리량을 최대 6배까지 향상시킵니다.
• 베이스라인과의 비교:
  • OS 기본 설정(OS:D, OS:I) 및 NUMA 인식 전략(SE:N, SN:N)과 비교했을 때, P-MOSS는 평균 1.92배에서 3.66배의 속도 향상을 보여줍니다.
  • 다른 학습형 또는 휴리스틱 기반 "Shared Nothing" 전략(Grouped, Mixed, Spread, Random)과 비교했을 때, P-MOSS는 특정 하드웨어 및 워크로드에 따라 1.27%에서 3.95% 사이의 개선 폭을 보이며 일관되게 우수한 성능을 나타냅니다.
• 일반화 능력: P-MOSS는 처음 보는 하드웨어(IBM Power)와 데이터 분포(OSM 데이터셋)에 대해서도 처음부터 다시 학습할 필요 없이 사전 훈련된 베이스 모델을 활용하여 강력한 일반화 능력을 입증했습니다.
• 오버헤드: PMU를 통한 하드웨어 통계 수집 오버헤드는 매우 미미하며(~0.73% 성능 저하), 이러한 통계 처리에 SIMD 명령어를 사용하여 프로파일링 단계 중 시스템 성능을 60.37% 향상시켰습니다.

의의 및 주장

본 논문은 기초적인 LLM 개념, 특히 **다음 토큰 예측(Next Token Prediction)**을 데이터베이스 최적화 작업에 적용하는 것의 타당성을 입증한다고 주장합니다. 스케줄링을 시퀀스 모델링 문제로 취급함으로써, 프레임워크는 정적 휴리스틱보다 더 효과적으로 현대 하드웨어 설계 공간의 조합적 복잡성을 탐색할 수 있습니다.

저자들은 다음을 강조합니다:

• 공간적 스케줄링은 현대의 이질적인 하드웨어에서 성능을 극대화하는 데 필수적입니다.
• 하드웨어 성능 통계(PMU)는 ML 기반 데이터베이스 최적화를 위한 견고하고 오버헤드가 적은 특징 표현(feature representation)을 제공합니다.
• 오프라인 RL은 학습을 실행으로부터 분리하여, 다양한 환경에 안전하고 확장 가능하게 적응할 수 있게 합니다.
• 이 접근 방식은 공간적 스케줄링에 국한되지 않고, LLM에서 영감을 받은 기술을 더 넓은 DBMS 최적화 과제로 일반화하기 위한 청사진을 제공합니다.