Modeling Concurrency Control as a Learnable Function

Each language version is independently generated for its own context, not a direct translation.

🏢 비유: 거대한 은행의 창구 시스템

데이터베이스를 거대한 은행이라고 상상해 보세요. 수천 명의 고객 (거래) 이 동시에 창구에 와서 돈을 입금하거나 출금하려고 합니다.

문제점 (기존 방식의 한계):
- 2PL (두 단계 잠금): 모든 고객이 줄을 서서 하나씩 처리해야 합니다. 안전하지만 너무 느립니다. (대기 시간이 길어짐)
- OCC (낙관적 동시성 제어): "아마 충돌하지 않겠지?"라고 믿고 모두 동시에 작업을 하다가, 마지막에 "어? 내 돈이 바뀌었네?"라고 발견하면 처음부터 다시 시작합니다. (재시도 비용이 큼)
- 기존의 지능형 시스템: "이 고객은 VIP 라서 2PL 을 쓰고, 저 고객은 일반이라서 OCC 를 쓰자"라고 미리 정해둔 규칙을 따릅니다. 하지만 고객의 성향이 갑자기 바뀌면 (예: 장날이 되어 갑자기 VIP 가 많아짐) 시스템이 적응하지 못해 엉망이 됩니다.
NeurCC 의 등장:
- NeurCC 는 **"상황을 보고 그 순간에 가장 좋은 방법을 스스로 배우는 스마트한 은행 관리자"**입니다.
- 미리 정해진 규칙이 아니라, 실시간으로 상황을 관찰하고 "지금 이 순간에는 이렇게 처리하는 게 가장 빠르겠다"라고 스스로 결정합니다.

🧠 NeurCC 가 어떻게 작동할까요?

1. "상황을 읽는 눈" (State Collection)

NeurCC 는 은행의 상태를 실시간으로 파악합니다.

"지금 어떤 계좌를 많이 건드리고 있지?" (데이터의 뜨거움)
"누가 누구의 작업을 기다리고 있지?" (의존 관계)
"지금 거래가 몇 개나 진행 중이지?" (부하)
이 정보를 바탕으로 **현재의 상황 (State)**을 파악합니다.

2. "스마트한 결정" (Learnable Function)

기존 시스템은 "A 상황이면 B 방법"이라고 딱 정해져 있었지만, NeurCC 는 A, B, C... 등 수많은 방법 중 하나를 섞어서 최적의 해결책을 만듭니다.

비유: 요리사가 레시피를 따르는 게 아니라, 손님의 입맛 (부하) 을 보고 "오늘은 소금 1g, 후추 0.5g, 간장 2ml"처럼 정확한 양을 스스로 조절해서 최고의 요리를 만들어내는 것과 같습니다.
NeurCC 는 이 '조리법'을 **찾아보기 쉬운 표 (Lookup Table)**로 만들어서, 은행 관리자가 1 초도 걸리지 않게 바로 적용합니다.

3. "스스로 배우고 고치는 과정" (Optimization)

가장 놀라운 점은 배우는 속도가 매우 빠르다는 것입니다.

기존 방식 (Polyjuice 등): 새로운 레시피를 찾기 위해 수백 번을 시식하고 실패하며 배우느라 몇 시간이 걸렸습니다.
NeurCC:
1. 가상 시뮬레이션 (Bayesian Optimization): 실제 은행 문을 닫고 시식하는 대신, 컴퓨터 안에서 "이렇게 하면 어떨까?"라고 수천 번을 가상으로 시뮬레이션해 봅니다.
2. 그래프 축소 (Graph Reduction): 불필요한 갈등 관계를 미리 찾아내어 "이건 충돌할 일이 없으니 무시하자"라고 줄여버립니다.
- 결과: 기존에 몇 시간이 걸리던 학습이 몇 분 만에 끝납니다.

🚀 NeurCC 가 가져온 혁신

이 논문은 NeurCC 가 기존 최고의 시스템들보다 압도적으로 빠르고 똑똑하다는 것을 증명했습니다.

속도 (Throughput):
- 같은 시간에 처리할 수 있는 거래량이 기존 시스템보다 최대 4 배 이상 늘어났습니다.
- 비유: 기존 은행이 100 명을 처리하는 동안, NeurCC 은행은 400 명을 처리했습니다.
적응력 (Workload Drift):
- 은행에 갑자기 VIP 가 몰리거나, 반대로 평범한 고객만 몰려도 순간적으로 대처합니다.
- 비유: 비가 오면 우산을 들고, 해가 뜨면 선글라스를 끼는 것처럼, 날씨 (부하) 가 변하면 즉시 옷차림 (처리 방식) 을 바꿉니다.
학습 시간 (Optimization Time):
- 새로운 환경에 적응하는 데 걸리는 시간이 기존 학습형 시스템보다 11 배나 빠릅니다.
- 비유: 새 직장에 들어와서 11 개월 걸려서 적응하던 직원이, NeurCC 는 1 개월 만에 적응해 최고의 성과를 냅니다.

💡 한 줄 요약

"NeurCC 는 데이터베이스의 혼란을 미리 정해진 규칙으로 해결하는 게 아니라, 인공지능이 실시간으로 상황을 파악하고 스스로 최적의 해결책을 찾아내어, 은행 창구를 훨씬 더 빠르고 유연하게 운영하는 차세대 관리자입니다."

이 기술 덕분에 앞으로 우리가 사용하는 앱이나 서비스는 더 많은 사람이 동시에 사용해도 멈추지 않고, 훨씬 더 빠르게 작동하게 될 것입니다.

Each language version is independently generated for its own context, not a direct translation.

1. 문제 정의 (Problem)

기존의 동시성 제어 (CC) 알고리즘은 다음과 같은 한계를 가지고 있습니다:

워크로드 의존성: 2PL(2-Phase Locking) 은 높은 경쟁 (High Contention) 환경에서 우수하지만, 낮은 경쟁 환경에서는 OCC(Optimistic Concurrency Control) 가 더 좋습니다. 반대로 OCC 는 낮은 경쟁 환경에서는 좋지만 높은 경쟁 환경에서는 많은 트랜잭션 중단 (Abort) 을 초래합니다.
동적 워크로드 대응 부족: 최근의 적응형 CC 알고리즘들은 워크로드를 분류하여 알고리즘을 선택하는 방식을 사용하지만, 시간이 지남에 따라 워크로드가 변할 때 (Drift) 수동 조정이나 긴 최적화 시간이 필요하여 실시간 대응이 어렵습니다.
학습의 어려움: 기존 학습 기반 접근법 (예: Polyjuice) 은 최적의 동작을 학습하는 데 시간이 오래 걸리며, 비연속적인 파라미터 (예: 파이프라인 대기 동작) 로 인해 머신러닝 기법 (Policy Gradient 등) 을 적용하기 어렵고, 최적화 비용이 매우 높습니다.

2. 방법론 (Methodology)

NeurCC 는 동시성 제어 알고리즘을 데이터베이스 상태 (State) 를 동시성 제어 동작 (Action) 으로 매핑하는 학습 가능한 함수 $F: \{s\} \to \{a\}$ 로 모델링합니다.

2.1. 핵심 아키텍처

상태 (State, $s$ ): 트랜잭션 접근 ID, 트랜잭션 유형, 데이터 열기 (Hotness), 의존 트랜잭션 수 등 경량화된 특징 (Features) 을 수집하여 구성합니다.
동작 (Action, $a$ ): 충돌 감지 방식 (감지 안 함, 중요 충돌 감지, 모든 충돌 감지), 타임아웃 값, 우선순위, 파이프라인 대기 (Pipeline-wait) 규칙 등을 포함합니다.
구현: 함수 $F$ 는 데이터베이스 내부의 **Lookup Table(찾기 테이블)**로 구현되어, 상태 입력 시 수백 개의 CPU 사이클 만에 동작을 결정할 수 있도록 하여 오버헤드를 최소화합니다.

2.2. 학습 및 최적화 프로세스

NeurCC 는 두 가지 주요 워크플로우를 가집니다:

실행 워크플로우 (Critical Path): 각 트랜잭션 연산 전에 상태를 수집하고 Lookup Table 을 통해 최적의 CC 동작을 결정하여 실행합니다.
최적화 워크플로우 (Off Critical Path): 시스템 스루풋을 모니터링하여 워크로드 변화를 감지하면, 새로운 최적의 함수 $F$ 를 학습하여 테이블을 업데이트합니다.

학습 알고리즘의 혁신:

대리 모델 (Surrogate Model) 기반 베이지안 최적화: 실제 DB 에서 함수를 평가하는 것은 시간이 오래 걸리므로, 성능을 예측하는 가우시안 프로세스 (Gaussian Process) 모델을 온라인으로 학습하여 탐색 공간을 효율적으로 좁힙니다.
그래프 축소 탐색 (Graph Reduction Search): 파이프라인 대기 동작 ( $F_P$ ) 과 같이 국소성 (Locality) 이 없는 문제를 해결하기 위해, 충돌 그래프 (Conflict Graph) 를 학습하는 방식으로 문제를 재정의합니다. 그래프의 노드 병합 및 엣지 제거를 통해 최적의 충돌 해결 전략을 빠르게 탐색합니다.
단계별 최적화 파이프라인: 성능 향상이 큰 동작 (충돌 감지 및 우선순위, 파이프라인 대기) 을 먼저 최적화하고, 이후 타임아웃 등 세부 파라미터를 미세 조정하는 4 단계 전략을 사용합니다.

2.3. 특징 선택기 (Feature Selector)

학습의 효율성을 높이기 위해, 어떤 특징이 시스템 성능에 가장 큰 영향을 미치는지 학습하여 상태 벡터의 크기를 줄입니다. 이 과정은 배포 시 한 번 수행하거나 사용자가 필요시 실행합니다.

3. 주요 기여 (Key Contributions)

NeurCC 제안: 다양한 워크로드에서 고성능을 달성하고, 워크로드 변화에 빠르게 적응하는 학습 기반 동시성 제어 알고리즘을 최초로 제안했습니다.
범용 CC 모델: 기존 알고리즘들의 설계 선택지 (Design Choices) 를 포괄하는 통합 함수 모델을 제안하여, 2PL, OCC, Polyjuice, bLDSF 등 다양한 기존 알고리즘을 하나의 프레임워크로 표현하고 그 이상의 조합을 가능하게 했습니다.
효율적인 학습 알고리즘: 베이지안 최적화와 그래프 축소 탐색을 결합하여, 기존 학습 기반 알고리즘보다 훨씬 짧은 시간 (최적화 시간 단축) 내에 고성능 모델을 찾도록 했습니다.
광범위한 평가: 2PL, Silo, CormCC, Polyjuice, IC3 등 5 가지 최첨단 알고리즘과 비교하여 성능과 최적화 속도를 입증했습니다.

4. 실험 결과 (Results)

저자들은 NeurCC 를 C++ 로 구현하여 Silo 데이터베이스 엔진에 통합하고, YCSB 와 TPC-C 워크로드를 통해 평가했습니다.

처리량 (Throughput) 향상:
- Polyjuice 대비 최대 3.32 배 향상.
- 2PL 대비 최대 4.38 배 향상.
- Silo 대비 최대 4.27 배 향상.
- 특히 높은 경쟁 (High Contention) 환경과 다양한 접근 패턴 (Access Pattern) 에서 두드러진 성능 차이를 보였습니다.
최적화 시간 (Optimization Time):
- 기존 학습 기반 알고리즘 (Polyjuice) 이 최적 성능에 도달하는 데 약 1.78 시간이 걸리는 반면, NeurCC 는 평균 9.67 분 만에 도달하여 약 11 배 빠른 최적화 속도를 기록했습니다.
워크로드 드리프트 대응:
- 워크로드가 급격히 변할 때 (예: 스레드 수 변경), NeurCC 는 기존 함수에서 시작하여 빠르게 새로운 최적 함수를 학습하여 성능을 회복합니다.
- 1 초 단위의 급격한 워크로드 변화 (Stress Test) 에서도 Silo 와 유사한 성능을 유지하며 강건함을 입증했습니다.
학습된 동작의 예시:
- 저장 절차 모드: NeurCC 는 Polyjuice 와 달리 불필요한 충돌을 제거하는 더 효율적인 충돌 그래프를 학습하여, 여러 트랜잭션이 병렬로 실행되도록 하여 대기 시간을 줄였습니다.
- 인터랙티브 모드: 2PL 이 충돌 시 무조건 대기하거나 중단하는 반면, NeurCC 는 데이터의 열기 (Hotness) 와 우선순위를 학습하여, 충돌이 예상될 때만 조기에 중단하거나 우선순위를 조정하여 병렬성을 극대화했습니다.

5. 의의 및 결론 (Significance)

NeurCC 는 동시성 제어 분야에서 다음과 같은 중요한 의의를 가집니다:

유연성과 적응성: 수동 튜닝이나 복잡한 분류 규칙 없이, 워크로드의 변화에 자동으로 적응하여 항상 최적의 동시성 제어 전략을 제공합니다.
학습 기반 DB 관리의 실용화: 학습 오버헤드를 최소화하고 (Lookup Table 사용, 빠른 최적화), 학습된 모델이 실제 생산 환경 (In-memory DB) 에서 마이크로초 단위의 연산에도 적용 가능하도록 설계하여, 머신러닝 기반 DB 기술의 실용성을 높였습니다.
새로운 설계 공간 개척: 기존 알고리즘들이 고려하지 않았던 '우선순위 기반 충돌 해결'과 '중요 충돌 감지'의 결합 등 새로운 동시성 제어 설계 공간을 탐색하고 그 유효성을 입증했습니다.

결론적으로 NeurCC 는 다양한 워크로드 환경에서 기존 알고리즘들을 압도하는 처리량을 제공하면서도, 동적인 환경 변화에 빠르게 적응할 수 있는 차세대 동시성 제어 솔루션입니다.