Enhancing OLAP Resilience at LinkedIn

이 논문은 링크드인이 Apache Pinot 에서 개발한 쿼리 워크로드 격리, 영향 없는 리밸런싱, 유지보수 존 인식, 적응형 서버 선택 등의 메커니즘을 통해 대규모 실시간 OLAP 시스템의 내결함성과 SLA 준수를 보장하는 종합적인 복원력 프레임워크를 제시합니다.

핵심

링크드인의 데이터 거인, '핀롯 (Pinot)'을 튼튼하게 만드는 4 가지 비법

링크드인 (LinkedIn) 의 데이터 엔지니어들이 작성한 이 논문은, 매일 수백만 명의 사용자가 프로필을 보고, 채용 정보를 검색하고, 광고를 볼 때 그 뒤에서 작동하는 거대한 데이터 시스템이 어떻게 멈추지 않고, 느려지지 않고, 안전하게 운영되는지에 대한 이야기입니다.

이 시스템은 '핀롯 (Pinot)'이라는 이름의 실시간 데이터베이스입니다. 마치 거대한 도서관 같아서, 수조 개의 책 (데이터) 을 1 초도 안 되는 시간에 찾아주어야 합니다. 하지만 도서관이 너무 크고, 사람들이 몰리거나, 책장 하나가 고장 나면 어떻게 될까요? 이 논문은 그 위기를 막기 위해 개발한 4 가지 혁신적인 방어 전략을 소개합니다.

---

1. "누가 더 많이 먹었지?" - 쿼리 작업 격리 (QWI)

비유: 뷔페 식당의 '개인 식판'

상상해 보세요. 거대한 뷔페 식당이 있습니다. 모든 손님이 같은 뷔페 테이블에 앉아 있습니다. 그런데 어떤 손님이 (무거운 쿼리) 혼자서 모든 고기 접시를 싹쓸이해 버리면, 다른 손님들 (다른 쿼리) 은 굶게 되거나 기다려야 합니다. 이를 '노이즈 이웃 (Noisy Neighbor)' 문제라고 합니다.

• 문제: 한 두 개의 복잡한 질문이 시스템의 CPU 와 메모리 (식당의 음식) 를 다 차지해 버리면, 다른 중요한 질문들도 느려지거나 멈춥니다.
• 해결책 (QWI): 링크드인은 각 질문 그룹마다 **'개인 식판 (예산)'**을 정해줍니다.
  • "너는 오늘 10 접시까지만 먹을 수 있어."라고 미리 정해두면, 한 손님이 너무 많이 먹어도 다른 사람의 식판에는 음식이 남아있게 됩니다.
  • 만약 누군가 식판을 넘어서려고 하면, 시스템이 즉시 "멈춰!"라고 말하며 그 질문을 차단합니다.
• 효과: 한 그룹이 폭주해도 다른 그룹은 평소처럼 빠르게 서비스를 받을 수 있습니다. 이 모든 과정이 1% 도 안 되는 비용으로 이루어져 시스템이 무겁지 않습니다.

2. "재해 대비 훈련" - 유지보수 구역 인식 배치 (MZ Awareness)

비유: 지진에 강한 '건물 배치'

데이터는 여러 서버 (컴퓨터) 에 나누어 저장됩니다. 만약 한 서버가 고장 나거나, 유지보수를 위해 전원을 꺼야 한다면 데이터가 사라지지 않도록 여러 곳에 복사 (백업) 해둡니다.

• 문제: 과거에는 복사본들을 무작위로 배치하거나, 같은 건물 (전력망) 에 몰아두는 경우가 있었습니다. 만약 그 건물의 전기가 나간다면, 모든 복사본이 동시에 사라져 데이터를 찾을 수 없게 됩니다.
• 해결책: 링크드인은 복사본들을 **'서로 다른 전력망 (유지보수 구역)'**에 고르게 분산시킵니다.
  • 마치 지진이 났을 때 한 건물이 무너져도 다른 건물의 복사본으로 데이터를 복구할 수 있도록, 복사본들을 물리적으로 멀리 떨어뜨려 배치합니다.
  • 서버를 추가하거나 교체할 때도 이 규칙을 자동으로 지켜줍니다.
• 효과: 한 구역 전체가 유지보수 중이거나 고장 나더라도, 시스템은 멈추지 않고 계속 작동합니다.

3. "조용한 이동" - 영향 없는 데이터 재배치 (Impact-Free Rebalancing)

비유: 비행기 엔진 교체 while 비행 중

시스템이 커지거나 줄어들 때, 데이터를 한 서버에서 다른 서버로 옮겨야 합니다. 보통은 이 작업을 하느라 시스템이 느려지거나 잠시 멈추기 마련입니다.

• 문제: 데이터를 옮기는 동안 서버가 바빠지면, 사용자의 질문 (쿼리) 을 처리할 시간이 부족해져서 속도가 느려집니다.
• 해결책: 링크드인은 **"먼저 질문을 멈추고, 그 사이 데이터를 옮긴다"**는 전략을 씁니다.
  • 데이터를 옮길 서버에 "잠시만 질문 받지 마"라고 신호를 보냅니다.
  • 서버가 쉬는 동안 데이터를 옮기고, 다 옮기면 다시 "질문 받기 시작"합니다.
  • 이 과정을 한 번에 다 하는 게 아니라, 조금씩 나누어서 진행하므로 전체 시스템은 전혀 느려지지 않습니다.
• 효과: 데이터를 10 페타바이트 (약 1000 만 GB) 넘게 옮기는 거대한 작업도 **사용자가 전혀 느끼지 못하는 동안 (Zero Downtime)**에 끝낼 수 있습니다.

4. "빠른 길 찾기" - 적응형 서버 선택 (ADSS)

비유: 네비게이션의 '실시간 교통 정보'

사용자의 질문은 여러 서버로 동시에 보내져서 처리됩니다. 보통은 "A 서버, B 서버, C 서버" 순서로 고르게 보내는데, 만약 B 서버가 갑자기 느려지면 (예: 쓰레기 치우기 작업 중), 그 서버로 가는 모든 질문이 B 서버 때문에 느려집니다.

• 문제: 한 서버가 느려지면, 그 서버로 가는 모든 트래픽이 병목이 되어 전체 속도가 떨어집니다.
• 해결책: 링크드인은 실시간으로 서버의 상태를 체크하는 네비게이션을 도입했습니다.
  • "B 서버가 지금 너무 느리다? 그럼 B 서버로 보내지 말고, 지금 여유로운 C 서버로 보내자!"
  • 이 시스템은 서버가 느려지는 순간 (수 초 내) 에 알아채고, 자동으로 질문을 다른 서버로 우회시킵니다.
• 효과: 서버 하나가 고장 나거나 느려져도, 사용자는 그 사실을 모르고 평소처럼 빠르게 결과를 받습니다.

---

요약: 왜 이것이 중요한가요?

이 논문은 단순히 "시스템을 빠르게 만드는 법"이 아니라, **"시스템이 망가져도, 사람들이 몰려도, 데이터를 옮겨도 절대 멈추지 않게 만드는 법"**을 설명합니다.

링크드인은 이 4 가지 기술을 통해:

1. 공정한 자원 분배 (누가 많이 먹어도 다른 사람이 굶지 않음)
2. 재해 대비 (한 구역이 꺼져도 데이터는 살아남음)
3. 무중단 유지보수 (이동 중에도 서비스는 멈추지 않음)
4. 스마트한 우회 (느린 길은 피해서 빠르게 이동)

를 실현하여, 전 세계 수억 명의 사용자가 매초마다 신뢰할 수 있는 데이터를 경험할 수 있게 합니다. 이는 거대한 데이터 시스템이 어떻게 **'튼튼함 (Resilience)'**을 갖추는지에 대한 완벽한 사례입니다.

기술 요약

링크드인 (LinkedIn) 의 OLAP 내결함성 강화 기술 요약

본 논문은 링크드인이 대규모 실시간 OLAP 데이터스토어인 Apache Pinot의 운영 안정성과 내결함성을 강화하기 위해 개발한 네 가지 핵심 메커니즘을 소개합니다. 현대 기업들은 페타바이트 규모의 데이터에서 서브초 (subsecond) 지연 시간으로 상호작용 분석을 수행해야 하며, 시스템이 고장, 트래픽 급증, 클러스터 변경과 같은 상황에서도 엄격한 SLA(서비스 수준 협약) 를 유지하는 것이 성능만큼이나 중요합니다.

1. 문제 정의 (Problem)

기존의 OLAP 시스템은 다음과 같은 운영상의 도전 과제에 직면해 있었습니다:

• 노이즈 이웃 (Noisy Neighbor) 문제: 공유된 클러스터에서 복잡한 쿼리가 CPU 및 메모리 자원을 독점하여 다른 워크로드의 SLA 를 위반하게 만듭니다.
• 재분배 (Rebalancing) 시 서비스 중단: 노드 추가, 업그레이드, 장애 복구 시 데이터 이동 과정에서 쿼리 성능이 저하되거나 데이터 가용성이 떨어질 수 있습니다.
• 고장 도메인 (Fault Domain) 인식 부재: 유지보수 구역 (Maintenance Zone, MZ) 단위로 장애가 발생할 경우, 복제본이 특정 구역에 편중되어 전체 구역이 다운될 때 서비스 중단이 발생할 수 있습니다.
• 비효율적인 라우팅: 특정 서버가 느려지거나 장애가 발생하더라도, 라우팅 전략이 이를 실시간으로 감지하여 트래픽을 우회하지 못해 전체 쿼리 지연 시간이 악화됩니다.

2. 방법론 및 핵심 기여 (Methodology & Key Contributions)

저자들은 네 가지 주요 메커니즘을 통해 이러한 문제를 해결했습니다.

2.1 쿼리 워크로드 격리 (Query Workload Isolation, QWI)

• 개요: 공유 클러스터 내에서 각 워크로드별로 CPU 및 메모리 예산 (Budget) 을 할당하고 강제하는 시스템입니다.
• 기술적 특징:
  • 세분화된 자원 계량 (Resource Accounting): 락 프리 (lock-free) 샘플링 방식을 사용하여 쿼리별 CPU 시간과 메모리 할당을 밀리초 단위로 추적합니다. 오버헤드는 1% 미만입니다.
  • 예산 강제 (Enforcement): 브로커와 서버 양단에서 예산을 적용합니다. 예산이 초과된 워크로드의 쿼리는 즉시 거부되거나 실행 중인 쿼리가 종료 (Kill) 됩니다.
  • 효과: 한 워크로드의 자원 과다 사용이 다른 워크로드의 성능에 영향을 미치는 것을 방지하여 예측 가능한 지연 시간 (Tail Latency) 을 보장합니다.

2.2 유지보수 구역 인식 데이터 배치 및 재분배 (Maintenance Zone Aware Data Placement and Rebalance)

• MZ 인식 할당 알고리즘:
  • 데이터 복제본을 고장 도메인 (Maintenance Zone) 간에 균등하게 분산시키는 그리디 (Greedy) 스왑 알고리즘을 제안합니다.
  • 하나의 MZ 이 유지보수를 위해 완전히 제거되더라도, 모든 데이터 세그먼트에 대해 최소한의 복제본이 살아남아 서비스 중단이 없도록 보장합니다.
• 영향 없는 재분배 (Impact-Free Rebalancing):
  • 데이터 이동 중 쿼리 성능 저하를 방지하기 위해, 대량의 데이터 이동 전에 해당 호스트의 쿼리 트래픽을 먼저 배수 (Drain) 하는 방식을 사용합니다.
  • 안전한 상태 (Replica 가 최소 임계값 이상 유지) 를 유지하면서 점진적으로 세그먼트를 이동시키는 상태 전이 알고리즘을 적용합니다.

2.3 적응형 서버 선택 (Adaptive Server Selection, ADSS)

• 개요: 고정된 라운드 로빈 방식 대신, 실시간 부하 및 성능 신호를 기반으로 쿼리를 라우팅하는 동적 전략입니다.
• 기술적 특징:
  • 스코어링 알고리즘: 각 브로커는 서버별 'In-flight' 요청 수와 지연 시간 (Latency EMA) 을 기반으로 서버 점수를 계산합니다.
  • 혼합 (Hybrid) 전략: 큐 깊이 추정과 지연 시간 예측을 결합하여 느린 서버를 빠르게 감지하고 트래픽을 우회합니다.
  • 오실레이션 제어: 여러 브로커가 동시에 같은 '최적' 서버를 선택하여 부하가 급변하는 것을 방지하기 위해 Softmax 기반 확률적 선택 정책을 도입했습니다.

3. 실험 결과 (Results)

링크드인의 프로덕션 환경 (약 200 개 클러스터, 10,000+ 서버, 10PB 데이터) 에서의 평가 결과는 다음과 같습니다.

• QWI 성능:
  • 오버헤드: CPU 오버헤드 < 1%, 메모리 증가 약 0.5GB, P99 지연 시간 변화 없음.
  • 격리 효과: 고負荷 워크로드가 발생했을 때, QWI 가 없는 경우 동행 워크로드의 P95 지연 시간이 10 배 이상 악화되었으나, QWI 적용 시 기본 수준 (Baseline) 을 유지했습니다.
• MZ 인식 및 재분배:
  • 가용성: MZ 인식 배치를 통해 단일 구역 유지보수 시 데이터 누락 없이 99.9% 이상의 가용성을 유지했습니다.
  • 이전 성공: 10PB 이상의 데이터를 6 개월 동안 SLA 위반 없이 클라우드 네이티브 인프라로 무중단 이전 완료.
• ADSS 성능:
  • 지연 시간 개선: P98 쿼리 처리 시간이 약 9% 개선되었습니다.
  • 장애 대응: 서버가 느려지는 상황 (GC pause 등) 에서 수 초 내에 트래픽을 우회하여 P95/P99 지연 시간 급증을 방지했습니다.
  • 운영 효율: 느린 서버 관련 경고 (Alert) 가 97% 감소하고, 엔지니어링 조사 시간이 89% 단축되었습니다.

4. 의의 및 결론 (Significance)

이 논문은 대규모 OLAP 시스템의 운영 안정성을 위한 종합적인 내결함성 프레임워크를 제시합니다.

1. 실용성: 이론적 모델이 아닌, 링크드인의 실제 대규모 프로덕션 환경에서 검증된 기술입니다.
2. 범용성: Apache Pinot 에 특화된 기술이지만, 이러한 메커니즘 (워크로드 격리, 영역 인식 배치, 적응형 라우팅) 은 Druid, ClickHouse 등 다른 현대 OLAP 시스템에도 적용 가능한 일반적인 원칙을 제공합니다.
3. 운영 효율성: 수동 개입을 최소화하고 자동화된 복구 및 부하 분산을 통해 클라우드 규모의 데이터 분석 인프라의 신뢰성을 획기적으로 높였습니다.

결론적으로, 이 연구는 단순한 성능 최적화를 넘어, 예측 가능한 지연 시간과 고용량 환경에서의 높은 가용성을 동시에 달성하기 위한 현대 OLAP 시스템의 필수 요소들을 체계적으로 정의하고 구현했습니다.