A Hierarchical Sharded Blockchain Balancing Performance and Availability

이 논문은 샤딩의 성능과 가용성 간의 균형을 맞추기 위해 로컬 체인의 추측적 실행과 메인 체인의 DAG 기반 메모풀을 결합한 계층적 샤딩 블록체인 'PyloChain'을 제안하고, 기존 기술 대비 처리량과 지연 시간 측면에서 우수한 성능을 입증합니다.

핵심

파이로체인 (PyloChain): 블록체인의 '성능'과 '안전'을 모두 잡은 혁신적인 해결책

이 논문은 블록체인 기술이 가진 가장 큰 고민, 즉 "속도 (성능)"와 "안전 (가용성)" 사이의 갈등을 해결한 새로운 시스템, **파이로체인 (PyloChain)**을 소개합니다.

기존 블록체인들은 속도를 내기 위해 데이터를 쪼개면 (샤딩) 안전성이 떨어지고, 안전을 지키려 데이터를 복제하면 속도가 느려지는 딜레마에 빠져 있었습니다. 파이로체인은 이 두 마리 토끼를 모두 잡기 위해 계층형 (Hierarchical) 구조를 도입했습니다.

이 복잡한 기술을 일상적인 비유로 쉽게 설명해 드리겠습니다.

---

1. 문제 상황: 왜 블록체인은 느리고 불안할까?

블록체인을 거대한 은행이라고 상상해 보세요.

• 기존 방식 A (안전 우선): 모든 지점 (서버) 에 모든 거래 내역의 복사본을 다 보관합니다. 한 지점에 화재가 나도 다른 지점에 기록이 있어 안전합니다. 하지만 지점 수가 늘어나면 모든 지점이 모든 거래를 확인해야 하므로 업무 처리 속도가 매우 느려집니다.
• 기존 방식 B (속도 우선): 지점을 지역별로 나누고, 각 지점의 기록은 그 지역만 담당하게 합니다. 업무 처리 속도는 엄청나게 빨라집니다. 하지만 만약 특정 지역의 서버가 고장 나거나 해킹당하면, 그 지역의 모든 기록이 사라져 버릴 수 있습니다.

이전 연구들은 이 두 가지 중 하나를 선택해야 했습니다. 하지만 현실 세계에서는 빠르면서도 안전한 시스템이 필요합니다.

2. 파이로체인의 해결책: "지역 사무소"와 "본사"의 협력

파이로체인은 은행을 **지역 사무소 (Local Chain)**와 **본사 (Main Chain)**로 나누어 운영합니다.

🏢 지역 사무소 (Local Chain): "신속한 처리"

• 역할: 각 지역 (샤드) 에 있는 일반 직원들 (Local Members) 이 담당합니다.
• 작동 방식: 지역 내에서 일어나는 단순한 거래 (예: A 가 B 에게 돈을 보냄) 는 지역 사무소 내에서만 빠르게 처리합니다. 마치 각 지점의 창구 직원이 고객 요청을 바로 처리하는 것과 같습니다.
• 장점: 모든 지점이 서로의 거래를 확인할 필요가 없으므로 속도가 매우 빠릅니다.

🏛️ 본사 (Main Chain): "최종 확인과 안전"

• 역할: 전 지점을 관리하는 본사 (Full Members) 가 담당합니다.
• 작동 방식: 지역 사무소에서 처리된 거래 기록들을 본사로 보내어 최종 확인을 받습니다. 본사는 모든 지점의 기록을 한눈에 볼 수 있는 전체 복사본을 가지고 있습니다.
• 장점: 만약 어떤 지역 사무소가 고장 나거나 해킹을 당해도, 본사에 기록이 남아있으므로 데이터를 잃지 않습니다 (안전성 확보).

3. 파이로체인의 핵심 기술 3 가지

이 시스템이 어떻게 더 똑똑하게 작동하는지 세 가지 비유로 설명합니다.

① "DAG 기반 메모풀": 혼잡한 고속도로의 지능형 신호등

• 비유: 본사로 가는 데이터는 마치 출근 시간의 고속도로 같습니다. 기존 방식은 차들이 줄을 서서 하나씩 들어갔다면, 파이로체인은 DAG(방향성 비순환 그래프) 기술을 써서 여러 차가 동시에, 하지만 질서 있게 들어갈 수 있게 합니다.
• 효과: 지역 사무소에서 보내는 데이터가 본사에 도착하는 속도가 빨라지고, 데이터가 유실될 확률이 줄어듭니다.

② "스케줄링 기술": 식당의 주문 순서 조절

• 비유: 지역 사무소에서 처리한 거래 중에는 '지역 내 거래'와 '다른 지역과 관련된 거래 (글로벌 거래)'가 섞여 있습니다. 만약 복잡한 '글로벌 거래'가 먼저 처리되면, 간단한 '지역 거래'들이 대기하다가 취소될 수 있습니다.
• 해결: 파이로체인은 식당 주문을 조절하는 매니저처럼 작동합니다.
  1. 먼저 간단한 '지역 거래'들을 모두 처리합니다.
  2. 그 다음에 복잡한 '글로벌 거래'를 처리합니다.
• 효과: 불필요한 거래 취소 (Abort) 를 막아주어 전체 처리 속도가 훨씬 빨라집니다.

③ "정밀 감사 (Auditing)": 본사 직원의 감시 카메라

• 문제: 본사 직원 (Full Member) 이 악의적으로 데이터를 조작하거나, 지역 사무소에게 "처리 완료"라고 거짓말을 할 수 있을까요?
• 해결: 파이로체인은 본사의 모든 행동을 작은 단계로 나누어 지역 직원들이 직접 감시할 수 있게 합니다. 마치 본사 직원의 행동을 CCTV 로 실시간으로 모니터링하듯, "데이터를 보냈는가?", "확인했는가?"를 단계별로 검증합니다.
• 효과: 본사 직원이 나쁜 짓을 하더라도 지역 직원들이 바로 알아차리고 교체할 수 있어 시스템이 안전합니다.

4. 실제 성과: 얼마나 빨라졌을까?

연구진들은 이 시스템을 실제로 만들어 테스트했습니다.

• 결과: 기존 균형 잡힌 방식 (DyloChain) 과 비교했을 때, 처리량 (Throughput) 은 약 1.5 배, 대기 시간 (Latency) 은 약 2.6 배나 개선되었습니다.
• 의미: 같은 시간에 더 많은 거래를 처리하면서도, 데이터가 사라질 위험은 최소화했습니다.

5. 결론: 왜 이것이 중요한가?

파이로체인은 블록체인이 **실제 비즈니스 (금융, 공급망, 의료 등)**에서 쓰이기 위해 넘어야 할 가장 큰 장벽, 즉 "속도냐 안전이냐"라는 선택지를 없애주었습니다.

• 지역 사무소는 빠른 속도를 담당하고,
• 본사는 안전을 담당하며,
• 똑똑한 스케줄링이 두 팀의 협업을 원활하게 합니다.

이처럼 계층적이고 지능적인 구조를 통해, 파이로체인은 미래의 블록체인이 대규모로 확장되더라도 빠르고 안전하게 작동할 수 있는 길을 열어주었습니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

블록체인 네트워크는 탈중앙화, 투명성, 불변성이라는 장점을 제공하지만, 네트워크 참여자와 트랜잭션 발행자가 증가함에 따라 확장성 (Scalability) 문제가 발생합니다. 이를 해결하기 위해 제안된 샤딩 (Sharding) 기술은 두 가지 주요 접근법으로 나뉘며, 각각의 한계가 존재합니다.

• 가용성 우선 샤딩 (Availability-favored Sharding): 모든 서버가 모든 샤드의 전체 복사본을 보유합니다. 데이터 가용성과 크로스-샤드 (Cross-shard) 트랜잭션 처리 효율은 높지만, 모든 노드가 전체 데이터를 저장해야 하므로 저장소 및 통신 오버헤드가 커져 확장성이 제한됩니다.
• 성능 우선 샤딩 (Performance-favored Sharding): 각 샤드를 분리된 서버 그룹에 단일 복사본으로 저장합니다. 성능은 우수하지만, 특정 샤드 그룹의 장애가 발생하면 해당 데이터의 전체 가용성이 손실될 수 있어 데이터 무결성과 가용성 측면에서 위험합니다.

핵심 문제: 기존 기술들은 성능과 가용성 중 하나를 희생하는 트레이드오프를 강요합니다. 또한, 계층형 구조를 도입할 때 다음과 같은 새로운 도전 과제가 발생합니다.

1. 영역 (Zone) 확장성: 비동기 네트워크를 통한 하위 로컬 블록의 상위 메인 체인으로의 신뢰할 수 있는 전파 및 통합.
2. 트랜잭션 확장성: 메인 체인에 통합되는 방대한 로컬 블록을 효율적으로 처리하고, 글로벌 (크로스-샤드) 트랜잭션으로 인한 로컬 트랜잭션의 중 abort (취소) 를 최소화.
3. 악의적 풀 멤버 (Malicious Full Member) 대응: 상위 계층의 풀 멤버가 하위 로컬 멤버에게 잘못된 정보를 전달하거나 메시지를 지연시킬 경우, 로컬 멤버가 이를 감지하고 검증할 수 있는 메커니즘 부재.

2. 제안 방법론: PyloChain (Methodology)

저자들은 PyloChain이라는 계층형 샤딩 블록체인을 제안하여 성능과 가용성을 균형 있게 조화시킵니다.

A. 시스템 아키텍처

• 계층 구조:
  • 하위 계층 (Local Chain): 각 샤딩 영역 (Zone) 내에서 로컬 멤버들이 관리하며, 단일 샤드만 보유합니다. 로컬 트랜잭션을 병렬로 speculative execution(추정 실행) 합니다.
  • 상위 계층 (Main Chain): 모든 영역을 연결하는 풀 멤버 (Full Member) 들이 관리하며, 모든 샤드의 전체 복사본을 보유합니다. 가용성을 보장하고 크로스-샤드 트랜잭션을 처리합니다.
• DAG 기반 Mempool: 메인 체인은 리더가 없는 (Leaderless) DAG(Directed Acyclic Graph) 기반 메모풀을 사용하여 여러 영역에서 동시에 생성된 로컬 블록을 높은 처리량으로 통합하고 순서를 보장합니다.

B. 핵심 프로토콜 설계

1. 로컬 블록 분배 및 DAG 포함:
   • 풀 멤버는 로컬 블록의 커밋 인증서를 수집하여 다른 풀 멤버들에게 전파합니다.
   • DAG Mempool Inclusion: 로컬 블록의 순서를 보존하면서 DAG 정점 (Vertex) 에 포함합니다. 이는 비동기 네트워크에서도 로컬 블록의 가용성을 보장하고 전체 순서를 효율적으로 정렬합니다.
2. 메인 블록 처리 및 스케줄링 (Order-Execute-Order-Validate, O-X-O-V):
   • 스케줄링 기법: 메인 블록 처리 시, 글로벌 (크로스-샤드) 트랜잭션을 로컬 트랜잭션 처리가 완료된 후 마지막에 배치합니다.
   • 효과: 글로벌 트랜잭션이 로컬 트랜잭션의 추정 실행 결과를 방해하여 취소 (Abort) 시키는 경우를 줄이고, 병렬 처리 효율을 극대화합니다.
3. 세밀한 감사 메커니즘 (Fine-grained Auditing):
   • 로컬 멤버는 메인 체인의 상태를 직접 볼 수 없으므로, 풀 멤버의 행동을 검증할 수 있는 외부화 (Externalization) 메커니즘을 도입했습니다.
   • 풀 멤버는 로컬 블록 가용성, DAG 포함, 메인 블록 합의 및 처리 결과를 로컬 멤버에게 인증서와 함께 전달해야 합니다.
   • 로컬 멤버는 각 단계의 예상 지연 시간 (Timer) 을 설정하여 풀 멤버가 메시지를 지연하거나 조작하는지 감시합니다.

C. 장애 처리 및 복구

• 풀 멤버가 악의적이거나 장애가 발생하면, 로컬 멤버는 PBFT 와 유사한 뷰 체인지 (View Change) 를 통해 새로운 풀 멤버를 선출합니다.
• 새로운 풀 멤버는 메인 체인 상태를 동기화하고 대기 중인 로컬 블록들을 메인 체인에 제출하여 시스템을 복구합니다.

3. 주요 기여 (Key Contributions)

1. PyloChain 제안: 성능과 가용성을 균형 있게 조화시키는 계층형 샤딩 블록체인 아키텍처를 설계했습니다.
2. DAG 기반 합의 및 스케줄링: 메인 체인에서 DAG 기반 합의를 통해 높은 처리량과 가용성을 확보하고, 단순하지만 효과적인 스케줄링 기법으로 글로벌 트랜잭션으로 인한 로컬 트랜잭션 취소를 줄여 트랜잭션 확장성을 향상시켰습니다.
3. 풀 멤버 감사 메커니즘: 메인 체인 연산의 세밀한 의미를 로컬 멤버에게 외부화하여, 악의적 풀 멤버를 감지하고 검증할 수 있는 메커니즘을 설계했습니다.
4. 실제 구현 및 평가: Hyperledger Fabric 기반 구현을 통해 다양한 워크로드에서 PyloChain 의 타당성과 성능을 입증했습니다.

4. 평가 결과 (Results)

저자들은 18 개의 영역 (Zone), 18 개의 풀 멤버, 72 개의 로컬 멤버로 구성된 환경에서 실험을 수행했습니다.

• 성능 향상:
  • 12 개 영역, 20% 글로벌 트랜잭션 환경에서 기존 균형형 샤딩 솔루션 (DyloChain) 대비 처리량 (Throughput) 은 1.49 배, 지연 시간 (Latency) 은 2.63 배 개선되었습니다.
  • PyloChain (DAG+Sched) 은 글로벌 트랜잭션 비율이 높아질수록 성능 저하가 적었습니다.
• 확장성:
  • 로컬 블록 분배 비용이 영역 수에 따라 제곱으로 증가하는 한계가 있으나, Erasure Coding(손실 부호화) 기법을 적용하면 대역폭 소모를 줄여 24 개 영역까지 확장 가능함을 보였습니다.
• 저장 비용:
  • 가용성 우선 샤딩에 비해 저장 비용이 현저히 낮고 (풀 멤버만 전체 데이터 보유), 성능 우선 샤딩보다는 가용성이 높습니다.
• 지연 시간 분석:
  • 로컬 블록 분배가 주요 병목이었으나, 스케줄링 기법을 통해 메인 블록 처리 지연과 상태 동기화 지연을 각각 29.6%, 59.3% 감소시켰습니다.
• 장애 복구:
  • 느린 영역 (Slow Zone) 이 존재하는 경우, DyloChain 은 전체 성능이 급격히 떨어지는 반면, PyloChain 은 DAG 기반 비동기 합의 덕분에 해당 영역의 출력 감소만 영향을 받아 전체 시스템 성능을 유지했습니다.

5. 의의 및 결론 (Significance)

이 논문은 실제 비즈니스 환경 (컨소시엄 블록체인 등) 에서 요구되는 고성능과 고가용성의 동시 달성이라는 난제를 해결했습니다.

• 실용성: 기존 샤딩 기술이 가진 "성능 vs 가용성"의 이분법적 대립을 계층형 구조와 DAG 합의, 그리고 효율적인 스케줄링을 통해 극복했습니다.
• 보안성: 상위 계층의 권한을 가진 풀 멤버에 대한 감사 메커니즘을 도입하여, 계층형 구조에서 발생할 수 있는 중앙화된 신뢰 위험을 분산시켰습니다.
• 미래 지향성: 이 연구는 퍼블릭 블록체인 (Layer 2 롤업 등) 으로 확장 가능한 아키텍처를 제시하며, 다양한 산업 분야에서 대규모 블록체인 데이터 처리를 위한 새로운 표준을 제시합니다.

결론적으로 PyloChain 은 샤딩 블록체인의 실용적 배포를 위해 필수적인 확장성, 가용성, 그리고 보안을 모두 충족시키는 균형 잡힌 솔루션입니다.