💻 computer science

Walrus: An Efficient Decentralized Storage Network

이 논문은 복제 오버헤드와 복구 효율성 간의 균형을 개선하고, 비동기 네트워크 환경에서의 보안과 높은 노드 이탈률 하에서도 효율적인 자가 치유 복구를 가능하게 하는 새로운 이차원 에러 정정 코드인 'RedStuff'와 다단계 에포크 변경 프로토콜을 통해 확장 가능한 탈중앙화 스토리지 시스템 'Walrus'를 제안합니다.

원저자: George Danezis, Giacomo Giuliari, Eleftherios Kokoris Kogias, Markus Legner, Jean-Pierre Smith, Alberto Sonnino, Karl Wüst

게시일 2026-02-23

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: George Danezis, Giacomo Giuliari, Eleftherios Kokoris Kogias, Markus Legner, Jean-Pierre Smith, Alberto Sonnino, Karl Wüst

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

월러스 (Walrus): 탈중앙화 저장소의 '구원자'

이 논문은 **월러스 (Walrus)**라는 새로운 기술을 소개합니다. 쉽게 말해, 월러스는 인터넷 상의 거대한 데이터 덩어리 (파일, 사진, 비디오 등) 를 여러 사람이 나누어 안전하게 저장하고, 누군가 사라지거나 해킹을 당해도 데이터를 잃지 않도록 해주는 **'탈중앙화 클라우드 저장소'**입니다.

기존 방식들의 문제점을 해결하기 위해 고안된 월러스의 핵심 아이디어를 일상적인 비유로 설명해 드리겠습니다.

1. 기존 방식의 문제: "너무 비싸거나, 너무 느려"

데이터를 안전하게 저장하는 데는 두 가지 전통적인 방식이 있었습니다. 하지만 둘 다 큰 단점이 있었죠.

방식 A: 완전 복제 (Full Replication)
- 비유: 중요한 문서를 100 명에게 똑같은 사본을 만들어 나눠주는 상황입니다.
- 장점: 누군가 문서를 잃어버려도 99 명이 남아있으니 쉽게 찾을 수 있습니다.
- 단점: 비용이 너무 비쌉니다. 원본이 1GB 라면 100GB 의 저장 공간이 필요합니다. (복제율 100 배)
방식 B: 조각 내기 (Erasure Coding)
- 비유: 문서를 100 조각으로 잘게 잘라 100 명에게 나누어 줍니다. 33 조각만 있어도 원문을 다시 만들 수 있습니다.
- 장점: 저장 공간이 훨씬 절약됩니다. (복제율 3 배)
- 단점: 수리가 너무 어렵습니다. 만약 한 명이 "내 조각을 잃어버렸어요"라고 하면, 나머지 99 명 모두에게서 조각을 다 받아와서 그 사람의 조각을 다시 만들어줘야 합니다. 이 과정에서 엄청난 데이터가 오가며 시간이 오래 걸립니다. 특히 사람들이 자주 오가는 (탈중앙화) 환경에서는 이 수리 과정이 시스템 전체를 마비시킬 수 있습니다.

월러스는 이 두 가지의 단점을 모두 없애고 장점만 합친 '세 번째 방법'을 제시합니다.

2. 월러스의 핵심 기술: "레드 스태프 (Red Stuff)"와 2 차원 퍼즐

월러스의 핵심은 **'레드 스태프 (Red Stuff)'**라는 새로운 암호화 기술입니다. 이를 이해하기 위해 2 차원 퍼즐을 상상해 보세요.

🧩 1 차원 방식 (기존) vs 2 차원 방식 (월러스)

기존 방식 (1 차원): 문서를 가로줄만 잘게 잘라 100 명에게 줍니다. 한 명이 잃어버리면, 나머지 99 명에게서 가로줄 조각을 모두 받아와야 합니다. (데이터 양이 원본 전체만큼 전송됨)
월러스 방식 (2 차원): 문서를 가로줄과 세로줄로 동시에 잘게 썹니다.
- 각 사람은 가로 조각과 세로 조각을 하나씩 받습니다.
- 신비로운 점: 만약 A 씨가 자신의 조각을 잃어버렸다면, A 씨는 다른 사람들과 조각의 교차점만 주고받으면 됩니다.
- 비유: A 씨가 잃어버린 조각을 찾기 위해, B 씨에게서 "A 씨의 가로줄과 B 씨의 세로줄이 만나는 곳"의 작은 조각만 받으면 됩니다.
- 결과: 잃어버린 조각을 복구할 때, 원본 파일 전체를 다운로드할 필요 없이, 잃어버린 부분만큼만 데이터를 주고받으면 됩니다.

이 기술을 통해 월러스는 저장 공간은 4.5 배만 사용하면서도 (기존 3 배 방식보다 약간 더 쓰지만, 100 배보다는 훨씬 적음), 데이터 복구 속도는 매우 빠르고 효율적입니다. 마치 잃어버린 퍼즐 조각을 찾기 위해 전체 퍼즐을 다시 사야 하는 게 아니라, 옆에 있는 조각 몇 개만 교환하면 되는 것과 같습니다.

3. 시스템의 특징: "자동 치유"와 "교대 근무"

🩹 자동 치유 (Self-Healing)

기존 방식에서는 저장소 서버 (노드) 가 고장 나면, 다른 서버들이 모두 모여서 고장 난 서버의 데이터를 다시 만들어주는 데 엄청난 시간이 걸렸습니다. 하지만 월러스는 레드 스태프 덕분에, 고장 난 서버가 새로운 서버로 교체될 때 잃어버린 데이터 양만큼만 빠르게 전송하여 복구합니다. 마치 상처가 나면 몸이 스스로 빠르게 낫는 것처럼, 시스템이 자동으로 치유됩니다.

🔄 교대 근무 (Epoch Change)

탈중앙화 시스템에서는 저장소 서버들이 계속 바뀌거나 (누군가 나가거나 새로 들어옴) 해킹을 당할 수 있습니다. 월러스는 이를 '교대 근무' 시스템으로 해결합니다.

새로운 팀이 들어오기 전에, 기존 팀이 모든 데이터를 완벽하게 넘겨줍니다.
이 과정에서 데이터가 끊기지 않고 계속 읽기/쓰기가 가능합니다.
만약 기존 팀 중 일부가 사라져도, 나머지 팀원들이 남은 조각들을 이용해 데이터를 복구하여 새 팀에 넘겨줍니다.

4. 실제 성과: "실제 작동하는 거대 도서관"

이론만 있는 게 아닙니다. 월러스는 이미 **실제 운영 (프로덕션)**되고 있으며, 다음과 같은 성과를 거두었습니다.

규모: 전 세계 19 개 국가, 약 100 개의 서버가 연결되어 있습니다.
저장량: **530 테라바이트 (TB)**의 데이터를 안전하게 저장하고 있습니다. (약 530,000 개의 고화질 영화)
속도:
- 읽기/쓰기 속도: 기존 블록체인 기반 저장소 (아레웨이, 파일코인 등) 는 파일을 저장하거나 읽는 데 수십 분에서 몇 시간이 걸렸습니다. 하지만 월러스는 수 초 안에 완료합니다.
- 비유: 기존 방식이 우편으로 책을 보내는 느낌이라면, 월러스는 초고속 인터넷으로 파일을 바로 다운로드하는 느낌입니다.

5. 결론: 왜 월러스가 중요한가?

월러스는 **"저장 비용은 낮게, 안전성은 높게, 복구 속도는 빠르게"**라는 세 마리 토끼를 다 잡았습니다.

기존: "안전하게 저장하려면 비싸게 써야 해" 또는 "싸게 쓰면 고장 나면 복구 못 해."
월러스: "저장 비용은 적게 들면서, 고장 나도 자동으로 빠르게 복구돼."

이 기술은 블록체인, 웹3, 그리고 미래의 거대한 데이터 저장소가 필요할 때 가장 효율적인 인프라가 될 것으로 기대됩니다. 마치 인터넷이 정보를 공유하는 방식을 바꾼 것처럼, 월러스는 데이터를 저장하고 공유하는 방식을 혁신하고 있습니다.

Walrus: 효율적인 분산 저장 네트워크 기술 요약

1. 문제 정의 (Problem Statement)

분산 저장 시스템은 복제 오버헤드 (Replication Overhead), 복구 효율성 (Recovery Efficiency), 보안 보장 (Security Guarantees) 사이의 근본적인 트레이드오프에 직면해 있습니다.

전체 복제 (Full Replication) 방식: Filecoin, Arweave 등의 기존 시스템은 데이터를 여러 노드에 전체적으로 복제합니다. 이는 접근성이 뛰어나지만, 저장 비용이 매우 큽니다 (예: 25 배 이상의 오버헤드). 또한, 노드가 탈퇴하거나 고장 나면 새로운 노드가 데이터를 다시 복제해야 하므로 대역폭 소모가 큽니다.
소거 부호화 (Erasure Coding) 방식: Reed-Solomon (RS) 부호화 등을 사용하면 저장 비용을 3 배 수준으로 줄일 수 있습니다. 하지만, 노드가 교체될 때 (Churn) 기존 노드들이 전체 데이터를 전송하여 새로운 노드가 조각 (Sliver) 을 복구해야 하므로, 복구 비용이 $O(|blob|)$에 달해 저장 비용 절감 효과를 상쇄합니다. 이는 고 churn(노드 교체) 환경인 퍼미션리스 (Permissionless) 시스템에 부적합합니다.
핵심 문제: 낮은 저장 오버헤드를 유지하면서도, 노드 장애나 교체 시 전체 데이터를 다운로드하지 않고도 **효율적으로 데이터를 복구 (Self-healing)**할 수 있는 메커니즘이 부족했습니다.

2. 방법론 (Methodology)

저자들은 Walrus라는 새로운 분산 Blob 저장 시스템을 제안하며, 이를 위해 두 가지 핵심 기술 혁신을 도입했습니다.

2.1. Red Stuff (2 차원 소거 부호화 프로토콜)

Walrus 의 핵심은 Red Stuff라는 새로운 인코딩 프로토콜입니다.

2 차원 인코딩: 기존 1 차원 RS 부호화 대신 2 차원 (행과 열) 구조를 사용합니다.
- 원본 Blob 을 $f+1$ 개의 기본 조각 (Primary Slivers) 으로 나눈 후, 이를 다시 $2f+1$ 개의 보조 조각 (Secondary Slivers) 으로 확장합니다.
- 결과적으로 데이터는 $[f+1, 2f+1]$ 행렬 형태로 인코딩되며, 각 노드는 행 (Primary) 과 열 (Secondary) 조각 쌍을 저장합니다.
자가 치유 (Self-healing) 복구:
- 노드가 조각을 잃었을 때, 전체 Blob 을 다운로드할 필요 없이 손실된 데이터 양에 비례하는 대역폭 ($O(|blob|/n)$) 만으로 복구할 수 있습니다.
- 다른 노드들이 보유한 교차하는 조각 (Intersection) 을 요청하여 손실된 조각을 재구성합니다.
보안성: 인증된 데이터 구조 (Vector Commitment, Merkle Tree) 를 사용하여 악성 클라이언트나 노드가 잘못된 데이터를 제출하는 것을 방지하고, 데이터 일관성을 보장합니다.

2.2. Walrus 시스템 아키텍처

블록체인 기반 제어 평면: Sui 블록체인을 외부 제어 평면으로 사용하여 메타데이터 관리, 거버넌스, 가용성 증명 (Proof of Availability, PoA) 을 처리합니다. Walrus 는 자체 블록체인을 만들지 않고 기존 고성능 블록체인을 활용합니다.
Epoch 기반 운영: 시스템은 Epoch 단위로 운영되며, 각 Epoch 에는 고정된 스토리지 노드 위원회가 존재합니다.
다단계 Epoch 변경 프로토콜:
- 노드 위원회가 교체될 때 (Churn) 서비스 중단 없이 데이터를 이전합니다.
- 기존 위원회는 읽기 (Read) 를 계속 처리하고, 새 위원회는 쓰기 (Write) 를 즉시 처리하도록 하여 데이터 유출을 방지합니다.
- 새 위원회가 모든 조각을 성공적으로 복구하면 읽기/쓰기를 모두 새 위원회로 전환합니다.

3. 주요 기여 (Key Contributions)

비동기 완전 데이터 저장 (ACDS) 문제 정의 및 Red Stuff 제안:
- Byzantine Fault Tolerance (BFT) 환경에서도 효율적으로 작동하는 비동기 완전 데이터 저장 문제를 정의했습니다.
- Red Stuff 는 4.5 배의 복제 인자 (Replication Factor) 로 높은 보안을 제공하면서도, $O(|blob|/n)$의 비용으로 손실된 데이터를 복구할 수 있는 최초의 프로토콜입니다.
Walrus 프로토콜 설계:
- 낮은 복제 비용과 효율적인 복구 능력을 갖춘 최초의 퍼미션리스 분산 저장 프로토콜을 설계했습니다.
- 노드 churn 이 발생해도 중단 없이 데이터를 읽거나 쓸 수 있는 Epoch 변경 메커니즘을 포함합니다.
실제 배포 및 검증:
- Walrus 를 프로덕션 환경 (테스트넷 및 메인넷) 에 배포했습니다.
- 약 1 년간 운영되며 530TB 이상의 데이터를 안전하게 저장했습니다.

4. 실험 결과 및 성능 (Results)

저자들은 배포된 Walrus 시스템 (Sui 블록체인 기반) 을 통해 성능을 평가했습니다.

저장 오버헤드: 기존 BFT 소거 부호화 (3 배) 대비 4.5 배의 오버헤드가 발생하지만, 이는 효율적인 복구를 위한 필수적인 트레이드오프입니다.
지연 시간 (Latency):
- 읽기: 135MB 크기의 Blob 을 5 초 미만으로 읽었습니다. (Arweave 는 약 25 초, Filecoin 은 수 시간 소요)
- 쓰기: 135MB Blob 을 20 초 미만으로 저장 및 확정 (PoA 발행) 했습니다. (Arweave 는 30 분 이상, Filecoin 은 1.5 시간 이상 소요)
처리량 (Throughput):
- 단일 클라이언트 읽기 처리량은 135MB Blob 기준 약 400MB/s를 달성했습니다.
- 쓰기 처리량은 약 62MB/s로 측정되었으며, 이는 클라이언트 설정에 따른 한계로 보이며 네트워크 병목이 아닙니다.
Epoch 변경 및 복구:
- 노드가 탈퇴하거나 새로 합류할 때, 전체 데이터를 전송하지 않고도 효율적으로 조각을 복구하여 서비스 중단 없이 운영됨을 확인했습니다.
- 메인넷에서 480,000 개 이상의 Blob(약 121TB) 을 보유한 노드가 탈퇴했을 때, 17~21 시간 내에 조각 복구가 완료되었습니다.

5. 의의 및 결론 (Significance)

효율성과 확장성의 균형: Walrus 는 분산 저장 분야에서 "저장 비용 vs 복구 효율성"이라는 오랜 딜레마를 해결했습니다. 4.5 배의 낮은 복제 인자를 유지하면서도, 노드 교체 시 발생하는 막대한 네트워크 트래픽을 방지합니다.
실용성 입증: 이론적 모델을 넘어 실제 메인넷에서 수백 TB 의 데이터를 안정적으로 관리하고 있으며, Filecoin 및 Arweave 와 같은 기존 상용 솔루션보다 월등히 빠른 읽기/쓰기 속도를 제공합니다.
미래 지향적 아키텍처: 블록체인 (Sui) 과 분산 저장 (Walrus) 을 분리하여, 블록체인은 메타데이터와 거버넌스만 담당하고 대용량 데이터는 효율적인 P2P 네트워크에서 처리하는 모델을 제시했습니다. 이는 웹3 및 대규모 데이터 애플리케이션에 필수적인 인프라로 자리 잡을 것으로 기대됩니다.

요약하자면, Walrus 는 Red Stuff라는 혁신적인 2 차원 인코딩 기술을 통해 분산 저장의 비용과 복구 효율성 문제를 동시에 해결하고, 실제 환경에서 검증된 고성능 분산 저장 솔루션을 제시한 획기적인 연구입니다.