Asynchronous Verifiable Information Dispersal with Low Space and Communication Complexity

현대 세계를 움직이는 거대하고 보이지 않는 인프라 속에서, 데이터는 컴퓨터 네트워크를 통해 끊임없이 기록되고 저장되며 검색됩니다. 이러한 시스템은 개별 기기가 고장 나거나, 충돌하거나, 악의적인 행위자에 의해 침해되더라도 정보를 안전하게 보호할 수 있을 만큼 견고해야 합니다. 이를 위해 엔지니어들은 종종 하나의 파일을 여러 조각으로 나누어 서로 다른 위치에 흩뿌려 놓는 기술, 즉 '정보 분산(information dispersal)' 기법을 사용합니다. 이는 일부 조각이 손실되더라도 남은 파편들을 통해 원래의 파일을 재구성할 수 있도록 보장합니다. 그러나 이 보호 방식의 비용을 조절하는 것은 지속적인 과제였습니다. 데이터를 안전하게 저장하려면 보통 추가적인 복사본을 유지해야 하므로 공간을 많이 차지하며, 깨진 조각을 수리하거나 사용을 위해 데이터를 이동시키는 과정은 상당한 대역폭을 소비합니다. 수년 동안 가장 효율적인 데이터 저장 방식들은 느리고 수리 비용이 많이 들었으며, 반대로 고장 난 노드를 복구하는 가장 빠른 방식들은 저장 공간을 엄청나게 낭비했습니다.

연구자 토마스 로허(Thomas Locher)와 이본-안 피뇰레(Yvonne-Anne Pignolet)는 이러한 트레이드오프를 깨뜨리는 새로운 방법을 개발하여, 모든 차원에서 동시에 효율적으로 데이터를 저장, 분산 및 복구할 수 있는 길을 제시했습니다. 그들의 연구는 '비동기 검증 가능 정보 분산(asynchronous verifiable information dispersal)'이라 불리는 특정 유형의 시스템에 초점을 맞추고 있습니다. 이 시스템은 컴퓨터들이 기능을 수행하기 위해 메시지의 정확한 타이밍에 합의할 필요가 없으면서도, 자신이 보유한 데이터가 유효하고 일관되는지 여부를 여전히 검증할 수 있습니다. 연구팀은 데이터를 격자 형태의 구조로 조직하여, 노드들이 전체 파일을 다운로드하지 않고도 누락된 조각을 재구성할 수 있도록 필요한 만큼의 정보만을 공유하게 하는 혁신적인 프로토콜을 도입했습니다. 이 접근 방식은 실패한 컴퓨터를 복구하는 데 필요한 대역폭과 저장해야 할 데이터의 양을 크게 줄이는 동시에, 정보가 요청되었을 때의 검색 속도를 유지합니다.

이 새로운 시스템의 핵심은 데이터를 내보내기 전 어떻게 배치하느냐에 있습니다. 연구자들은 정보를 단순한 파편의 목록으로 취급하는 대신, 2차원 행렬, 즉 행과 열로 이루어진 격자 형태로 인코딩합니다. 데이터를 모든 셀에 원래 파일의 작은 조각이 들어 있는 커다란 스프레드시트라고 상상해 보십시오. 시스템은 이 격자의 빈 셀을 채우기 위해 수학적 과정을 적용하여 중복성의 웹을 만듭니다. 네트워크의 각 컴퓨터에는 격자의 특정 행과 특정 열이 할당됩니다. 각 컴퓨터는 해당 행과 열에 속하는 데이터와 데이터가 올바름을 검증하는 작은 암호화 증명을 함께 저장합니다. 이 구조가 시스템 효율성의 핵심입니다. 모든 컴퓨터가 다른 모든 컴퓨터의 행과 열에 대한 조각을 보유하고 있기 때문에, 한 대의 기기가 고장 나더라도 중앙 권위자와 접촉하거나 전체 데이터셋을 다운로드할 필요 없이 서로의 빈틈을 채워줄 수 있습니다.

새로운 데이터를 저장해야 할 때, 프로세스는 클라이언트가 초기 격자 정보를 네트워크로 보내는 것으로 시작됩니다. 연구자들은 이 과정이 대역폭을 낭비하지 않고 빠르게 이루어지도록 영리한 핸드셰이크 메커ков니즘을 설계했습니다. 클라이언트는 필요한 데이터를 각 컴퓨터에 보내고 데이터가 수신되었다는 확인을 기다립니다. 만약 어떤 컴퓨터가 응답하지 않으면, 클라이언트는 단순히 전체 파일을 모두에게 다시 보내는 것이 아니라, 누락된 조각만을 포함한 작고 표적화된 업데이트를 필요한 특정 컴퓨터들에게만 보냅니다. 네트워크의 다른 컴퓨터들은 이미 자신의 저장 공간에 누락된 데이터의 파편을 가지고 있으므로, 이를 고전하는 노드들에게 해당 특정 조각들을 전달합니다. 이러한 협력 단계 덕분에 네트워크는 이전 방식들이 보장성을 위해 전체 데이터셋을 여러 번 전송해야 했던 것보다 훨씬 적은 총 데이터 이동량으로 저장 프로세스를 완료할 수 있습니다.

데이터를 검색하는 과정 또한 매우 간소화되었습니다. 사용자가 파일을 읽고 싶을 때는 충분한 수의 컴퓨터에 행(row) 데이터를 요청합니다. 격자가 구성된 방식 덕분에 사용자는 네트워크의 모든 노드에 연락할 필요 없이 이 행들만으로 원래의 파일을 재구성할 수 있습니다. 시스템은 조각들과 함께 저장된 암호화 증명을 사용하여 데이터의 무결성을 검증하며, 이를 통해 손상되었거나 악의적인 정보가 반환되지 않도록 보장합니다. 이 검색 프로세스는 기존의 가장 우수한 방법들만큼 효율적이므로, 다른 개선 사항을 얻기 위해 데이터 읽기 속도를 희생하지 않았습니다.

가장 주목할 만한 진보는 컴퓨터가 고장 났을 때 시스템이 수리를 처리하는 방식입니다. 기존 시스템에서는 고장 난 노드를 교체할 때 새 기기가 자신의 몫을 재구축하기 위해 네트워크로부터 전체 데이터셋을 다운로드해야 했으며, 이는 대용ка 파일의 경우 며칠이 걸릴 수 있고 막대한 대역폭을 소비하는 과정이었습니다. 이 새로운 프로토콜에서 교체 노드는 자신의 특정 행과 열 데이터를 복구하기 위해 단 몇 대의 다른 컴퓨터에만 연락하면 됩니다. 이웃 노드들은 새 노드의 격자 위치와 교차하는 아주 작은 정보 조각들만을 전달합니다. 그러면 새 노드는 이 파편들을 사용하여 자신의 전체 저장 몫을 수학적으로 재구성합니다. 이는 수리 시 전송되는 데이터의 양을 실질적으로 줄여주며, 노드가 네트워크에 자주 참여하거나 떠나는 실제 규모의 대규모 환경에서도 이 시스템을 실행 가능하게 만듭니다.

연구진은 자신들의 프로토콜을 기존 표준들과 비교 분석하였으며, 그 결과 모든 측면에서 일관되게 성능이 우수함을 발견했습니다. 1기가바이트 파일을 저장하는 100대의 컴퓨터 네트워크를 가정할 때, 이들의 방식은 각 노드가 30메가바이트만 저장하면 되는 반면, 선두적인 대안 방식은 45메가바이트를 요구합니다. 단일 파일에 대해서는 이 차이가 작아 보일 수 있지만, 이를 전 세계적인 네트워크의 페타바이트 단위 데이터로 확장하면 총 저장 요구량을 1.5페타바이트나 줄이는 효과를 가져옵니다. 마찬가지로, 노드가 고장 났을 때 새 시스템은 수리를 위해 45테라바이트의 데이터를 다운로드하면 되지만, 기존 최선책 아래에서는 75테라바이트가 필요합니다. 이는 30테라바이트의 트래픽을 절감하는 것이며, 네트워크 용량 기준으로 볼 때 더 이상 필요하지 않은 수리 트래픽 3일 치를 아끼는 셈입니다.

팀은 또한 사용자가 자신의 필요에 따라 시스템을 조정할 수 있는 변형 프로토콜을 탐구했습니다. 단 하나의 매개변수를 조정함으로써, 운영자는 수리와 검색에 필요한 대역폭 요구량을 약간 높이는 대신 저장 공간 사용량을 더욱 최소화하도록 선택할 수 있습니다. 이러한 유연성 덕 이 프로토콜은 장기 저장 효율성을 우선시하는 탈중앙화 아카이브부터 빠른 데이터 접근이 필요한 고성능 시스템에 이르기까지 광범의 시나리오에 적합합니다. 이 연구는 분산 저장 시스템이 단순히 한 영역에서 이론적으로 최적일 뿐만 아니라, 데이터가 작성되는 순간부터 수리되거나 검색되는 순간까지 전체 생애 주기 동안 실질적으로 효율적일 수 있음을 보여줍니다.

이 연구는 분산 저장 시스템의 확장을 제한해 온 병목 현상을 해결함으로써 차세대 분산 저장 시스템을 위한 구체적인 경로를 제공합니다. 저 낮은 저장 오버헤드, 낮은 쓰기 통신 비용, 그리고 효율적인 노드 복구가 공존할 수 있음을 입증함으로써, 저자들은 견고한 탈중앙화 데이터 네트워크의 배포를 가로막던 주요 장벽을 제거했습니다. 결과는 단순히 이론적인 것에 그치지 않습니다. 연구에서 도출된 구체적인 상수들은 운영 비용과 네트워크 용량의 실질적인 절감으로 직결됩니다. 탈중앙화 아카이브나 블록체인 솔루션과 같은 시스템이 계속 성장함에 따라, 신뢰성을 희생하지 않고 데이터를 효율적으로 관리할 수 있는 프로토콜은 점점 더 필수적이 될 것이며, 이 새로운 방법은 그러한 미래를 위한 균형 잡힌 고성능 기반을 제공합니다.