Asynchronous Verifiable Information Dispersal with Low Space and Communication Complexity

Na vasta e invisível infraestrutura que alimenta o mundo moderno, os dados estão constantemente sendo escritos, armazenados e recuperados através de redes de computadores. Esses sistemas devem ser robustos o suficiente para manter as informações seguras mesmo quando máquinas individuais falham, travam ou são comprometidas por atores maliciosos. Para alcançar isso, engenheiros frequentemente dividem um único arquivo em muitos pedaços e os espalham por diferentes locais, uma técnica conhecida como dispersão de informação. Isso garante que, se alguns pedaços forem perdidos, o arquivo original ainda possa ser reconstruído a partir dos fragmentos restantes. No entanto, um desafio persistente tem sido equilibrar o custo dessa proteção. Armazenar dados com segurança geralmente exige manter cópias extras, o que consome espaço, enquanto mover esses dados para consertar peças quebradas ou recuperá-los para uso consome uma largura de banda significativa. Durante anos, os métodos mais eficientes para armazenar dados eram lentos e caros de reparar, enquanto os métodos mais rápidos para corrigir nós quebrados eram incrivelmente desperdiçadores de espaço de armazenamento.

Os pesquisadores Thomas Locher e Yvonne-Anne Pignolet desenvolveram um novo método que quebra esse compromisso, oferecendo uma forma de armazenar, espalhar e recuperar dados que é eficiente em todas essas dimensões simultaneamente. O trabalho deles foca em um tipo específico de sistema chamado dispersão de informação verificável assíncrona, onde os computadores não precisam concordar com o tempo exato das mensagens para funcionar corretamente, mas ainda podem verificar se os dados que possuem são válidos e consistentes. A equipe introduziu um protocolo inovador que organiza os dados em uma estrutura semelhante a uma grade, permitindo que os nós compartilhem apenas o suficiente de informação para reconstruir peças ausentes sem precisar baixar arquivos inteiros. Essa abordagem reduz significativamente a quantidade de dados que devem ser armazenados e a largura de banda necessária para consertar um computador que falhou, tudo isso mantendo a velocidade necessária para recuperar a informação quando ela é solicitada.

O núcleo deste novo sistema reside em como os dados são organizados antes de serem enviados. Em vez de tratar a informação como uma simples lista de fragmentos, os pesquisadores a codificam em uma matriz bidimensional, ou uma grade de linhas e colunas. Imagine os dados como uma grande planilha onde cada célula contém um pequeno pedaço do arquivo original. O sistema então aplica um processo matemático para preencher as células vazias desta grade, criando uma teia de redundância. Cada computador na rede é atribuído a uma linha específica e uma coluna específica desta grade. Ele armazena apenas os dados pertencentes àquela linha e àquela coluna, juntamente com uma pequena prova criptográfica que verifica se os dados estão corretos. Esta estrutura é a chave para a eficiência do sistema. Como cada computador possui um pedaço da linha e da coluna de todos os outros computadores, eles podem ajudar uns aos outros a preencher as lacunas se uma máquina falhar, sem a necessidade de contatar uma autoridade central ou baixar o conjunto de dados completo.

Quando um novo pedaço de dado precisa ser armazenado, o processo começa com um cliente enviando a informação da grade inicial para a rede. Os pesquisadores projetaram um mecanismo de "handshake" inteligente para garantir que isso ocorra rapidamente e sem desperdiçar largura de banda. O cliente envia os dados necessários para cada computador e aguarda a confirmação de que os dados foram recebidos. Se um computador falhar em responder, o cliente não simplesmente reenvia o arquivo inteiro para todos. Em vez disso, ele envia uma atualização pequena e direcionada contendo apenas as peças ausentes para os computadores específicos que precisam delas. Os outros computadores da rede, que já possuem um fragmento dos dados ausentes em seu próprio armazenamento, então encaminham essas peças específicas para os nós que estão com dificuldades. Esta etapa cooperativa significa que a rede pode completar o processo de armazenamento com muito menos movimentação total de dados do que os métodos anteriores, que frequentemente exigiam o envio do conjunto de dados completo várias vezes para garantir que todos tivessem uma cópia.

A recuperação dos dados é igualmente simplificada. Quando um usuário deseja ler um arquivo, ele solicita os dados de suas linhas a um número suficiente de computadores. Devido à forma como a grade foi construída, o usuário pode reconstruir o arquivo original apenas a partir dessas linhas, sem precisar contatar cada nó da rede. O sistema verifica a integridade dos dados usando as provas criptográficas armazenadas junto aos fragmentos, garantindo que nenhuma informação corrompida ou maliciosa seja retornada. Este processo de recuperação é tão eficiente quanto os melhores métodos existentes, o que significa que a velocidade de leitura de dados não foi sacrificada para ganhar as outras melhorias.

Talvez o avanço mais significativo esteja em como o sistema lida com reparos quando um computador falha. Em sistemas antigos, substituir um nó quebrado muitas vezes exigia que a nova máquina baixasse todo o conjunto de dados da rede para reconstruir sua parte, um processo que poderia levar dias para arquivos grandes e consumir quantidades massivas de largura de banda. Neste novo protocolo, um nó de substituição só precisa contatar alguns outros computadores para recuperar seus dados específicos de linha e coluna. Esses vizinhos enviam apenas as pequenas partes de informação que interceptam a posição do novo nó na grade. O novo nó então usa esses fragmentos para reconstruir matematicamente sua cota de armazenamento completa. Isso reduz a quantidade de dados transferidos durante um reparo por uma margem substancial, tornando o sistema viável para aplicações de larga escala no mundo real, onde os nós entram e saem da rede frequentemente.

Os pesquisadores analisaram seu protocolo contra padrões existentes e descobriram que ele supera consistentemente os demais em todos os aspectos. Para uma rede de cem computadores armazenando um arquivo de um gigabyte, seu método exige que cada nó armazene apenas trinta megabytes, enquanto uma alternativa líder exige quarenta e cinco megabytes. Essa diferença pode parecer pequena para um único arquivo, mas quando escalada para petabytes de dados em uma rede global, traduz-se em uma redução de um e meio petabytes nos requisitos totais de armazenamento. Da mesma forma, quando um nó falha, o novo sistema exige que o substituto baixe quarenta e cinco terabytes de dados para se reparar, comparado a setenta e cinco terabytes sob o método anterior mais eficiente. Isso economiza trinta terabytes de tráfego, o que, em capacidade total de rede, representa quase três dias de tráfego de reparo que não é mais necessário.

A equipe também explorou uma variação de seu protocolo que permite aos usuários ajustar o sistema de acordo com suas necessidades específicas. Ao ajustar um único parâmetro, os operadores podem escolher minimizar ainda mais o espaço de armazenamento utilizado, ao custo de uma largura de banda ligeiramente maior para reparos e recuperação. Essa flexibilidade torna o protocolo adequado para uma ampla gama de cenários, desde arquivos descentralizados que priorizam a eficiência de armazenamento de longo prazo até sistemas de alto desempenho que precisam de acesso rápido aos dados. O trabalho demonstra que é possível projetar sistemas de armazenamento distribuídos que não são apenas teoricamente ótimos em uma área, mas praticamente eficientes em todo o ciclo de vida dos dados, desde o momento em que são escritos até o momento em que são reparados ou recuperados.

Esta pesquisa fornece um caminho concreto para a próxima geração de sistemas de armazenamento distribuído, abordando os gargalos que limitaram sua escalabilidade. Ao provar que baixo overhead de armazenamento, baixos custos de comunicação para escrita e recuperação eficiente de nós podem coexistir, os autores removeram uma barreira importante para a implantação de redes de dados robustas e descentralizadas. Os resultados não são meramente teóricos; as constantes específicas derivadas no estudo traduzem-se diretamente em economias tangíveis nos custos operacionais e na capacidade de rede. À medida que sistemas como arquivos descentralizados e soluções de blockchain continuam a crescer, protocolos que possam gerenciar dados de forma eficiente sem sacrificar a confiabilidade se tornarão cada vez mais essenciais, e este novo método oferece uma base equilibrada e de alto desempenho para esse futuro.