Asynchronous Verifiable Information Dispersal with Low Space and Communication Complexity

Nell'infrastruttura invisibile e vasta che alimenta il mondo moderno, i dati vengono costantemente scritti, archiviati e recuperati attraverso reti di computer. Questi sistemi devono essere abbastanza robusti da mantenere sicure le informazioni anche quando i singoli macchinari falliscono, si bloccano o vengono compromessi da attori malintenzionati. Per raggiungere questo obiettivo, gli ingegneri spesso frammentano un singolo file in molti pezzi e li disperdono in diverse posizioni, una tecnica nota come dispersione delle informazioni. Ciò garantisce che, se alcuni pezzi vanno perduti, il file originale possa ancora essere ricostruito dai frammenti rimanenti. Tuttavia, una sfida persistente è stata bilanciare il costo di questa protezione. Archiviare i dati in modo sicuro richiede solitamente il mantenimento di copie extra, il che consuma spazio, mentre spostare quei dati per riparare i pezzi interrotti o per utilizzarli consuma una larghezza di banda significativa. Per anni, i metodi più efficienti per archiviare i dati sono stati lenti e costosi da riparare, mentre i metodi più veloci per correggere i nodi guasti erano incredibilmente spreconi di spazio di archiviazione.

I ricercatori Thomas Locher e Yvonne-Anne Pignolet hanno sviluppato un nuovo metodo che rompe questo compromesso, offrendo un modo per archiviare, diffondere e recuperare i dati che sia efficiente in tutte queste dimensioni simultaneamente. Il loro lavoro si concentra su un tipo specifico di sistema chiamato dispersione delle informazioni verificabile asincrona, dove i computer non devono concordare sull'esatto tempismo dei messaggi per funzionare correttamente, pur potendo comunque verificare che i dati che detengono siano validi e coerenti. Il team ha introdotto un protocollo innovativo che organizza i dati in una struttura a griglia, permettendo ai nodi di condividere solo le informazioni necessarie per ricostruire i pezzi mancanti senza dover scaricare interi file. Questo approccio riduce significativamente la quantità di dati che devono essere archiviati e la larghezza di banda richiesta per riparare un computer guasto, mantenendo al contempo la velocità necessaria per recuperare le informazioni quando vengono richieste.

Il cuore di questo nuovo sistema risiede nel modo in cui i dati vengono disposti prima di essere inviati. Invece di trattare l'informazione come una semplice lista di frammenti, i ricercatori la codificano in una matrice bidimensionale, o una griglia di righe e colonne. Immaginate i dati come un grande foglio di calcolo in cui ogni cella contiene un piccolo pezzo del file originale. Il sistema applica poi un processo matematico per riempire le celle vuote di questa griglia, creando una rete di ridondanza. Ogni computer nella rete riceve una riga specifica e una colonna specifica di questa griglia. Esso memorizza solo i dati appartenenti a quella riga e a quella colonna, insieme a una piccola prova crittografica che verifica la correttezza dei dati. Questa struttura è la chiave dell'efficienza del sistema. Poiché ogni computer possiede un pezzo della riga e della colonna di ogni altro computer, essi possono aiutarsi a colmare le lacune se una macchina fallisce, senza dover contattare un'autorità centrale o scaricare l'intero dataset.

Quando un nuovo pezzo di dato deve essere archiviato, il processo inizia con un client che invia l'informazione iniziale della griglia alla rete. I ricercatori hanno progettato un astuto meccanismo di "handshake" per garantire che ciò avvenga rapidamente e senza sprecare larghezza di banda. Il client invia i dati necessari a ciascun computer e attende la conferma che i dati siano stati ricevuti. Se un computer non risponde, il client non si limita a reinviare l'intero file a tutti. Inveve, invia un aggiornamento mirato e contenuto contenente solo i pezzi mancanti ai computer specifici che ne hanno bisogno. Gli altri computer nella rete, che già possiedono un frammento dei dati mancanti nel proprio archivio, inoltrano quindi quei pezzi specifici ai nodi in difficoltà. Questo passaggio cooperativo significa che la rete può completare il processo di archiviazione con molto meno movimento totale di dati rispetto ai metodi precedenti, che spesso richiedevano l'invio del dataset completo più volte per garantire che tutti avessero una copia.

Anche il recupero dei dati è altrettanto snello. Quando un utente vuole leggere un file, chiede i dati della propria riga a un numero sufficiente di computer. Grazie al modo in cui la griglia è stata costruita, l'utente può ricostruire il file originale da queste righe, senza dover contattare ogni singolo nodo della rete. Il sistema verifica l'integrità dei dati utilizzando le prove crittografiche memorizzate accanto ai frammenti, assicurando che non venga restituita alcuna informazione corrotta o malevola. Questo processo di recupero è efficiente quanto i migliori metodi esistenti, il che significa che la velocità di lettura dei dati non è stata sacrificata per ottenere gli altri miglioramenti.

Forse l'avanzamento più significativo riguarda il modo in cui il sistema gestisce le riparazioni quando un computer fallisce. Nei sistemi più vecchi, sostituire un nodo guasto richiedeva spesso che la nuova macchina scaricasse l'intero dataset dalla rete per ricostruire la propria quota, un processo che poteva richiedere giorni per file di grandi dimensioni e consumare una quantità enorme di larghezza di banda. In questo nuovo protocollo, un nodo sostitutivo deve solo contattare alcuni altri computer per recuperare i dati della propria riga e colonna. Questi vicini inviano solo i piccoli pezzi di informazione che intersecano la posizione del nuovo nodo nella griglia. Il nuovo nodo utilizza poi questi frammenti per ricostruire matematicamente la sua quota di archiviazione completa. Ciò riduce l'importante quantità di dati trasferiti durante una riparazione, rendendo il sistema praticabile per applicazioni su larga scala e nel mondo reale, dove i nodi entrano ed escono frequentemente dalla rete.

I ricercatori hanno analizzato il loro protocollo rispetto agli standard esistenti e hanno scoperto che supera costantemente gli altri su tutti i fronti. Per una rete di cento computer che archiviano un file da un gigabyte, il loro metodo richiede a ciascun nodo di archiviare solo trenta megabyte, mentre un'alternativa principale richiede quarantacinque megabyte. Questa differenza può sembrare piccola per un singolo file, ma quando scalata a petabyte di dati in una rete globale, si traduce in una riduzione di un e mezzo di petabyte dei requisiti totali di archiviazione. Allo stesso modo, quando un nodo fallisce, il nuovo sistema richiede al sostituto di scaricare quarantacinque terabyte di dati per ripararsi, rispetto ai settantacinque terabyte del precedente metodo migliore. Ciò risparmia trenta terabyte di traffico, che alla piena capacità di rete rappresentano quasi tre giorni di traffico di riparazione che non è più necessario.

Il team ha anche esplorato una variazione del proprio protocollo che consente agli utenti di calibrare il sistema in base alle proprie esigenze specifiche. Regolando un singolo parametro, gli operatori possono scegliere di ridurre ulteriormente lo spazio di archiviazione utilizzato, a costo di una larghezza di banda leggermente superiore per le riparazioni e il recupero. Questa flessibilità rende il protocollo adatto a una vasta gamma di scenari, dagli archivi decentralizzati che danno priorità all'efficienza dell'archiviazione a lungo termine, ai sistemi ad alte prestazioni che necessitano di un accesso rapido ai dati. Il lavoro dimostra che è possibile progettare sistemi di archiviazione distribuita che non siano solo teoricamente ottimali in un ambito, ma praticamente efficienti in tutto il ciclo di vita del dato, dal momento in cui viene scritto al momento in cui viene riparato o recuperato.

Questa ricerca fornisce una strada concreta per la prossima generazione di sistemi di archiviazione distribuita, affrontando i colli di bottiglia che ne hanno limitato la scalabilità. Dimostrando che bassi costi di archiviazione, bassi costi di comunicazione per la scrittura ed un efficiente recupero dei nodi possono coesistere, gli autori hanno rimosso una barriera importante allo sviluppo di reti di dati decentralizzate e robuste. I risultati non sono meramente teorici; le costanti specifiche derivate dallo studio si traducono direttamente in risparmi tangibili nei costi operativi e nella capacità di rete. Mentre sistemi come gli archivi decentralizzati e le soluzioni blockchain continuano a crescere, i protocolli in grado di gestire i dati in modo efficiente senza sacrificare l'affidabilità diventeranno sempre più essenziali, e questo nuovo metodo offre una base equilibrata e ad alte prestazioni per quel futuro.