Can Blockchains Reliably Train Machine Learning Models?

Riepilogo Tecnico: Le Blockchain Possono Addestrare in Modo Affidabile Modelli di Machine Learning?

Enunciato del Problema
Le attuali blockchain Proof of Work (PoW) consumano enormi quantità di elettricità esclusivamente per raggiungere un consenso senza fiducia, senza alcuna utilità pratica aggiuntiva. Sebbene il riutilizzo di questa potenza di calcolo per l'addestramento di Machine Learning (ML) offra una potenziale soluzione allo spreco energetico, i tentativi esistenti di integrare il ML nel consenso blockchain affrontano significative lacune tecniche. Le precedenti proposte, come Proof of Useful Work (PoUW), Proof of Deep Learning (PoDL) e Robust Proof of Learning (RPoL), presentano difetti critici in termini di scalabilità, sicurezza e adattabilità. Nello specifico, molte di esse si basano sull'archiviazione di dati di test on-chain (esaurendo lo spazio di archiviazione), richiedono timestamp sincronizzati a livello globale (fragili in caso di ritardi di rete), presuppongono piattaforme fidate o non riescono a scalare verso l'addestramento GPU non deterministico moderno. Inoltre, i protocolli di apprendimento distribuito privi di una sicurezza robusta permettono agli avversari di falsificare le ricompense, compromettendo l'equità e scoraggiando la partecipazione. La sfida fondamentale consiste nel progettare un protocollo che indirizzi la potenza di mining verso un addestramento ML verificabile, mantenendo al contempo le garanzie di sicurezza e scalabilità di una blockchain permissionless.

Metodologia
Gli autori propongono Proof of Training (PoT), un protocollo progettato per colmare il divario tra il consenso blockchain e l'addestramento ML decentralizzato. La metodologia comprende tre componenti principali:

1. Fondamenta Teoriche e Progettazione del Consenso:

   • Il documento dimostra inizialmente un risultato di impossibilità teorica (Teorema II.3): un sistema permissionless in cui i validatori sono ammessi senza risorse scarse (validatori permissionless privi di risorse) non può raggiungere simultaneamente sicurezza e vivacità.
   • Di conseguenza, PoT adotta un'architettura ibrida che separa il livello di consenso dal livello di addestramento. Utilizza un meccanismo Proof of Stake (PoS) per il livello di consenso (Aggregatori e Validatori) per garantire la sicurezza, mentre il livello di addestramento rimane aperto.
   • Il sistema impiega un'architettura L1–L2:
     • L1 (Livello di Regolamento): Ancorizza lo stake, l'escrow e la distribuzione delle ricompense su una blockchain mainstream.
     • L2 (Livello di Esecuzione/DTN): Una Decentralized Training Network (DTN) che gestisce il lavoro pesante del ciclo di vita delle attività, la richiesta di modelli, la validazione e la gestione delle controversie off-chain.

2. Meccaniche del Protocollo (Il Ciclo delle Attività):

   • Partecipanti: I Clienti pubblicano attività; i Miners (Fornitori di Servizi) addestrano i modelli; i Validatori valutano i modelli; gli Aggregatori mantengono il registro; i Verificatori (qualsiasi partecipante) contestano le validazioni errate.
   • Commit-and-Reveal: I Miners impegnano un hash del modello prima che i dati di addestramento siano rivelati, prevenendo il furto del modello.
   • Punteggio Deterministico: I Validatori valutano i modelli rivelati rispetto a un set di test fornito dal cliente utilizzando una funzione di punteggio deterministica ($VRF_{Model}$).
   • Meccanismo di Controversia: Invece di validare ogni modello on-chain (il che creerebbe colli di bottiglia), PoT assume inizialmente che i validatori siano onesti. Una finestra di contestazione permette a qualsiasi partecipante di contestare un rapporto di validazione. Se una contestazione ha successo, il validator disonesto viene "slashed" (perdendo una frazione del proprio stake) e il contestatore viene ricompensato. Questo mantiene lo stato on-chain leggero.

3. Analisi della Sicurezza degli Incentivi:

   • Gli autori modellano il livello di apprendimento come un gioco sequenziale. Derivano condizioni sufficienti (Teorema II.9) sotto le quali la validazione veritiera è una strategia strettamente dominante per i validatori e la massimizzazione del punteggio reale del modello è la migliore risposta per i miners.
   • Le condizioni chiave includono: la probabilità di rilevamento ($q$) moltiplicata per la frazione di slashing ($\phi$) e lo stake ($s$) deve superare il guadagno esterno derivante dall'imbroglio più la differenza di costo tra la segnalazione onesta e quella disonesta.

Contributi Chiave

• Protocollo Proof of Training (PoT): Un meccanismo di consenso innovativo che reindirizza le risorse di calcolo stile PoW verso un addestramento ML verificabile.
• Dimostrazione Teorica di Sicurezza: Una prova formale che dimostra come i validatori permissionless privi di risorse non possano garantire la sicurezza di un registro, giustificando il passaggio a un livello di consenso ponderato sullo stake per PoT.
• Architettura Scalabile: Una progettazione L1–L2 che disaccoppia il regolamento del valore dall'esecuzione dell'utilità, consentendo addestramenti e validazioni pesanti di avvenire off-chain, mentre solo i risultati compatti vengono regolati on-chain.
• Compatibilità degli Incentivi: Un'analisi game-theoretica che dimostra come i parametri economici del protocollo (slashing, ricompense, costi di contestazione) possano allineare gli incentivi dei partecipanti al comportamento onesto, garantendo un addestramento del modello affidabile.

Risultati

• Validazione Teorica: Gli autori dimostrano che, sotto specifiche impostazioni dei parametri (frazione di slashing, probabilità di rilevamento e stake), il comportamento onesto è la strategia strettamente dominante per i validatori e i contestatori razionali manterranno la sorveglianza.
• Valutazione del Throughput: Le simulazioni della DTN che utilizzano flussi di lavoro di tipo PBFT con dimensioni del comitato di 10, 30 e 50 nodi mostrano che il sistema può raggiungere un elevato throughput.
  • In condizioni di larghezza di banda da media a veloce, i tempi di sincronizzazione rimangono nell'ordine dei secondi anche all'aumentare delle dimensioni dei batch.
  • Il sistema dimostra di soddisfare comodamente i requisiti di scalabilità dei tassi di arrivo dei lavori di deep learning industriale riportati (tipicamente ben al di sotto di un lavoro al secondo).
• Simulazioni di Sicurezza:
  • Exp1: Visualizza il divario di guadagno, confermando che la validazione veritiera diventa strettamente dominante quando il rischio di slashing supera il costo dell'imbroglio.
  • Exp2: Dimostra che la sorveglianza può essere sostenuta in equilibrio quando le ricompense di slashing attese coprono i costi di verifica.
  • Exp3: Mostra che un'alta rilevabilità (guidata da una sorveglianza attiva) incentiva i miners a investire sforzi nel migliorare i punteggi reali dei modelli, mentre una bassa rilevabilità porta a sforzi ridotti e qualità inferiore.

Significato e Affermazioni
Il documento afferma che PoT fornisce una base pratica per reti di addestramento aperte, scalabili e robuste contro gli avversari. Il suo significato risiede in:

1. Efficienza Energetica: Offre una via per riutilizzare la massiccia potenza di calcolo delle reti PoW per compiti ML di valore, affrontando le preoccupazioni ambientali della blockchain.
2. Affidabilità: Combinando un livello di consenso ponderato sullo stake con un meccanismo di verifica guidato dalle controversie, garantisce che gli output dell'addestramento siano affidabili e che le ricompense siano allocate equamente senza richiedere a ogni nodo di rieseguire costosi compiti di addestramento.
3. Scalabilità: La separazione L1–L2 permette alla rete di gestire un'ampia gamma di carichi di lavoro, inclusi l'addestramento di modelli di grandi dimensioni e l'addestramento collaborativo sensibile alla privacy, senza intasare il registro.
4. Adattabilità: La progettazione supporta aggiornamenti frequenti dei carichi di lavoro di addestramento e delle regole di valutazione off-chain, evitando la rigidità e i costi di coordinamento associati agli aggiornamenti del consenso on-chain.

Gli autori concludono che PoT colma con successo le lacune tecniche delle precedenti proposte, offrendo un sistema che è sicuro, scalabile e capace di supportare un mercato decentralizzato per l'addestramento di machine learning.