Trustworthy Cross-Organizational Federated Fine-Tuning of Large Language Models via Blockchain Certification and Resilient Object Storage

Nel mondo moderno dell'intelligenza artificiale, gli strumenti più potenti sono i grandi modelli linguistici, sistemi capaci di comprendere e generare testo simile a quello umano. Questi modelli vengono addestrati su enormi quantità di dati, ma tali dati sono spesso chiusi in silos privati. Gli ospedali custodiscono registri sensibili dei pazienti, le banche proteggono le cronologie finanziarie e i governi proteggono le informazioni dei cittadini. A causa delle rigide leggi sulla privacy e delle preoccupazioni relative alla sicurezza, queste organizzazioni non possono semplicemente condividere i propri dati per addestrare un'intelligenza condivisa migliore. Ciò crea un dilemma: come possono le istituzioni collaborare per migliorare questi potenti strumenti senza mai rivelare le proprie informazioni private? La risposta risiede in un metodo chiamato apprendimento federato (federated learning). Invece di spostare i dati verso un computer centrale, il modello informatico viaggia verso i dati. Ogni organizzazione addestra il modello sulle proprie informazioni locali e invia solo i piccoli aggiornamenti matematici al coordinatore centrale. Questo mantiene al sicuro i dati grezzi, ma introduce un nuovo problema: come si fa a fidarsi degli aggiornamenti che si ricevono? Se un'organizzazione invia un aggiornamento corrotto o falso, o se un file viene rubato e alterato durante il transito, l'intero modello condiviso potrebbe essere compromesso. Inoltre, archiviare questi enormi aggiornamenti è difficile; sono troppo grandi per essere conservati su un registro pubblico, eppure necessitano di un record permanente e immutabile per dimostrare che siano genuini.

I ricercatori hanno sviluppato un nuovo framework per risolvere questo enigma di fiducia e archiviazione, combinando due tecnologie distinte per creare un sistema sicuro per la collaborazione tra organizzazioni. Il team, guidato da Xiaoli Li e colleghi della Hubei University of Arts and Science, ha progettato un sistema che suddivide il lavoro in due parti: un certificato fidato e una cassaforte di archiviazione sicura. Utilizzano una blockchain di consorzio, ovvero un registro digitale condiviso mantenuto da un gruppo di organizzazioni note e affidabili, affinché funga da certificato. Tuttavia, invece di scrivere i massicci file del modello direttamente su questo registro — il che sarebbe lento, costoso e tecnicamente impossibile per dati di grandi dimensioni — scrivono solo un minuscolo e unico'impronta digitale del file. Questa impronta digitale, nota come hash crittografico, funge da sigillo di autenticità. Se anche un singolo bit del file del modello cambia, l'impronta digitale cambia completamente, avvisando tutti che il file è stato manomesso. I dati effettivi del modello, che possono essere di diverse megabyte, sono conservati off-chain in un sistema di archiviazione distribuito e resiliente. Questa separazione permette al registro di rimanere piccolo e veloce, garantendo al contempo che i dati pesanti rimangano accessibili e sicuri.

Per rendere robusta questa archiviazione off-chain, i ricercatori hanno suddiviso ogni file del modello in pezzi più piccoli, o frammenti (shards), prima di inviarli all'archiviazione. Immaginate un grande documento che viene tagliato in diverse pagine; se una pagina viene persa o danneggiata, le altre possono comunque essere utilizzate per recuperare l'intero documento. Questi frammenti sono criptati in modo che solo le parti autorizzate possano leggerli, e sono copiati in molteplici posizioni indipendenti. Il sistema è progettato in modo tale che, se un nodo di archiviazione fallisce, o anche se un intero gruppo di nodi va in tilt a causa di un blackout o di un problema di rete, le altre copie in diverse posizioni assicurano che il file non vada mai perduto. Quando un'organizzazione desidera recuperare un aggiornamento del modello, il sistema controlla prima la blockchain per confermare l'identità del file e poi preleva i frammenti dalla rete di archiviazione. Il destinatario può quindi verificare che i pezzi corrispondano all'impronta digitale originale registrata sulla blockchain. Questo processo include sia controlli offline, dove il file viene verificato senza necessità di una connessione internet, sia controlli online, che confermano che il file sia ancora valido e non sia stato revocato.

Il team ha testato questo framework utilizzando un tipo specifico di aggiornamento del modello efficiente chiamato LoRA, che regola solo una piccola porzione dei parametri di un grande modello linguistico. Hanno eseguito esperimenti con dieci organizzazioni partecipanti, simulando uno scenario del mondo reale in cui i dati sono distribuiti in modo non uniforme. Hanno testato diversi livelli di regolazione del modello per vedere quale producesse i risultati migliori. Gli esperimenti hanno mostrato che una specifica configurazione, in cui il modello veniva regolato con un rango di otto, ha raggiunto il punteggio di prestazione più elevato su compiti non visti, raggiungendo un punteggio di 4,40 su una scala di dieci punti. Questa configurazione ha superato le altre impostazioni, suggerendo che offrisse il miglior equilibrio per questo tipo di addestramento collaborativo. Ancora più importante, lo studio ha misurato il costo e la velocità del loro nuovo metodo di archiviazione rispetto agli approcci tradizionali. Hanno scoperto che archiviare solo i minuscoli metadati sulla blockchain ha ridotto il costo computazionale, noto come consumo di gas, di un fattore superiore a 10.000 rispetto al tentativo di archiviare il file completo da 8,8 megabyte direttamente sulla catena. Sebbene il file completo fosse archiviato off-chain, il sistema è riuscito anche a velocizzare il processo di archiviazione di quasi il 30 percento caricando i frammenti del file in parallelo anziché uno alla volta.

I risultati dimostrano che separare la prova dell'identità di un file dal file stesso è una soluzione pratica per il futuro dell'intelligenza artificiale collaborativa. Mantenendo i dati pesanti fuori dalla blockchain e utilizzando un sistema di archiviazione a frammenti sicuro per i file effettivi, i ricercatori hanno creato un flusso di lavoro che è al tempo stesso affidabile ed efficiente. Il sistema assicura che ogni aggiornamento del modello possa essere tracciato fino alla sua fonte e verificato per integrità senza intasare la rete o esporre dati privati. Sebbene il tempo totale per completare un intero ciclo di archiviazione e verifica sia stato leggermente più lungo a causa dei passaggi aggiuntivi di frammentazione e controllo, la massiccia riduzione dei costi e l'aumento dell'affidabilità rendono l'approccio praticabile per l'uso nel mondo reale. Il lavoro suggerisce che, man mano che le organizzazioni diventeranno più disposte a collaborare sull'intelligenza artificiale, potranno farlo senza sacrificare la sicurezza o la privacy, a patto di avere un sistema in grado di verificare la verità dei dati senza la necessità di tenerli tutti in un unico posto. Questo framework offre una strada da seguire in cui le istituzioni possono costruire modelli migliori insieme, con la certezza che i contributi siano genuini e che i dati rimangano al sicuro.