Covenant-72B: Pre-Training a 72B LLM with Trustless Peers Over-the-Internet

Il documento presenta Covenant-72B, un modello linguistico su larga scala addestrato in modo collaborativo e globale tramite partecipanti permissionless supportati da un protocollo blockchain, dimostrando che è possibile raggiungere prestazioni competitive con i modelli centralizzati pur consentendo una partecipazione aperta e decentralizzata.

L'essenziale

Ecco una spiegazione del paper Covenant-72B pensata per chiunque, usando metafore semplici e un linguaggio quotidiano.

🌍 L'idea: Costruire un "Super-Cervello" con l'aiuto di tutti

Immagina di voler costruire un'enorme biblioteca di conoscenza (un modello di intelligenza artificiale) che richiede così tanti libri e così tanto lavoro che nessuna singola azienda al mondo può permetterselo da sola. Di solito, solo i giganti tecnologici con data center costosissimi riescono a farlo.

Covenant-72B è un esperimento rivoluzionario: invece di affidarsi a un unico gigante, hanno chiesto aiuto a tutti. Hanno creato un progetto dove chiunque, da casa propria, con il proprio computer potente, può unirsi e dare una mano. È come se invece di costruire un grattacielo con una sola squadra di muratori, avessero invitato milioni di persone a portare un mattone ciascuno.

🚀 Come hanno fatto? Tre segreti magici

Per far funzionare questa "festa globale" senza che il caos prenda il sopravvento, hanno usato tre trucchi fondamentali:

1. Il "Messaggero Veloce" (SparseLoCo)

Immagina che ogni partecipante stia studiando un libro. Alla fine della giornata, invece di inviare all'organizzatore un riassunto di 1000 pagine (che richiederebbe giorni per essere inviato su internet), ogni partecipante invia solo 10 parole chiave che riassumono l'idea principale.

• La metafora: È come se invece di spedire un'intera enciclopedia via posta, ognuno mandasse un singolo SMS con la frase più importante.
• Il risultato: Hanno compresso i dati di oltre 146 volte. Questo significa che anche con una connessione internet normale (non una fibra ottica aziendale), il lavoro è stato velocissimo.

2. Il "Giudice Imparziale" (Gauntlet e Blockchain)

C'era un problema: se chiunque può partecipare, come fai a evitare che qualcuno imbrogli o mandi informazioni sbagliate per sabotare il progetto?
Hanno creato un sistema basato su una blockchain (una sorta di registro pubblico digitale inattaccabile) chiamato Gauntlet.

• La metafora: Immagina un giudice in una piazza che controlla ogni contributo. Se qualcuno invia un "riassunto" (i dati) che non ha senso o che sembra copiato, il giudice lo scarta e non paga quel partecipante. Se il contributo è buono, il partecipante viene ricompensato.
• Il risultato: Non serve fidarsi di nessuno ("trustless"). Il sistema si auto-pulisce e premia solo chi lavora davvero.

3. La "Danza Dinamica"

In un progetto del genere, le persone possono staccarsi la corrente, andare a dormire o avere problemi al computer.

• La metafora: Immagina una danza di gruppo dove, se qualcuno esce di scena, gli altri si riorganizzano istantaneamente per mantenere il ritmo, senza fermare la musica. Il sistema è stato progettato per gestire questi "vuoti" senza bloccarsi.

🏆 Il Risultato: Un gigante nato dal basso

Il risultato è Covenant-72B, un'intelligenza artificiale con 72 miliardi di parametri (un "cervello" enorme).

• È stata addestrata leggendo circa 1,1 trilioni di parole (token) provenienti da internet.
• È stata costruita da oltre 70 persone diverse (peer) che hanno contribuito con la loro potenza di calcolo.

È riuscita a competere?
Sì! Quando l'hanno messa alla prova su quiz di logica, matematica e cultura generale, ha ottenuto risultati paragonabili a modelli creati da grandi aziende come Meta (LLaMA) o LLM360, che hanno usato data center centralizzati e costosissimi.
In pratica, hanno dimostrato che non serve essere un gigante per creare un'intelligenza artificiale gigante.

💡 Perché è importante?

Fino a oggi, l'IA avanzata era un gioco per pochi ricchi. Covenant-72B ha aperto la porta a un futuro in cui:

1. Democratizzazione: Chiunque può contribuire.
2. Risparmio: Non servono miliardi di dollari in hardware centralizzato.
3. Collaborazione: La conoscenza si costruisce insieme, come una Wikipedia vivente e intelligente.

In sintesi, questo paper ci dice che il futuro dell'Intelligenza Artificiale non sarà costruito in una sola torre di cristallo, ma potrebbe nascere dalla collaborazione di milioni di persone sparse per il mondo, collegate semplicemente dalla nostra rete internet quotidiana.

Sommario tecnico

Ecco una sintesi tecnica dettagliata del documento "Covenant-72B: Pre-Training a 72B LLM with Trustless Peers Over-the-Internet", presentata in italiano.

Panoramica del Problema

L'addestramento di modelli linguistici su larga scala (Foundation Models) è attualmente dominato da infrastrutture altamente centralizzate, costose e dipendenti da collegamenti hardware a bassa latenza e alta larghezza di banda. Questo approccio crea barriere all'ingresso elevate, limitando la partecipazione alla costruzione di modelli avanzati a grandi organizzazioni tecnologiche.
Sebbene l'addestramento decentralizzato prometta di democratizzare l'accesso e ridurre i costi utilizzando risorse computazionali distribuite globalmente tramite internet, le soluzioni esistenti presentano due limiti fondamentali:

1. Scala ridotta: I modelli addestrati in modo distribuito sono finora di dimensioni relativamente piccole.
2. Partecipazione ristretta: I sistemi attuali richiedono partecipanti "in lista bianca" (whitelisted) e fidati, fallendo nel realizzare la promessa di una partecipazione aperta e senza autorizzazione (permissionless).

Il problema centrale è quindi: è possibile addestrare un modello LLM di grandi dimensioni (72B parametri) in modo collaborativo, globale e decentralizzato, utilizzando solo connessioni internet standard, con partecipanti non fidati e senza autorizzazione, mantenendo al contempo un'efficienza e una qualità competitive rispetto ai modelli centralizzati?

Metodologia

Il progetto Covenant-72B risolve questo problema combinando due componenti chiave: un ottimizzatore efficiente dal punto di vista della comunicazione e un meccanismo di incentivazione basato su blockchain.

1. Ottimizzazione: SparseLoCo

Il cuore tecnico è l'utilizzo di SparseLoCo, un ottimizzatore distribuito locale che riduce drasticamente il traffico di rete necessario per la sincronizzazione.

• Meccanismo: Invece di sincronizzare i gradienti densi ad ogni passo, i peer eseguono diversi passi interni (inner steps) localmente sui propri dati. Successivamente, calcolano dei "pseudo-gradienti" (la differenza tra i parametri globali e quelli locali).
• Compressione Aggressiva: Questi pseudo-gradienti subiscono tre fasi di compressione:
  1. Sparsificazione Top-k: Vengono selezionati solo i valori più significativi all'interno di blocchi di tensori (chunk-wise).
  2. Quantizzazione: I valori selezionati sono quantizzati a 2 bit.
  3. Feedback di Errore (Error-Feedback): La parte di informazione non trasmessa viene accumulata in un buffer locale e trasmessa nelle iterazioni successive per evitare la perdita di informazioni.
• Risultato: Questo approccio permette un rapporto di compressione superiore a 146x rispetto alla comunicazione di gradienti densi, rendendo fattibile l'addestramento su connessioni internet commerciali con larghezza di banda limitata.

2. Incentivazione e Coordinamento: Gauntlet

Per gestire un ambiente "trustless" (senza fiducia preesistente) e permissionless, il sistema utilizza Gauntlet, un protocollo coordinato sulla blockchain Bittensor (Subnet 3).

• Validazione: Un validatore assegna un punteggio (LossScore) ai pseudo-gradienti inviati dai peer. Questo punteggio si basa sulla capacità del contributo di ridurre la perdita (loss) su piccoli batch di dati di verifica.
• Sicurezza: Il sistema include controlli per rilevare comportamenti malevoli, come la copia dei contributi di altri peer o l'invio di gradienti casuali. I contributi vengono normalizzati rispetto alla mediana della norma per prevenire che un singolo peer domini l'aggregazione con aggiornamenti di magnitudine anomala.
• Incentivi: I peer vengono ricompensati per il contributo computazionale onesto, creando un ecosistema economico che incentiva la partecipazione attiva e la qualità.

3. Architettura del Sistema

• Hardware: Ogni peer utilizza almeno 8 GPU NVIDIA B200. All'interno di ogni nodo, viene utilizzato FSDP (Fully Sharded Data Parallel) dinamico per partizionare parametri, gradienti e stati degli ottimizzatori tra le GPU locali.
• Comunicazione: I peer caricano i pseudo-gradienti compressi su storage object (Cloudflare R2). Un validatore seleziona i migliori contributi, che vengono poi scaricati e aggregati da tutti i peer per aggiornare il modello globale. Questo evita la necessità di connessioni peer-to-peer dirette e gestisce la variabilità della rete.

Contributi Chiave

1. Scala Senza Precedenti: Covenant-72B rappresenta il più grande addestramento collaborativo decentralizzato mai realizzato, sia per dimensioni del modello (72 miliardi di parametri) che per scala computazionale.
2. Partecipazione Permissionless: È uno dei primi sistemi a dimostrare con successo l'addestramento di un LLM di grandi dimensioni su una rete di calcolo non fidata, dove chiunque può unirsi o lasciare il processo dinamicamente senza approvazione preventiva.
3. Efficienza di Comunicazione: Dimostra che l'uso di ottimizzatori come SparseLoCo con compressione estrema (Top-k + quantizzazione a 2 bit + feedback di errore) permette di raggiungere un'utilizzazione della computazione del ~94.5%, minimizzando i tempi di inattività dovuti alla sincronizzazione su internet.
4. Qualità Competitiva: Il modello addestrato su ~1.1 trilioni di token raggiunge prestazioni competitive con modelli centralizzati di dimensioni simili (es. LLaMA-2-70B, K2 Diamond), nonostante l'uso di infrastrutture eterogenee e connessioni internet standard.

Risultati

• Benchmark Pre-Training: Su una serie di benchmark zero-shot (ARC-Challenge, MMLU, PIQA, ecc.), Covenant-72B supera i modelli decentralizzati precedenti (come INTELLECT-1 e Psyche Consilience) e si dimostra competitivo con modelli centralizzati addestrati su budget computazionali simili o superiori. Ad esempio, ottiene un punteggio di 67.1 su MMLU e 56.8 su ARC-Challenge, paragonabili al LLaMA-2-70B (addestrato su 2T token).
• Efficienza: Con 20 peer e 30 passi interni, il tempo di comunicazione per round è di soli 70 secondi, contro gli 8.3 minuti riportati da sistemi precedenti su modelli più piccoli, garantendo un'efficienza superiore nonostante la scala maggiore (7.2x).
• Dinamica di Partecipazione: Il sistema ha gestito con successo la dinamicità dei peer (media di 16.9 partecipanti attivi su un massimo di 20, con un totale di 70 peer unici unici nel corso dell'addestramento), dimostrando la robustezza del protocollo Gauntlet.
• Fine-Tuning (SFT): Dopo un addestramento supervisionato (SFT) su ~14.8 miliardi di token, il modello Covenant-72B-Chat ha mostrato capacità di ragionamento matematico e di seguire istruzioni (IFEval) superiori o paragonabili a modelli chat centralizzati di dimensioni simili.

Significato e Impatto

Il lavoro di Covenant-72B segna un punto di svolta fondamentale per lo sviluppo dei modelli fondazionali:

• Democratizzazione Reale: Dimostra che non è necessario un datacenter centralizzato per addestrare modelli di livello SOTA. La partecipazione aperta e decentralizzata è tecnicamente fattibile su larga scala.
• Riduzione delle Barriere: Abbatte le barriere economiche e infrastrutturali, permettendo a una comunità globale di contribuire allo sviluppo dell'IA.
• Futuro dell'IA Distribuita: Fornisce un blueprint pratico per l'addestramento di modelli futuri su reti eterogenee e trustless, suggerendo che l'addestramento decentralizzato non è solo un'alternativa economica, ma una via scalabile per il futuro dell'IA aperta.

In sintesi, il documento prova che combinando algoritmi di comunicazione efficienti (SparseLoCo) con meccanismi di incentivazione crittografica (Gauntlet), è possibile costruire modelli di intelligenza artificiale di classe mondiale in modo completamente decentralizzato, aprendo la strada a un ecosistema di IA più aperto, resiliente e democratico.