Covenant-72B: Pre-Training a 72B LLM with Trustless Peers Over-the-Internet

Dit paper introduceert Covenant-72B, een 72B-parameter taalmodel dat succesvol is voorafgetraind via de grootste tot nu toe uitgevoerde wereldwijde, gedecentraliseerde training met onbeperkte deelname via een live blockchain-protocol, waarbij het presteert op hetzelfde niveau als gecentraliseerde modellen.

De kern

🌍 Het Grootste Digitale Bouwproject: Covenant-72B

Stel je voor dat je een enorme, superintelligente robot (een "AI") wilt bouwen. Normaal gesproken doen dit alleen de grootste tech-bedrijven (zoals Google of Meta). Ze hebben een gigantische fabriek nodig met duizenden krachtige computers die allemaal perfect op elkaar zijn aangesloten. Dit kost een fortuin en is alleen voor de "rijken" toegankelijk.

Covenant-72B is een revolutionair experiment dat zegt: "Wacht even, laten we die robot niet in één fabriek bouwen, maar in plaats daarvan duizenden mensen over de hele wereld vragen om een stukje te doen."

Hier is hoe het werkt, in drie simpele stappen:

1. De Idee: Een Wereldwijde Pizzakoerier 🍕

In plaats van één gigantische fabriek, hebben de onderzoekers een wereldwijde pizza-koeriersdienst opgezet.

• Het Doel: Een slimme AI leren begrijpen van de wereld (door 1,1 biljoen woorden te lezen).
• De Werknemers: Iedereen kan meedoen. Of je nu een gamer bent met een sterke computer in je slaapkamer of een bedrijf met een serverruimte. Je hoeft niet uitgenodigd te worden; je mag gewoon meedoen.
• Het Probleem: Normaal gesproken moeten computers in een fabriek constant met elkaar praten (elke seconde). Als je dat doet via het gewone internet (zoals thuis), is het te traag en onbetrouwbaar. De "pizza's" (de rekenresultaten) komen te laat aan.

2. De Oplossing: Slimme Samenvattingen 📝

Om dit op te lossen, gebruikten ze een slimme techniek genaamd SparseLoCo.

• De Vergelijking: Stel je voor dat je een heel boek moet samenvatten voor een vriend die ver weg woont. Als je het hele boek per post stuurt, duurt het eeuwen.
• De Slimme Manier: In plaats van het hele boek te sturen, schrijf je alleen de belangrijkste 1% van de zinnen op een briefkaart en stuur je die op.
• De AI: De computers op de wereld lezen het boek, schrijven alleen de allerbelangrijkste dingen op (de "samenvattingen") en sturen die via het gewone internet. De centrale AI verzamelt al die briefkaarten, leest de samenvattingen en wordt daar slimmer van.
• Het Resultaat: Ze stuurden 146 keer minder data dan normaal, maar de AI leerde bijna net zo goed als als ze alles hadden gestuurd.

3. De Controle: De "Politie" van de Blockchain 🛡️

Er is een groot risico: wat als iemand liegt? Wat als iemand een nep-briefkaart stuurt om de AI dommer te maken, of gewoon niets doet?

• De Oplossing: Ze gebruikten een systeem genaamd Gauntlet (gebaseerd op blockchain, zoals crypto).
• Hoe het werkt: Het is alsof er een onafhankelijke politieagent is die elke briefkaart controleert voordat deze in het boek wordt geplakt.
  • Als je een goede samenvatting stuurt, krijg je punten (beloning).
  • Als je liegt of een slechte samenvatting stuurt, krijg je een straf en word je uitgesloten.
• Het Effect: Mensen worden beloond voor eerlijk werk. Zelfs als iemand probeert te bedriegen, wordt het systeem dit snel opmerken en corrigeren.

🏆 Wat hebben ze bereikt?

Het resultaat is Covenant-72B, een AI-model met 72 miljard "hersencellen" (parameters).

• De Grootte: Het is een van de grootste AI-modellen die ooit door een groep mensen samen is gebouwd.
• De Kwaliteit: Het model is net zo slim als modellen die door grote bedrijven in dure datacenters zijn gebouwd, terwijl het via het gewone internet is getraind.
• De Democratie: Dit bewijst dat je geen miljarden dollars nodig hebt om een super-AI te maken. Als mensen over de hele wereld hun rekenkracht samenvoegen, kunnen we samen de toekomst bouwen.

🗣️ Wat kan deze AI nu?

Na het trainen hebben ze de AI nog een beetje "opgeleid" (zoals een student die een jaar lang een vak leest) om goed te kunnen chatten, wiskunde te doen en code te schrijven.

• Hij kan logische raadsels oplossen (zoals: "Wie bezit welk huisdier?").
• Hij kan Python-code schrijven.
• Hij kan zelfs een verhaal schrijven over een detective die zelf de verdachte is.

Conclusie: De Toekomst is Gedecentraliseerd 🚀

Dit paper is als een bewijsstuk dat zegt: "We hoeven niet meer te wachten tot de grote bedrijven ons toestaan om slimme AI te maken."

Het is alsof we van een wereld zijn gegaan waar alleen rijke koningen grote kastelen konden bouwen, naar een wereld waar duizenden gewone mensen samen een kathedraal kunnen bouwen, zolang ze maar een beetje steen en kalk (rekenkracht) hebben en eerlijk spelen.

Covenant-72B is die kathedraal: gebouwd door iedereen, voor iedereen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Covenant-72B: Pre-Training a 72B LLM with Trustless Peers Over-the-Internet" in het Nederlands.

Probleemstelling

Grootmodeltraining (Large Language Models - LLMs) is momenteel gedomineerd door zwaar gecentraliseerde infrastructuur, waarbij duizenden versnellers via hoogwaardige, low-latency netwerken zijn verbonden. Dit leidt tot enorme kosten en beperkt de toegang tot het ontwikkelen van foundation modellen tot een handvol grote organisaties. Hoewel er reeds pogingen zijn gedaan tot gedistribueerde training over het internet, lopen deze vaak vast op twee beperkingen:

1. Schaal: Bestaande gedistribueerde modellen zijn relatief klein.
2. Toegang: Ze vertrouwen op "whitelisted" (geselecteerde) deelnemers, wat de belofte van gedemocratiseerde participatie ondermijnt.

De uitdaging ligt in het trainen van modellen van enorme schaal (bijv. 72 miljard parameters) over standaard internetverbindingen met dynamische, onbetrouwbare ("trustless") deelnemers, zonder dat de communicatie-overhead het trainingsproces vertraagt of de modelkwaliteit aantast.

Methodologie

Het paper introduceert COVENANT-72B, een 72B-parameter LLM die is voorgetraind met open, toestemmingsvrije (permissionless) deelname via een blockchain-protocol. De aanpak combineert twee kerncomponenten:

1. SparseLoCo (Communicatie-efficiënte Optimizer)

SparseLoCo is een lokale-update optimizer die de communicatie tussen peers drastisch reduceert door gebruik te maken van:

• Top-k Sparsificatie: Alleen de belangrijkste gradiënten worden doorgestuurd.
• Foutfeedback (Error-Feedback): Gradiënten die niet worden verzonden, worden opgeslagen in een buffer en in volgende rondes toegevoegd, zodat er geen informatie verloren gaat.
• Quantisatie: Verzonden waarden worden gecomprimeerd naar 2 bits.
• Chunk-wise Verwerking: In plaats van per tensor, wordt Top-k toegepast op blokken (chunks) van 64x64 (voor 2D tensors) of 4096 elementen (voor 1D tensors). Dit minimaliseert de overhead van indexen en past naadloos aan bij standaard parallelisme-methoden zoals FSDP (Fully Sharded Data Parallelism).
• Resultaat: Een compressieverhouding van meer dan 146x ten opzichte van dichte gradiëntcommunicatie.

2. Gauntlet (Incentivisatie en Validatie Mechanisme)

Om "trustless" deelname mogelijk te maken, wordt het Gauntlet-protocol gebruikt, gebaseerd op de Bittensor-blockchain (Subnet 3).

• Validatie: Een validator scoort de ingediende pseudo-gradiënten van peers.
• LossScore: De kwaliteit wordt gemeten door de verandering in verlies (loss) te berekenen op een kleine subset van data na toepassing van de peer's bijdrage.
• Veiligheid: Peers die proberen de loss op willekeurige data meer te verbeteren dan op hun toegewezen data (een teken van kopiëren of slechte intentie), krijgen een negatieve score.
• Dynamiek: Het systeem is zo gekalibreerd dat er altijd iets meer actieve deelnemers zijn dan nodig voor aggregatie, waardoor uitvallen van peers direct wordt opgevangen.

Systeemarchitectuur

• Hardware: Elke peer draait minimaal 8x NVIDIA B200 GPU's.
• Parallelisme: Binnen elke peer wordt dynamische FSDP gebruikt om modelparameters en optimizer-states over de lokale GPU's te verdelen.
• Communicatie: Objectopslag (Cloudflare R2) fungeert als ruggengraat. Peers uploaden gecomprimeerde pseudo-gradiënten naar R2; de validator selecteert de beste, en alle peers downloaden deze voor aggregatie. Dit vermijdt directe peer-to-peer connectiviteitsproblemen.

Belangrijkste Bijdragen

1. Grootste Gedistribueerde Run: COVENANT-72B is tot nu toe de grootste collaboratieve, gedistribueerde voor-training (zowel qua rekencapaciteit als modelgrootte) die open deelname toelaat.
2. Schalbaarheid van Permissionless Training: Het bewijst dat training over het internet met onbetrouwbare deelnemers mogelijk is op schaal van 72B parameters, wat eerder als onhaalbaar werd beschouwd.
3. Efficiëntie: Het bereiken van een rekengebruik van ~94,5% ondanks de beperkingen van internetbandbreedte, door de communicatie-overhead te minimaliseren.
4. Open Science: Alle checkpoints (intermediair, final pre-training en post-training) zijn open-source beschikbaar gesteld onder de Apache-licentie.

Resultaten

Het model is getraind op ongeveer 1,1 biljoen tokens (1,1T).

• Pre-training Benchmarks: COVENANT-72B presteert concurrerend met gecentraliseerde modellen van vergelijkbare grootte (zoals LLaMA-2-70B en LLM360 K2), ondanks dat het op een kleiner token-budget is getraind (1,1T vs 2T voor LLaMA-2-70B) en over het internet.
  • Het behaalde hogere scores dan LLaMA-2-70B op ARC-Challenge (56.8 vs 57.4) en MMLU (67.1 vs 65.6).
  • Het presteerde aanzienlijk beter dan eerdere gedistribueerde modellen (zoals INTELLECT-1 en Psyche Consilience).
• Supervised Fine-Tuning (SFT): Na een SFT-fase van ~14,8B tokens (met uitbreiding naar 8k context) werd COVENANT-72B-Chat gegenereerd.
  • Dit chat-model behaalde de hoogste scores op IFEval (instruction following) en MATH (wiskundig redeneren) in vergelijking met LLaMA-2-70B-Chat en K2-Chat.
  • Het behoudt sterke prestaties op de basis-benchmarks, wat aantoont dat de fine-tuning pipeline de pre-trained capaciteiten niet heeft vernietigd.
• Communicatie-efficiëntie: In vergelijking met eerdere runs (zoals INTELLECT-1) heeft COVENANT-72B slechts 70 seconden inactieve tijd per trainingsronde, vergeleken met 8,3 minuten bij INTELLECT-1, ondanks het trainen van een 7,2x groter model.

Betekenis en Toekomstperspectief

COVENANT-72B is een mijlpaal in de ontwikkeling van foundation modellen. Het demonstreert dat:

• Democratisering haalbaar is: Het trainen van state-of-the-art modellen is niet langer exclusief voorbehouden aan organisaties met toegang tot gespecialiseerde datacenters.
• Infrastructuur-afhankelijkheid verminderd: Door slimme compressie en blockchain-gestuurde validatie kan men vertrouwen op "commodity" internet en gedistribueerde hardware.
• Schaalbaarheid: De combinatie van SparseLoCo en Gauntlet biedt een blauwdruk voor het schalen van training naar een nog heterogener en groter aantal deelnemers in de toekomst.

Het paper suggereert dat de toekomst van foundation model-training verschuift van gecentraliseerde, gesloten systemen naar open, permissionless en globaal gedistribueerde netwerken.