Trustworthy Cross-Organizational Federated Fine-Tuning of Large Language Models via Blockchain Certification and Resilient Object Storage

In de moderne wereld van kunstmatige intelligentie zijn de krachtigste instrumenten large language models, systemen die in staat zijn om menselijke tekst te begrijpen en te genereren. Deze modellen worden getraind op enorme hoeveelheden data, maar die data zit vaak opgesloten in private silo's. Ziekenhuizen houden gevoelige patiëntendossiers vast, banken bewaken financiële geschiedenissen en overheden beschermen burgerinformatie. Vanwege strikte privacywetgeving en beveiligingszorgen kunnen deze organisaties hun data niet simpelweg delen om een betere, gedeelde intelligentie te trainen. Dit creëert een dilemma: hoe kunnen instellingen samenwerken om deze krachtige instrumenten te verbeteren zonder ooit hun privé-informatie prijs te geven? Het antwoord ligt in een methode genaamd federated learning. In plaats van de data naar een centrale computer te verplaatsen, reist het computermodel naar de data. Elke organisatie traint het model op zijn eigen lokale informatie en stuurt alleen de kleine, bijgewerkte wiskundige aanpassingen terug naar een centrale coördinator. Dit houdt de ruwe data veilig, maar het introduceert een nieuw probleem: hoe vertrouw je de updates die je ontvangt? Als een organisatie een gecorrumpeerde of valse update stuurt, of als een bestand tijdens het transport wordt gestolen en gewijzigd, kan het hele gedeelde model in gevaar komen. Bovendien is het opslaan van deze enorme updates moeilijk; ze zijn te groot om op een publiek grootboek te bewaren, maar ze hebben wel een permanent, onveranderlijk record nodig om te bewijzen dat ze echt zijn.

Onderzoekers hebben een nieuw framework ontwikkeld om dit puzzelstukje van vertrouwen en opslag op te lossen, waarbij twee verschillende technologieën worden gecombineerd om een veilig systeem voor grensoverschrijdende samenwerking te creëren. Het team, geleid door Xiaoli Li en collega's aan de Hubei University of Arts and Science, ontwierp een systeem dat de taak splitst in twee delen: een vertrouwde certificering en een veilige opslagkluis. Ze gebruiken een consortium-blockchain, wat een gedeeld digitaal grootboek is dat wordt onderhouden door een groep bekende, vertrouwde organisaties, om als certificaat te fungeren. Echter, in plaats van de enorme modelbestanden direct op dit grootboek te schrijven — wat traag, duur en technisch onmogelijk zou zijn voor grote data — schrijven ze alleen een piepkleine, unieke vingerafdruk van het bestand. Deze vingerafdruk, bekend als een cryptografische hash, dient als een zegel van authenticiteit. Als zelfs maar één bit van het modelbestand verandert, verandert de vingerafdruk volledig, wat iedereen waarschuwt dat het bestand is aangepast. De werkelijke modeldata, die vele megabytes groot kan zijn, wordt off-chain opgeslagen in een veerkrachtig, gedistribueerd opslagsysteem. Deze scheiding zorgt ervoor dat het grootboek klein en snel blijft, terwijl de zware data toegankelijk en veilig blijft.

Om deze off-chain opslag robuust te maken, braken de onderzoekers elk modelbestand op in kleinere stukjes, of shards, voordat ze naar de opslag werden verzonden. Stel je een groot document voor dat in verschillende pagina's is gesneden; als één pagina verloren gaat of beschadigd raakt, kunnen de andere nog steeds worden gebruikt om het geheel te herstellen. Deze shards zijn versleuteld zodat alleen geautoriseerde partijen ze kunnen lezen, en ze worden naar meerdere onafhankelijke locaties gekopieerd. Het systeem is zo ontworpen dat als één opslagnode uitvalt, of zelfs als een hele groep nodes uitvalt door een stroomstoring of netwerkprobleem, de andere kopieën op verschillende locaties ervoor zorgen dat het bestand nooit verloren gaat. Wanneer een organisatie een modelupdate wil ophalen, controleert het systeem eerst de blockchain om de identiteit van het bestand te bevestigen en haalt het vervolgens de shards op uit het opslagnetwerk. De ontvanger kan vervolgens verifiëren dat de stukjes overeenkomen met de oorspronkelijke vingerafdruk die op de blockchain is geregistreerd. Dit proces omvat zowel offline controles, waarbij het bestand wordt geverifieerd zonder dat er een internetverbinding nodig is, als online controles, die bevestigen dat het bestand nog steeds geldig is en niet is ingetrokken.

Het team testte dit framework met behulp van een specifiek type efficiënte modelupdate genaamd LoRA, die slechts een klein deel van de parameters van een groot taalmodel aanpast. Ze voerden experimenten uit met tien deelnemende organisaties, waarbij een real-world scenario werd gesimuleerd waarin data ongelijk verdeeld is. Ze testten verschillende niveaus van modelaanpassing om te zien welke de beste resultaten opleverde. De experimenten toonden aan dat een specifieke configuratie, waarbij het model werd aangepast met een rank van acht, de hoogste prestatiescore op ongeziene taken behaalde, met een score van 4,40 op een schaal van tien. Deze configuratie presteerde beter dan andere instellingen, wat suggereert dat het de beste balans bood voor dit type collaboratieve training. Belangrijker nog, de studie mat de kosten en snelheid van hun nieuwe opslagmethode tegenover traditionele benaderingen. Ze vonden dat het opslaan van alleen de kleine metadata op de blockchain de computationele kosten, ook wel gasverbruik genoemd, met een factor van meer dan 10.000 verminderde vergeleken met het direct proberen op te slaan van het volledige 8,8 megabyte bestand op de chain. Hoewel het volledige bestand off-chain werd opgeslagen, slaagde het systeem er ook in om het opslagproces met bijna 30 procent te versnellen door de bestandsshards parallel in plaats van één voor één te uploaden.

De resultaten laten zien dat het scheiden van het bewijs van de identiteit van een bestand van het bestand zelf een praktische oplossing is voor de toekomst van collaboratieve kunstmatige intelligentie. Door de zware data off-chain te houden en een veilig, geshrard opslagsysteem te gebruiken voor de werkelijke bestanden, creëerden de onderzoekers een workflow die zowel betrouwbaar als efficiënt is. Het systeem zorgt ervoor dat elke modelupdate kan worden teruggevoerd naar de bron en kan worden geverifieerd op integriteit zonder het netwerk te verstoppen of privédata bloot te leggen. Hoewel de totale tijd om een volledige cyclus van opslag en verificatie te voltooien iets langer was vanwege de extra stappen van sharding en controle, maakt de enorme reductie in kosten en de toename in betrouwbaarheid de aanpak levensvatbaar voor real-world gebruik. Het werk suggereert dat naarmate organisaties bereidwilliger worden om samen te werken op het gebied van kunstmatige intelligentie, zij dit kunnen doen zonder veiligheid of privacy op te offeren, mits zij een systeem hebben dat de waarheid van de data kan verifiëren zonder de noodzaak om alles op één plek vast te houden. Dit framework biedt een pad voorwaarts waarbij instellingen samen betere modellen kunnen bouwen, met de zekerheid dat de bijdragen echt zijn en de data veilig blijft.