Trustworthy Cross-Organizational Federated Fine-Tuning of Large Language Models via Blockchain Certification and Resilient Object Storage

In der modernen Welt der künstlichen Intelligenz sind die mächtigsten Werkzeuge große Sprachmodelle, Systeme, die in der Lage sind, menschenähnliche Texte zu verstehen und zu generieren. Diese Modelle werden mit riesigen Mengen an Daten trainiert, aber diese Daten sind oft in privaten Silos eingeschlossen. Krankenhäuser halten sensible Patientendaten bereit, Banken bewachen Finanzhistorien und Regierungen schützen Bürgerinformationen. Aufgrund strenger Datenschutzgesetze und Sicherheitsbedenken können diese Organisationen ihre Daten nicht einfach teilen, um eine bessere, gemeinsame Intelligenz zu trainieren. Dies schafft ein Dilemma: Wie können Institutionen zusammenarbeiten, um diese leistungsstarken Werkzeuge zu verbessern, ohne jemals ihre privaten Informationen preiszugeben? Die Antwort liegt in einer Methode namens Federated Learning. Anstatt die Daten zu einem zentralen Computer zu bewegen, reist das Computermodell zu den Daten. Jede Organisation trainiert das Modell auf ihren eigenen lokalen Informationen und sendet nur die kleinen, aktualisierten mathematischen Anpassungen an einen zentralen Koordinator zurück. Dies hält die Rohdaten sicher, führt aber ein neues Problem ein: Wie vertraut man den Updates, die man erhält? Wenn eine Organisation ein korruptes oder gefälschtes Update sendet oder wenn eine Datei während des Transports gestohlen und verändert wird, könnte das gesamte gemeinsame Modell kompromittiert werden. Darüber hinaus ist die Speicherung dieser massiven Updates schwierig; sie sind zu groß, um auf einem öffentlichen Ledger aufbewahrt zu werden, doch sie benötigen einen permanenten, unveränderlichen Datensatz, um zu beweisen, dass sie echt sind.

Forscher haben ein neues Framework entwickelt, um dieses Vertrauens- und Speicherpuzzle zu lösen, indem sie zwei unterschiedliche Technologien kombinieren, um ein sicheres System für die organisationsübergreifende Zusammenarbeit zu schaffen. Das Team unter der Leitung von Xiaoli Li und Kollegen an der Hubei University of Arts and Science entwarf ein System, das die Aufgabe in zwei Teile aufteilt: ein vertrauenswürdiges Zertifikat und einen sicheren Speicherraum. Sie verwenden eine Consortium-Blockchain, die ein gemeinsames digitales Register ist, das von einer Gruppe bekannter, vertrauenswürdiger Organisationen gepflegt wird, um als Zertifikat zu fungieren. Anstatt jedoch die massiven Modelldateien direkt auf dieses Register zu schreiben – was langsam, teuer und technisch unmöglich für große Daten wäre – schreiben sie nur einen winzigen, einzigartigen Fingerabdruck der Datei darauf. Dieser Fingerabdruck, bekannt als kryptografischer Hash, dient als Siegel der Authentizität. Wenn auch nur ein einziges Bit der Modelldatei geändert wird, ändert sich der Fingerabdruck vollständig und alarmiert alle, dass die Datei manipuliert wurde. Die eigentlichen Modelldaten, die mehrere Megabyte groß sein können, werden außerhalb der Blockchain in einem belastbaren, verteilten Speichersystem gespeichert. Diese Trennung ermöglicht es dem System, das Register klein und schnell zu halten, während die schweren Daten zugänglich und sicher bleiben.

Um diese Off-Chain-Speicherung robust zu machen, zerlegten die Forscher jede Modelldatei in kleinere Stücke, oder Shards, bevor sie zum Speicher gesendet wurden. Stellen Sie sich vor, ein großes Dokument würde in mehrere Seiten geschnitten; wenn eine Seite verloren geht oder beschädigt wird, können die anderen immer noch verwendet werden, um das Ganze wiederherzustellen. Diese Shards sind verschlüsselt, sodass nur autorisierte Parteien sie lesen können, und sie werden in mehrere unabhängige Standorte kopiert. Das System ist so konzipiert, dass, falls ein Speicherknoten ausfällt oder sogar eine ganze Gruppe von Knoten aufgrund eines Stromausfalls oder eines Netzwerkproblems offline geht, die anderen Kopien an anderen Standorten sicherstellen, dass die Datei niemals verloren geht. Wenn eine Organisation ein Modell-Update abrufen möchte, prüft das System zuerst die Blockchain, um die Identität der Datei zu bestätigen, und ruft dann die Shards aus dem Speichernetzwerk ab. Der Empfänger kann dann verifizieren, dass die Teile mit dem auf der Blockchain aufgezeichneten ursprünglichen Fingerabdruck übereinstimmen. Dieser Prozess umfasst sowohl Offline-Prüfungen, bei denen die Datei ohne Internetverbindung überprüft wird, als auch Online-Prüfungen, die bestätigen, dass die Datei noch gültig ist und nicht widerrufen wurde.

Das Team testete dieses Framework unter Verwendung einer spezifischen Art von effizientem Modell-Update namens LoRA, das nur einen kleinen Teil der Parameter eines großen Sprachmodells anpasst. Sie führten Experimente mit zehn teilnehmenden Organisationen durch und simulierten ein reales Szenario, in dem die Daten ungleich verteilt sind. Sie testeten verschiedene Ebenen der Modellanpassung, um zu sehen, welche die besten Ergebnisse lieferte. Die Experimente zeigten, dass eine spezifische Konfiguration, bei der das Modell mit einem Rang von acht angepasst wurde, die höchste Leistungsbewertung bei ungesehenen Aufgaben erreichte und einen Wert von 4,40 auf einer Zehn-Punkte-Skala erzielte. Diese Konfiguration übertraf andere Einstellungen, was darauf hindeutet, dass sie das beste Gleichgewicht für diese Art von kollaborativem Training bot. Wichtiger noch war, dass die Studie die Kosten und die Geschwindigkeit ihrer neuen Speichermethode gegenüber traditionellen Ansätzen maß. Sie fanden heraus, dass das Speichern nur der winzigen Metadaten auf der Blockchain die Rechenkosten, bekannt als Gasverbrauch, um den Faktor über 10.000 reduzierte, im Vergleich zum Versuch, die vollständige 8,8 Megabyte große Datei direkt auf der Chain zu speichern. Während die vollständige Datei Off-Chain gespeichert wurde, gelang es dem System auch, den Speicherprozess durch das Hochladen der Modelldatei-Shards parallel statt nacheinander um fast 30 Prozent zu beschleunigen.

Die Ergebnisse zeigen, dass die Trennung des Beweises für die Identität einer Datei von der Datei selbst eine praktische Lösung für die Zukunft der kollaborativen künstlichen Intelligenz ist. Indem sie die schweren Daten außerhalb der Blockchain halten und ein sicheres, shardbasiertes Speichersystem für die eigentlichen Dateien verwenden, schufen die Forscher einen Workflow, der sowohl vertrauenswürdig als auch effizient ist. Das System stellt sicher, dass jedes Modell-Update bis zu seiner Quelle zurückverfolgt und auf seine Integrität überprüft werden kann, ohne das Netzwerk zu verstopfen oder private Daten preiszugeben. Während die Gesamtzeit zur Vervollständigung eines vollständigen Zyklus von Speicherung und Verifizierung aufgrund der zusätzlichen Schritte des Shardings und der Überprüfung etwas länger war, macht die massive Reduzierung der Kosten und die Erhöung der Zuverlässigkeit den Ansatz für den realen Einsatz praktikabel. Die Arbeit legt nahe, dass Organisationen, wenn sie bereit werden, bei der künstlichen Intelligenz zusammenzuarbeiten, dies tun können, ohne die Sicherheit oder Privatsphäre zu opfern, vorausgesetzt, sie verfügen über ein System, das die Wahrheit der Daten verifizieren kann, ohne alle an einem Ort halten zu müssen. Dieses Framework bietet einen Weg nach vorn, auf dem Institutionen gemeinsam bessere Modelle bauen können, in dem Wissen, dass die Beiträge echt sind und die Daten sicher bleiben.