Trustworthy Cross-Organizational Federated Fine-Tuning of Large Language Models via Blockchain Certification and Resilient Object Storage

Dans le monde moderne de l'intelligence artificielle, les outils les plus puissants sont les grands modèles de langage, des systèmes capables de comprendre et de générer du texte semblable à celui de l'humain. Ces modèles sont entraînés sur de vastes quantités de données, mais ces données sont souvent enfermées dans des silos privés. Les hôpitaux détiennent des dossiers de patients sensibles, les banques gardent des historiques financiers et les gouvernements protègent les informations des citoyens. En raison des lois strictes sur la confidentialité et des préoccupations de sécurité, ces organisations ne peuvent pas simplement partager leurs données pour entraîner une intelligence partagée plus performante. Cela crée un dilemme : comment les institutions peuvent-elles collaborer pour améliorer ces outils puissants sans jamais révéler leurs informations privées ? La réponse réside dans une méthode appelée apprentissage fédéré. Au lieu de déplacer les données vers un ordinateur central, le modèle informatique voyage vers les données. Chaque organisation entraîne le modèle sur ses propres informations locales et renvoie uniquement les petits ajustements mathématiques mis à jour vers un coordinateur central. Cela permet de garder les données brutes en sécurité, mais cela introduit un nouveau problème : comment faire confiance aux mises à jour que vous recevez ? Si une organisation envoie une mise à jour corrompue ou fausse, ou si un fichier est volé et altéré pendant le transit, l'ensemble du modèle partagé pourrait être compromis. De plus, stocker ces mises à jour massives est difficile ; elles sont trop volumineuses pour être conservées sur un registre public, pourtant elles nécessitent un enregistrement permanent et immuable pour prouver qu'elles sont authentiques.

Des chercheurs ont développé un nouveau cadre pour résoudre ce casse-tête de confiance et de stockage, en combinant deux technologies distinctes pour créer un système sécurisé de collaboration inter-organisationnelle. L'équipe, dirigée par Xiaoli Li et ses collègues de l'Université des arts et des sciences de Hubei, a conçu un système qui divise le travail en deux parties : un certificat de confiance et un coffre-fort de stockage sécurisé. Ils utilisent une blockchain de consortium, qui est un registre numérique partagé maintenu par un groupe d'organisations connues et de confiance, pour agir comme le certificat. Cependant, au lieu d'écrire les fichiers de modèles massifs directement sur ce registre — ce qui serait lent, coûteux et techniquement impossible pour des données volumineuses — ils n'y écrivent qu'une empreinte numérique minuscule et unique du fichier. Cette empreinte, connue sous le nom de hachage cryptographique, sert de sceau d'authenticité. Si un seul bit du fichier du modèle change, l'empreinte change complètement, alertant tout le monde que le fichier a été falsifié. Les données réelles du modèle, qui peuvent mesurer plusieurs mégaoctets, sont stockées hors de la blockchain dans un système de stockage distribué et résilient. Cette séparation permet de garder le registre léger et rapide tout en garantissant que les données lourdes restent accessibles et sécurisées.

Pour rendre ce stockage hors chaîne robuste, les chercheurs ont découpé chaque fichier de modèle en morceaux plus petits, ou fragments, avant de les envoyer au stockage. Imaginez un grand document découpé en plusieurs pages ; si une page est perdue ou endommagée, les autres peuvent encore être utilisées pour récupérer l'ensemble. Ces fragments sont cryptés afin que seules les parties autorisées puissent les lire, et ils sont copiés dans de multiples emplacements indépendants. Le système est conçu de telle sorte que si un nœud de stockage échoue, ou même si un groupe entier de nœuds tombe en panne en raison d'une coupure de courant ou d'un problème de réseau, les autres copies situées dans différents emplacements garantissent que le fichier ne sera jamais perdu. Lorsqu'une organisation souhaite récupérer une mise à jour de modèle, le système vérifie d'abord la blockchain pour confirmer l'identité du fichier, puis récupère les fragments du réseau de stockage. Le destinataire peut alors vérifier que les morceaux correspondent à l'empreinte originale enregistrée sur la blockchain. Ce processus inclut à la fois des vérifications hors ligne, où le fichier est vérifié sans avoir besoin d'une connexion Internet, et des vérifications en ligne, qui confirment que le fichier est toujours valide et n'a pas été révoqué.

L'équipe a testé ce cadre en utilisant un type spécifique de mise à jour de modèle efficace appelé LoRA, qui ajuste seulement une petite partie des paramètres d'un grand modèle de langage. Ils ont mené des expériences avec dix organisations participantes, simulant un scénario réel où les données sont réparties de manière inégale. Ils ont testé différents niveaux d'ajustement du modèle pour voir lequel produisait les meilleurs résultats. Les expériences ont montré qu'une configuration spécifique, où le modèle était ajusté avec un rang de huit, a obtenu le score de performance le plus élevé sur des tâches inédites, atteignant un score de 4,40 sur une échelle de dix. Cette configuration a surpassé les autres réglages, suggérant qu'elle offrait le meilleur équilibre pour ce type d'entraînement collaboratif. Plus important encore, l'étude a mesuré le coût et la vitesse de leur nouvelle méthode de stockage par rapport aux approches traditionnelles. Ils ont constaté que le stockage de la seule métadonnée minuscule sur la blockchain réduisait le coût de calcul, connu sous le nom de consommation de gaz, d'un facteur de plus de 10 000 par rapport à une tentative de stockage direct du fichier complet de 8,8 mégaoctets sur la chaîne. Bien que le fichier complet soit stocké hors chaîne, le système a également réussi à accélérer le processus de stockage de près de 30 % en téléchargeant les fragments du fichier en parallèle plutôt qu'un par un.

Les résultats démontrent que séparer la preuve de l'identité d'un fichier du fichier lui-même est une solution pratique pour l'avenir de l'intelligence artificielle collaborative. En gardant les données lourdes hors de la blockchain et en utilisant un système de stockage fragmenté sécurisé pour les fichiers réels, les chercheurs ont créé un flux de travail qui est à la fois digne de confiance et efficace. Le système garantit que chaque mise à jour de modèle peut être tracée jusqu'à sa source et vérifiée pour son intégrité sans encombrer le réseau ni exposer de données privées. Bien que le temps total pour compléter un cycle complet de stockage et de vérification soit légèrement plus long en raison des étapes supplémentaires de fragmentation et de contrôle, la réduction massive des coûts et l'augmentation de la fiabilité rendent l'approche viable pour une utilisation réelle. Ce travail suggère que, à mesure que les organisations seront de plus en plus disposées à collaborer sur l'intelligence artificielle, elles pourront le faire sans sacrifier la sécurité ou la confidentialité, à condition de disposer d'un système capable de vérifier la véracité des données sans avoir besoin de les détenir toutes en un seul endroit. Ce cadre offre une voie à suivre où les institutions peuvent construire de meilleurs modèles ensemble, avec la certitude que les contributions sont authentiques et que les données restent en sécurité.