Trustworthy Cross-Organizational Federated Fine-Tuning of Large Language Models via Blockchain Certification and Resilient Object Storage
本文提出了一种双层框架，通过将基于区块链的元数据认证与链下分片存储解耦，实现在不损害数据隐私或模型完整性的前提下，进行可信、高性价比且可验证的跨组织大语言模型联邦微调。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在现代人工智能的世界中，最强大的工具是大型语言模型，即能够理解并生成类人文本的系统。这些模型是在海量数据上训练而成的，但这些数据往往被锁在私有的孤岛之中。医院保存着敏感的患者记录，银行守护着财务历史，政府则保护着公民信息。由于严格的隐私法律和安全考量，这些机构无法简单地分享其数据来训练一个更好的、共享的智能。这产生了一个困境：机构如何在从不泄露其私密信息的情况下进行协作以改进这些强大的工具？答案在于一种被称为联邦学习的方法。与其将数据移动到中央计算机，不如让计算机模型前往数据所在地。每个组织在其本地信息上训练模型，然后仅将微小的、更新后的数学调整参数传回中央协调器。这保持了原始数据的安全，但也引入了一个新问题：你如何信任收到的更新？如果一个组织发送了损坏或虚假的更新，或者如果一个文件在传输过程中被窃取并篡改，整个共享模型都可能受到威胁。此外，存储这些庞大的更新也非常困难；它们太大而无法保存在公共账本上，但它们又需要一个永久且不可更改的记录来证明其真实性。
研究人员开发了一种新的框架来解决这个信任与存储的难题，通过结合两种截然不同的技术，为跨组织协作创建了一个安全系统。由李晓丽（Xiaoli Li）及其同事领导的湖北美术科技学院团队设计了一个将工作拆分为两部分的系统：一个可信证书和一个安全存储库。他们使用联盟链（一种由一组已知且受信任的组织维护的共享数字账本）来充当证书。然而，他们并没有将庞大的模型文件直接写入该账本——因为这样做速度慢、成本高，且对于大数据量而言在技术上是无法实现的——而是只写入一个微小的、唯一的、具有代表性的文件指纹。这个被称为“加密哈希”的指纹起到了封印真实性的作用。如果模型文件中哪怕只有一个比特发生了变化，指纹也会完全改变，从而提醒所有人文件已被篡改。实际的模型数据（可能达数兆字节大小）则存储在区块链之外的一个具有韧性的分布式存储系统中。这种分离方式使系统能够保持账本的小巧与快速，同时确保沉重的数据依然可访问且安全。
为了使这种链下存储更加稳健，研究人员在发送模型文件进行存储之前，将其分解成了更小的碎片或“分片”。想象一下将一份大文档切割成若干页；如果其中一页丢失或损坏，其他页面仍可用于恢复全文。这些分片经过加密，只有授权方才能读取，并且被复制到了多个独立的地点。该系统的设计确保，即使某个存储节点失效，甚至由于断电或网络问题导致一整组节点宕机，分布在不同地点的其他副本也能确保文件永不丢失。当一个组织想要检索模型更新时，系统会首先检查区块链以确认文件的身份，然后从存储网络中获取分片。接收者随后可以验证这些碎片是否与记录在区块链上的原始指纹相匹配。这一过程既包括无需互联网连接即可进行的离线检查，也包括确认文件是否仍然有效且未被撤销的在线检查。
该团队使用一种名为 LoRA 的高效模型更新技术对该框架进行了测试，这种技术仅调整大型语言模型中极小部分的参数。他们在十个参与机构中进行了实验，模拟了一个数据分布不均的现实场景。他们测试了不同程度的模型调整，以观察哪种效果最好。实验表明，采用秩（rank）为 8 的特定配置时，模型在未见任务上的表现达到了最高分，达到了 10 分制下的 4.40 分。这一配置优于其他设置，表明它为这种类型的协作训练提供了最佳平衡。更重要的是，研究通过测量这种新存储方法与传统方法的成本和速度对比，得出了结论。他们发现，与尝试直接在链上存储完整的 8.8 兆字节文件相比，仅在区块链上存储微小的元数据，可以将计算成本（即 Gas 消耗）降低 10,000 倍以上。虽然完整的文件存储在链下，但通过并行上传文件分片而非逐一上传，该系统也将存储过程的速度提升了近 30%。
结果表明，将文件的身份证明与其本身分离，是未来协作式人工智能的一种切实可行的解决方案。通过将沉重的数据留在链下，并使用安全的、分片的存储系统处理实际文件，研究人员创建了一个既值得信赖又高效的工作流。该系统确保每一次模型更新都可以追溯到其来源，并能验证其完整性，而不会堵塞网络或暴露私密数据。虽然由于分片和检查带来的额外步骤，完成一个完整的存储与验证循环的总时间略有增加，但其大幅降低的成本和提高的可靠性使得这种方法在现实应用中具有可行性。这项工作表明，随着各机构对人工智能协作意愿的增强，只要拥有一个能够在无需持有所有数据的情况下验证数据真实性的系统，他们就可以在不牺牲安全性或隐私的前提下进行协作。该框架提供了一条前进的路径，让各机构可以在构建更好模型的同时，确信贡献是真实的，且数据始终安全。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。