Trustworthy Cross-Organizational Federated Fine-Tuning of Large Language Models via Blockchain Certification and Resilient Object Storage
本論文は、データプライバシーやモデルの完全性を損なうことなく、信頼性が高く、コスト効率的で、検証可能な組織間における大規模言語モデルの連合ファインチューニングを実現するために、ブロックチェーンによるメタデータ認証をオフチェーンのシャーディングストレージから分離する二層フレームワークを提案する。
原論文は CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
現代の人工知能の世界において、最も強力なツールは、人間のようなテキストを理解し生成することができる大規模言語モデルです。これらのモデルは膨大なデータを用いて訓練されますが、そのデータはしばしばプライベートなサイロの中に閉じ込められています。病院は機密性の高い患者の記録を保持し、銀行は財務履歴を保護し、政府は市民の情報を守っています。厳格なプライバシー法やセキュリティ上の懸念があるため、これらの組織は、より優れた共有知能を訓練するために単純にデータを共有することはできません。これはジレンマを生み出します。つまり、プライベートな情報を一切明かすことなく、どのようにして機関が協力してこれらの強力なツールを向上させることができるのか、という問題です。その答えは、フェデレーテッドラーニング（連合学習）と呼ばれる手法にあります。データを中央のコンピュータに移動させる代わりに、コンピュータモデルがデータの方へと移動するのです。各組織は独自のローカル情報を用いてモデルを訓練し、更新された小さな数学的な調整値のみを中央のコーディネーターに送り返します。これにより生データは安全に保たれますが、新たな問題が生じます。受け取った更新をどのように信頼するかという問題です。もしある組織が破損した、あるいは偽の更新を送信したり、ファイルが転送中に盗まれて改ざんされたりした場合、共有されたモデル全体が侵害される可能性があります。さらに、これらの膨大な更新を保存することは困難です。それらは公開台帳に記録するには大きすぎますが、それらが本物であることを証明するための、永続的で変更不可能な記録が必要なのです。
研究者たちは、これら二つの信頼とストレージのパズルを解決するために、二つの異なる技術を組み合わせて、組織間コラボレーションのための安全なシステムを構築するという新しいフレームワークを開発しました。湖北芸術科学大学のXiaoli Li氏と共同研究者たちによるチームは、仕事を二つの部分、すなわち「信頼できる証明書」と「安全なストレージ・ヴォルト（保管庫）」に分割するシステムを設計しました。彼らは、既知の信頼できる組織のグループによって維持される共有デジタル台帳であるコンソーシアム・ブロックチェーンを、証明書として使用します。しかし、巨大なモデルファイルをこの台帳に直接書き込む代わりに（それは低速で高コストであり、技術的にも不可能であるため）、ファイルの非常に小さくユニークな指紋のみを書き込みます。この指紋は「暗号学的ハッシュ」として知られ、認証の印として機能します。モデルファイルのたった一ビットでも変化すれば、指紋は完全に変わってしまうため、誰に対してもファイルが改ざんされたことを警告します。数メガバイトのサイズになり得る実際のモデルデータは、ブロックチェーンの外側にある、弾力性のある分散型ストレージシステムに保存されます。この分離により、システムは台帳を小さく高速に保ちつつ、重いデータへのアクセス性と安全性を確保することができます。
このオフチェーン・ストレージを堅牢にするために、研究者たちはモデルファイルをストレージに送る前に、すべてのモデルファイルをより小さな断片、すなわち「シャード（破片）」に分割しました。大きな文書がいくつかのページに切り分けられる様子を想像してください。もし一つのページが失われたり損傷したりしても、他のページを使って全体を復元することができます。これらのシャードは、許可された当事者のみが読み取れるように暗号化され、複数の独立した場所にコピーされます。このシステムは、一つのストレージノードが故障したり、停電やネットワークの問題によってノードのグループ全体がダウンしたりしても、異なる場所にある他のコピーによってファイルが失われないように設計されています。組織がモデルの更新を取得したいときは、まずブロックチェーンを確認してファイルの同一性を確認し、次にストレージネットワークからシャードを取得します。受信者は、それらの断片がブロックチェーンに記録された元の指紋と一致するかどうかを検証できます。このプロセスには、インターネット接続を必要とせずにファイルを検証するオフラインチェックと、ファイルが依然として有効であり取り消されていないことを確認するオンラインチェックの両方が含まれます。
チームは、大規模言語モデルのパラメータのわずかな部分のみを調整するLoRAと呼ばれる、効率的なモデル更新の特定の種類を用いて、このフレームワークをテストしました。彼らは、データが不均等に分布している現実世界のシナリオをシミュレートしながら、10の参加組織を用いて実験を行いました。彼らは、どの設定が最良の結果を生むかを見るために、異なるレベルのモデル調整をテストしました。実験の結果、ランクが8の状態でモデルを調整した特定の構成が、未知のタスクに対して最高のパフォーマンス・スコア（10点満点中4.40）を達成したことが示されました。この構成は他の設定よりも優れた結果を出しており、この種の協調的な訓練にとって最適なバランスを提供していることを示唆しています。さらに重要なことに、研究では、彼らの新しいストレージ手法のコストと速度を従来の方式と比較して測定しました。その結果、極めて小さなメタデータのみをブロックチェーンに保存することで、8.8メガバイトのフルファイルを直接チェーン上に保存しようとした場合と比較して、計算コスト（ガス消費量として知られる）を1万倍以上の係数で削減できたことがわかりました。フルファイルはオフチェーンに保存されましたが、システムはファイルを一つずつではなく並列にアップロードすることで、ストレージプロセスを30パーセント近く高速化することにも成功しました。
これらの結果は、ファイルの同一性の証明をファイル自体から分離することが、協調的な人工知能の未来にとって実用的な解決策であることを示しています。重いデータをブロックチェーンの外側に置き、実際のファイルには安全なシャード化されたストレージを使用することで、研究者たちは信頼性と効率性の両方を備えたワークフローを作り上げました。システムは、すべてのモデル更新がそのソースまで遡ることができ、ネットワークを塞いだりプライベートなデータを露出させたりすることなく、完全性を検証できることを保証します。ストレージと検証の完全なサイクルを完了させるための総時間は、シャーディングとチェックの追加ステップにより若干長くなりましたが、コストの大幅な削減と信頼性の向上により、このアプローチは実用的なものとなっています。この研究は、組織が人工知能においてより積極的に協力しようとする際、データを一箇所に保持する必要がなくとも、データの真実性を検証できるシステムがあれば、セキュリティやプライバシーを犠牲にすることなく協力できることを示唆しています。このフレームワークは、機関が貢献が真正であり、かつデータが安全に保たれているという確信を持って、共に優れたモデルを構築していくための道筋を提示しています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。