Federated Foundation Language Model Post-Training Should Focus on Open-Source Models
本論文は、基盤となる言語モデルの連合型事後学習においては、ブラックボックス型のアプローチはデータのプライバシーや自律性といった連合学習の核心的な原則と根本的に矛盾するため、オープンソースのモデルを優先すべきであると主張する。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
あなたは、巨大で非常に賢い知識のライブラリ（「基盤言語モデル」）を持っていると想像してください。あなたはこのライブラリに、あなたの会社のプライベートなメールや個人の医療記録を理解するといった、特定の新しいスキルを教えたいと考えています。このプロセスは「ポストトレーニング（事後学習）」と呼ばれます。
この論文は、皆のプライベートなデータを秘密に保ちたい場合、どのようにこの「教育」を行うべきかについて論じています。著者らはシンプルなルールを提案しています：もし、自分のデータをプライベートに保ち、かつ自分の手元で管理したいのであれば、自分が所有し、中身を見ることができるライブラリ（「オープンモデル」）を使用しなければならない。ガラス壁の向こう側にあり、そこに向かって質問を叫ぶことしかできないようなライブラリ（「ブラックボックス・モデル」）を使用してはならない。
以下に、簡単な比喩を用いた解説をまとめます。
1. 4種類のライブラリ
著者らは、どれだけ中身が見え、触れることができるかに基づいて、これらのAIモデルを4つのカテゴリーに分類しています。
- オープンソース（DIYライブラリ）： あなたは鍵、設計図、本、そして道具を持っています。棚を並べ替え、本を書き換え、自分の思い通りに新しい部屋を建てることもできます。
- オープンウェイト（設計図ライブラリ）： 本と設計図は持っていますが、元のライブラリを建設するために使われた建設ツールや原材料は持っていません。本の並べ替えはできますが、土台を再構築することはできません。
- グレーボックス（管理型ライブラリ）： あなたは建物の中に入ることはできません。司書に対して、本に付箋を貼ったり、特定の棚を少し調整したりするようリクエストを送ること（API経由）しかできません。建物は司書によってコントロールされています。
- ブラックボックス（魔法の箱）： あなたはスロットに向かってささやくことしかできず、それに対して声が答えを返してくるだけです。機械がどのように機能しているのか、中に何があるのか、あるいは誰が聞き耳を立てているのか、あなたには全く分かりません。
2. フェデレーテッドラーニングにおける「魔法の箱（ブラックボックス）」の問題
**フェデレーテッドラーニング（連合学習）**は、多くの人々がプライベートな秘密を共有することなく、共に学ぶ方法です。例えば、隣人たちが新しいレシピを学ぶために協力している場面を想像してください。秘密の家族の材料を盗難のリスクがある中央のキッチンに持ち込む代わりに、彼らはそれぞれ自分の家で少しずつ料理をし、スパイスの混ぜ方に関する「指示」だけを共有します。
この論文は、これにブラックボックスモデルを使うことは矛盾であると論じています。
- プライバシーの罠： ブラックボックスを使用するには、答えを得るために、あなたのプライベートなデータ（材料）を魔法の箱の所有者に送らなければなりません。これは、「データをローカルに保持する」というフェデレーテッドラーニングの主要なルールを破っています。それは、単にスパイスを混ぜる方法を尋ねるためだけに、秘密の家族のレシピを他人に送ってしまうようなものです。
- コントロールの喪失： 魔法の箱が間違いを犯した場合、あなたはそれを直すことができません。箱があなたの秘密を盗み聞きしていないかを確認することもできません。あなたは完全に、箱の所有者に依存することになります。
- 「ガラスの壁」の問題： モデルを教えるための重労働を第三者に頼ってしまうと、それはもはや本当の意味での「フェデレーテッドラーニング」ではなく、単にサービスプロバイダーに仕事をアウトソーシングしているだけである、と論文は述べています。
3. なぜ「オープンソース」が良い選択なのか
著者らは、フェデレーテッドラーニングが意図した通りに機能するためには、オープンソースまたはオープンウェイトのモデルを使用すべきだと考えています。
- 完全なコントロール： モデルを自分自身のコンピュータ（自分自身のキッチン）にインストールできます。データを誰にも送ることなく、自分自身のプライベートなデータを使ってモデルを教えることができます。
- 優れたツール： オープンモデルを使用すれば、「LoRA」や「アダプター」のような、モデルを効率的に微調整するための専門的なツール（高度な教育手法）を使うことができます。ブラックボックスの場合、テキストプロンプトを書くことしかできず、それは窓越しに叫ぶことだけで車のエンジンを修理しようとするようなものです。
- 信頼： 自分が鍵を握っているため、見知らぬ人に秘密を守るよう信頼する必要はありません。
4. 「なぜダメなのか？」（反論）
論文は、ブラックボックス・モデルが人気である理由についても認めています。
- 強力である： 最初から非常に優れた回答を提供することが多いです。
- 簡単である： スーパーコンピュータやエンジニアのチームを必要としません。料金を支払ってAPIを利用するだけです。
しかし、著者らは、プライバシーが関わる場面では利便性はリスクに見合わないと主張しています。もし目的がデータのプライバシーを維持し、コントロールを保持することであるなら、「簡単」な道であるブラックボックスを選ぶことは、実際にはあなたの目的から遠ざかることになります。
5. 意思決定ガイド
論文は、これを行いたい人のためのシンプルな決定ツリー（フローチャート）で締めくくられています。
- プライバシーと、データを自分のサーバーに保持することにこだわりますか？
- はい： オープンソースモデルを使用してください。それが、データを真に安全に、かつ自分のコントロール下に置く唯一の方法です。
- いいえ（または他に選択肢がない場合）： もしどうしても自分でモデルを動かすことができない場合は、ブラックボックスを使用せざるを得ないかもしれませんが、その場合はプライバシーとコントロールを放棄することを受け入れなければなりません。
まとめ
著者たちの主なメッセージは、**「両方の得をすることはできない（You cannot have your cake and eat it too）」**ということです。フェデレーテッドラーニング（プライバシーと分散化に関するもの）を行っていると主張しながら、ブラックボックス（中央の不透明な所有者にデータを送る必要があるもの）を使用することはできません。真のプライバシーと自律性を求めるなら、オープンで透明性が高く、自分自身のハードウェア上で動作するモデルを使用しなければなりません。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。