FedQHD: Closed-Form Function-Space Federated Reinforcement Learning

複数の友人が協力して複雑なビデオゲームの遊び方を学ぼうと想像してみてください。彼らはそれぞれ独自のコントローラー（異なるハードウェア）を持っており、プライバシー規則や低速なインターネットの制約により、実際のゲームプレイ映像（生データ）を共有することはできません。代わりに、彼らはゲームをより早く上達させるために、それぞれが「学んだこと」を共有したいと考えています。

これが連合強化学習が解決しようとする問題です。しかし、一つの問題があります。全員が異なる方法で学習する場合、単に彼らの「脳の設定」（2 つの異なるレシピを混ぜ合わせるようなもの）を平均化すると、誰にも機能しない混乱した結果が生じることが多いのです。

この論文は、そのような混乱を回避する、これらの友人が協力するための新しい方法FedQHDを紹介しています。その仕組みを、簡単なアナロジーを用いて以下に説明します。

1. 問題：リンゴとオレンジを混ぜる

現在のほとんどの手法（「FedAvg」と呼ばれる）では、サーバーは全員のニューラルネットワーク設定の平均を取ろうとします。

• 問題点: 友人 A が「青い脳」を使用し、友人 B が「赤い脳」を使用する場合、設定を平均化することは、青と赤の絵の具を混ぜて紫を作ろうとするようなものですが、その後、友人 C が緑の絵の具を必要としていることに気づきます。彼らの内部構造が一致しないため、数学的に破綻してしまいます。
• 従来の対策: 一部の手法は、「教師」が「生徒」に繰り返し質問して一致させることで、彼らを強制的に合意させようとします。これは、教師が毎日逐一論文を採点するようなもので、非常に遅いです。

2. 解決策：「万能翻訳機」（超次元コンピューティング）

FedQHD は、全員に万能翻訳機（超次元エンコーダーと呼ばれる）を与えることで、ゲームのルールを変えます。

• 仕組み: 複雑で厄介な内部ルールを学習する代わりに、全員がゲームの状態（画面）を、巨大で固定されたランダムな数字のリスト（「超ベクトル」）に変換します。
• 魔法: ゲームの状態がこのリストに変換されると、最善の手を決定することが、単純な線形数学の問題（点を結んで直線を引くようなもの）になります。
• なぜ役立つのか: 数学が直線になるため、結果を完全に平均化しても何かが壊れることはありません。これは、全員が特定の方言で話すことに合意し、ネイティブ言語に関係なく「左」は常に「左」を意味するようになるようなものです。

3. 2 つのシナリオ

シナリオ A: 全員が同じ翻訳機を使用する場合（均質）

もしすべての友人が全く同じ翻訳機を使用する場合、サーバーは単に彼らの「最善の手」リストの平均を取ります。

• 結果: これは瞬時かつ完璧です。これは古い「FedAvg」手法と全く同じですが、複雑な行き来する計算を行う必要がないため、はるかに高速です。これは「閉形式」の解であり、推測なしに単純な数式一つで答えが得られます。

シナリオ B: 全員が異なる翻訳機を使用する場合（不均質）

FedQHD が真価を発揮するのはここです。友人 A の翻訳機が 1,000 個の数字を使用し、友人 B の翻訳機が 5,000 個の数字を使用するとしたらどうなるでしょうか？

• 「アンカー」戦略: サーバーは、「崖から車が落ちる」や「棒がバランスを保つ」など、特定のゲーム状況の小さなセット（アンカーと呼ばれる）を選択します。
• 教師: サーバーは、すべての友人に「これらの特定の状況であなたはどうしますか？」と問いかけ、彼らの答えを平均化してグローバル教師を作成します。
• 「ワンショット」変換: 長く退屈なトレーニングセッションの代わりに、各友人はこのグローバル教師を受け取り、教師の助言を自分専用の翻訳機形式に変換するために、単一の迅速な数学的トリック（リッジ回帰と呼ばれる）を使用します。
• アナロジー: 料理人（サーバー）が、皆のスープを味見して完璧なスープのレシピを作成すると想像してください。サーバーは、すべての料理人に調理法を再学習させる代わりに、「私のスープの風味が欲しいなら、あなた特有のスパイスを 2 スプーン加えてください」と記した「変換カード」を渡すだけです。これは 1 段階で完了します。

4. なぜ優れているのか（「連合ギャップ」）

この論文は、グローバル教師をローカル形式に変換する際に、わずかな情報の損失が発生することを証明しています。彼らはこれを連合ギャップと呼んでいます。

• 彼らはこの誤差を 3 つの部分に分解しました：
  1. 不一致: 翻訳機がどれほど異なるか。
  2. 条件付け: 「アンカー」状況がゲームをどの程度カバーしているか。
  3. バイアス: 安定性を保つために行われる微小な数学的調整。
• 絶妙なバランス点: 彼らは、十分な数の「アンカー」状況（具体的には、翻訳機のサイズよりも多くのアンカー）があれば、誤差は増加を停止し、非常に低く予測可能なレベルに留まることを発見しました。

5. 結果

著者らは、この手法を 4 つの古典的な制御タスク（棒のバランスを取るや宇宙船の着陸など）でテストしました。

• 性能: FedQHD は、遅く複雑な手法と同等か、それ以上の性能を発揮しました。
• 速度: 非常に大幅に高速でした。重い遅いニューラルネットワークのトレーニングループの代わりに単純な数学式を使用するため、タスクの完了に要する時間が数時間から数分に短縮されました。
• 効率性: 友人たちが異なるサイズの翻訳機を持っていたとしても、システムは彼らを同じサイズに強制することなく、スムーズに機能しました。

まとめ

FedQHDは、AI エージェントがプライベートデータを共有することなく共に学習するための賢明な方法です。

• 「ランダム特徴」翻訳機を使用して、複雑な学習を単純な数学に変換します。
• 特定のテストケース（アンカー）から構築された「グローバル教師」を使用します。
• その教師を、各エージェントの独自のスタイルに変換するために、単一の瞬時の数学的ステップを行います。
• その結果、高速で正確、かつ全員が異なるハードウェアを持っていたとしても機能するシステムが実現します。