技術概要：合意埋め込みに基づく連合推論（CE-FI）

1. 問題定義

本論文は、分散環境において、複数の独立して展開された機械学習モデル間で協調推論を可能にするという課題に取り組んでいる。複数のモデルを活用して推論性能を向上させる需要は高まっているが、既存のフレームワークは、プライバシーに敏感な環境や組織横断的な設定において重大な限界に直面している：

• 連合学習（FL） は通常、モデル更新またはパラメータの共有を必要とするが、これはモデル逆転攻撃のリスクを伴い、知的財産の制約に違反する。
• 標準的な連合推論（FI） は、すべてのクライアントが同じ生入力データを共有するか、互換性のある中間表現を生成するために共通のエンコーダアーキテクチャを利用することを前提としていることが多い。
• エッジアンサンブルアプローチは共有エンコーダに依存するが、モデルが異種（異なるアーキテクチャ）である場合や、部分的なモデル開示さえ禁止されている場合には、しばしば実現不可能である。

したがって、生入力、モデルパラメータ、または共通エンコーダの存在を前提とせず、かつ協調段階でラベル付きデータを必要とすることなく、異種の前学習済みモデルが推論時に協調することを可能にする既存のフレームワークは存在しない。

2. 手法：CE-FI フレームワーク

著者は、中間表現とラベルなしデータのみを使用して異種の特徴空間を橋渡しするよう設計された**合意埋め込みに基づく連合推論（CE-FI）**を提案する。

システムモデル

• 環境: 横断シロ設定。各デバイスがローカルな前学習済みモデル $M_k$（ヘッドネットワーク $M^H_k$ とテールネットワーク $M^T_k$ から構成）を保持する $K$ 台のデバイス。
• 制約: デバイスは生入力 $x$、モデルパラメータ、またはアーキテクチャを共有できない。中間特徴のみを共有できる。
• データ仮定: 全デバイスがアクセス可能な共有ラベルなしデータセット $D_{share}$（例：公開ログデータまたはセンサーデータ）が存在するが、協調トレーニング段階で使用可能なラベル付きデータはない。

コアコンポーネント

CE-FI は、各デバイスあたり 2 つの学習可能な層を導入し、自己教師あり学習で訓練する：

1. 合意埋め込み（CE）層（$F_k$）:

   • 機能: デバイス固有の中間特徴 $z_k = M^H_k(x)$ を、共有かつデバイス非依存の埋め込み空間 $z'_k = F_k(z_k)$ にマッピングする。
   • 訓練: 共有ラベルなしデータを用いたコントラスト学習（具体的には NT-Xent 損失の近似）を通じて最適化される。目的は、同一入力サンプルに対する異なるデバイスからの埋め込みを共通の重心に向けて整合させ、同一 $x$ に対する $z'_i$ と $z'_j$ の距離を最小化することである。
   • プライバシー: 交換されるのは合意埋め込みのみであり、生入力と元の中間特徴はローカルに保持される。

2. 協調出力（CO）層（$G_k$）:

   • 機能: 合意埋め込み $z'_k$ をタスク固有の出力ログオッズ $m'_k = G_k(z'_k)$ にマッピングする。
   • 訓練: 学習済みローカルモデルを「教師」として用いた知識蒸留を通じて最適化される。CO 層は、共有ラベルなしデータ上で、自身の出力とローカルモデルのテールネットワーク（$M^T_k$）によって生成されたログオッズとの間のカルバック・ライブライ（KL）ダイバージェンスを最小化する。
   • 目的: デバイスが共有された合意埋め込みのみに基づいて正確な予測を生成できるようにする。

推論と集約

推論中、デバイスは入力 $x$ を自身のヘッドおよび CE 層を通じて処理して合意埋め込みを生成し、これを他のデバイスと共有する。各受信デバイスは、この埋め込みを自身の CO 層を通じて処理してログオッズを生成する。

• アンサンブル戦略: 本論文は各種集約手法を評価する。特に、ログオッズから導出されたエネルギー・スコアが最小のデバイスを選択する最小エネルギー法は、分布外（OOD）サンプルや深刻なラベル不一致を処理する際に有効であり、高度な非 IID 設定では単純な平均化や投票法を上回る性能を示すことが強調されている。

3. 主要な貢献

本論文は、4 つの主要な貢献を概説している：

1. 入力またはモデル共有なしの協調推論: CE-FI は、パラメータ、生入力、または共通エンコーダの共有なしに、異種の前学習済みモデル間での協調を実現する。これは中間特徴の交換と自己教師あり学習のみに依存する。
2. 自己教師あり学習: フレームワークは、ラベルなしデータのみで訓練されるコントラスト学習ベースの埋め込み層と、知識蒸留ベースの予測層を導入し、注釈コストを削減する。
3. 理論的特徴付け: 著者は、CE-FI と従来の入力共有 FI の間の関係を形式的に分析する。理想的な整合条件下では CE-FI が理論的に入力共有 FI と同等であることを示し、性能低下が合意埋め込みの整合誤差に比例することを示す境界を導出する。
4. 包括的評価: 画像（CIFAR-10/100）、テキスト（IMDB）、時系列（UCI-HAR）タスクにおける多様な非 IID 条件（分離したラベルセットを含む）での広範な実験により、フレームワークの有効性が検証された。

4. 実験結果

• ベースラインとの性能比較: CE-FI は、すべてのモダリティおよび非 IID 条件において単独推論を一貫して上回る。多くのシナリオでは、より厳しい制約下で動作しているにもかかわらず、入力共有 FIやエッジアンサンブルの性能に近づいている。
• 異種性: デバイスが異なるエンコーダアーキテクチャ（例：ViT、ResNet、ConvNeXt）および異なる前学習目的（Supervised、CLIP、DINOv3）を使用する場合でも、フレームワークは有効である。
• アンサンブル感度: アンサンブル戦略の選択は重要である。穏やかな非 IID 設定ではソフト投票が機能するが、最小エネルギー選択は、特定のクラスを欠くデバイスからの信頼性の低い予測をフィルタリングすることで、深刻な非 IID（偏り/分離）条件における頑健性を大幅に向上させる。
• スクラッチ対前学習済み: CE-FI はスクラッチから訓練されたモデルでも機能するが、性能向上は前学習済みエンコーダを使用した場合に顕著である。本研究は、ローカル特徴空間における基礎的な意味構造の品質が、スクラッチ設定における性能を制限することを特定している。
• ボトルネック分析: 除去実験により、CE 層における表現整合が主要なボトルネックであることが明らかになった。統一された合意埋め込み空間を強制することは、特にスクラッチ設定において精度を大幅に向上させるが、トレーニングから OOD データを除外することは無視できる影響しか持たない。
• プライバシーと再構成: 合意埋め込みに対する再構成攻撃（DCGAN を使用）は、低品質の再構成（RMSE 約 0.22、SSIM 約 0.16）をもたらした。これは、合意埋め込みの共有が直ちに生入力を明らかにするものではないことを示唆しているが、すべてのプライバシーリスクに対して免疫ではない。
• 通信コスト: 画像分類タスクにおいて、256 次元の合意埋め込み（2.1 KB）を送信することは、生画像（4.6–6.2 KB）を送信するよりも効率的であった。

5. 意義と主張

本論文は、CE-FI が実用的でプライバシーを保護する分散 AI に向けた重要な一歩であると主張している。共有入力と共通エンコーダという仮定を排除することで、従来の連合推論が実現不可能なシナリオ（例：専有モデルと厳格なデータプライバシー法を伴う医療診断）における協調を可能にする。

著者は結果について控えめなトーンを維持している：

• CE-FI は従来の FI の性能に近づいているが、不完全な表現整合が主な原因となり、依然としてギャップが残っていることを認めている。
• 最適なアンサンブル戦略はモダリティと非 IID 度の程度に大きく依存しており、「万能」な集約手法は最適ではないと指摘している。
• 将来の改善のための中心的な課題は、データフィルタリングやアンサンブル選択単独ではなく、表現整合であると特定している。

究極的に、この研究は、共有ラベルなしデータと中間表現のみを活用することで、データとモデルのプライバシーに関する最も厳格な制約下でも協調推論が達成可能であることを証明する概念実証を提供している。