技術サマリー：LightSplit

問題定義

スプリット学習（SL）は、リソース制約のあるクライアントと強力なサーバー間でモデルを分割することで、深層ニューラルネットワーク（DNN）の協調学習を可能にする。これにより生データの局所性は維持されるが、中間活性化（スマッシュドデータ）が送信される「カットレイヤー」において、2 つの重大な課題が生じる：

1. 通信オーバーヘッド: 高次元の活性化テンソル（例：CIFAR-10 上の ResNet-18 では 4,096 次元）を送信することは、帯域幅のボトルネックを顕著に引き起こし、活性化次元数とクライアント数に比例してスケーリングする。
2. プライバシー脆弱性: スマッシュドデータには、インスタンス固有の情報が豊富に含まれている。半正直（正直だが好奇的）な脅威モデル下では、サーバーはこれらの表現を悪用して再構成攻撃（例：SDAR、UnSplit、FORA）を実行し、クライアントの入力を高い忠実度で復元できる。

既存の防御策は、通常、これらの問題を個別に対処している。プライバシー重視の方法（ノイズ注入、摂動など）は通信ペイロードを削減できないことが多く、圧縮技術（トップ k 疎化、学習済みコーデックなど）は、再構成攻撃に悪用されるインスタンス固有のシグナルをそのまま残したり、クライアント側で過大な計算オーバーヘッドをもたらしたりする傾向がある。

手法：LightSplit

著者は、カットレイヤーで適用される軽量な固定直交ランダム射影を通じて、通信オーバーヘッドを削減すると同時に情報露出を制限するフレームワーク「LightSplit」を提案する。

中核メカニズム

1. 固定直交射影:

   • 各クライアントは、固定されたランダムな正規直交行列 $R \in \mathbb{R}^{d \times k}$ を用いて、$d$ 次元のスマッシュド活性化 $z$ を、より低次元の部分空間 $k$（$k \ll d$）へ射影する。
   • この射影は、ガウスランダム行列の QR 分解から導出され、$R^\top R = I_k$ が保証される。
   • この射影は学習不可であり、トレーニング全体を通じて固定されており、クライアント側で追加の学習パラメータを必要としない。
   • 理論的基盤: この手法はジョンソン・リンデンストラウス（JL）補題を利用しており、これにより低次元空間においてペアごとのユークリッド距離（およびしたがってクラス分離性）がほぼ保持されることが保証される。

2. サーバー側のリフトバック:
   既存の SL アーキテクチャとの互換性を維持するため、サーバーは自身のバックボーン用の $d$ 次元入力を再構成する必要がある。LightSplit は 2 つのモードを提供する：

   • LIGHTSPLIT-F（固定）: パラメータなしの線形リフトバック（$\hat{z} = R\tilde{z}$）を使用し、受信したベクトルを実質的に $k$ 次元部分空間上に再射影する。これは計算的に最小限である。
   • LIGHTSPLIT-L（学習）: 小さな学習可能な多層パーセプトロン（MLP）を用いて、$k$ 次元射影を $d$ 次元へマッピングする。これによりサーバーは射影された分布に適応し、情報損失を補償できるが、その代償としてサーバー側の追加パラメータが必要となる。

3. クラス内圧縮（WCC）正則化:
   ランダム射影のみでは残存するインスタンス固有のシグナルを完全に除去できないという限界に対処するため、LightSplit はクライアント側の正則化項を導入する。

   • 目的: 射影された表現 $\tilde{z}$ のクラス内分散を最小化する。
   • メカニズム: クライアントは各クラス $c$ に対する射影サンプルの平均 $\mu_c$ を計算し、サンプルとクラス重心との間の二乗ユークリッド距離を最小化する：$L_{WCC} = \sum_c \frac{1}{|S_c|} \sum_{i \in S_c} \|\tilde{z}_i - \mu_c\|_2^2$。
   • 効果: これにより、同一クラスのサンプルがコンパクトなクラスターを形成するよう促され、再構成攻撃が依存するインスタンス固有の変動を実質的に破棄しつつ、クラス判別構造は保持される。

主要な貢献

1. プライバシーと効率性の両立: LightSplit は、追加のクライアント側学習コンポーネントを必要とせずに、サンプルごとのペイロード（通信）を削減すると同時に情報露出（プライバシー）を制限する最初の手法である。
2. 不可逆な情報ボトルネック: 射影の直交補空間を破棄することで、サーバーに対して未定数の逆写像を作成し、元の入力の正確な再構成を数学的に不可能にする。
3. 軽量なクライアント設計: クライアントは固定行列との単一の行列乗算のみを実行するため、エッジデバイス向けのスプリット学習の低計算前提を維持する。
4. クラスレベル構造の保持: JL 射影と WCC 正則化の組み合わせにより、表現をインスタンス記述子からクラスプロトタイプへシフトさせ、再構成攻撃に対する堅牢性を高める。

実験結果

著者は、CIFAR-10、CIFAR-100、Fashion-MNIST、GTSRB において、IID および Non-IID の設定の両方で LightSplit を評価し、生送信および学習済み圧縮ベースライン（Learned 1x1）と比較した。

• プライバシー性能:

  • LightSplit は、最先端の再構成攻撃（SDAR、FORA、UnSplit）の性能を著しく低下させる。
  • SDAR に対して、32 倍圧縮時において、生送信と比較して SSIM スコアが最大**58.3%**低下した。
  • FORA に対して、LPIPS スコアが**約 36%**増加し、元の画像との知覚的類似性が低下したことを示している。
  • UnSplit に対して、LightSplit は MNIST 上の再構成の平均二乗誤差（MSE）を最大1.27 倍増加させ、ピクセル単位の完全な復元を実質的に防いだ。
  • この手法は、ベースラインと比較して攻撃の再構成能力を最大7 倍削減する。

• 有用性と効率性:

  • 精度保持: LightSplit は、ほとんどのシナリオでベースライン精度の95% 以上を保持する。例えば、CIFAR-10 において 32 倍圧縮時、精度の低下は**約 6%**のみ（一部のベースラインでは約 13%）であった。
  • 通信削減: この手法は、送信次元数を最大32 倍削減する。
  • 安定性: 訓練ダイナミクスは、異なる圧縮率およびクライアント規模（最大 100 クライアント）にわたって安定している。
  • バックドア検出: この手法はサーバー側のバックドア検出メカニズムに干渉せず、悪意のあるクライアントはコサイン類似性シグネチャを通じて識別可能である。

意義と主張

本論文は、LightSplit が、既存の解決策がプライバシーと効率性の間でトレードオフを強いるスプリット学習における重要なギャップを埋めると主張している。固定直交射影と分散低減正則化子を利用することで、LightSplit は以下の点を実現する：

• プライバシー漏洩の軽減: 好奇的なサーバーが入手できる情報を、特定の入力インスタンスではなくクラスレベルのプロトタイプに制限し、再構成攻撃の難易度を実質的に引き上げる。
• オーバーヘッドの削減: 学習済みコーデックに伴うクライアント側の訓練オーバーヘッドなしに、通信コストを劇的に低下させる。
• 互換性の維持: 固定モードでは、基礎となるネットワーク構造を変更したり、サーバーのバックボーンに変更を加えたりすることなく、既存の U 字型スプリット学習アーキテクチャにシームレスに統合される。

著者は明確に、LightSplit が形式的なプライバシー保証（例：差分プライバシー）を提供するものではないと述べているが、半正直な脅威モデル下において、適応的な最先端の再構成攻撃に対して堅牢な経験的耐性を示している。彼らは、この手法を、プライバシーに敏感で帯域幅が制約されたエッジ環境におけるスプリット学習の展開のための、実用的で軽量な解決策として位置づけている。