Expected Gain-based Escalation in Vertical Federated Learning

技術要約：垂直型連合学習における期待利得に基づくエスカレーション

問題提起
垂直型連合学習（Vertical Federated Learning: VFL）では、複数のクライアントが同一のサンプルに対して異なるビュー（情報の側面）を保持しており、サーバーはこれらの情報を集約して予測性能を向上させる。協調推論（すべてのクライアントの中間表現を融合させる手法）は、ローカル推論よりも一般に高い精度をもたらすが、多大な通信および計算コストを伴う。本研究が取り組む中心的な課題は、この高コストな協調ルートを「いつ」呼び出すべきかを決定することである。すべてのサンプルに対して融合を適用することは非効率的であり、多くの入力は軽量なローカル予測によって容易に解決可能である。目標は、2ラウンドの推論プロトコル内において、正解性の期待される改善が追加の通信コストを正当化するかどうかを判断する、サンプルごとのルーティング・ポリシーを開発することである。

手法
著者らは、別途ルーティング・ネットワークを学習させる必要のない、**期待利得推定（expected gain estimation）**に基づく解析的なルーティング・ルールを提案している。システムは以下の2ラウンドで動作する：

1. ラウンド1（ローカル）: クライアントは低次元のローカル・ポステリア（事後分布）をサーバーに送信する。サーバーは平均プーリングを通じて、これらをプールされた予測として形成する。
2. ラウンド2（協調）: サンプルがエスカレーションされた場合、クライアントは高次元の埋め込み（embedding）を送信し、それらはより強力なサーバー側のVFLモデルによって融合される。

ルーティングの決定は、閾値ベースのポリシーとしてモデル化される。すなわち、期待利得 $E[G | \bar{p}]$ が閾値 $\tau$ を超える場合にエスカレーションを行う。ここで、$G$ はラウンド2とラウンド1の正解性の差である。

このスコアを、学習済みのルーターを用いずに解析的に計算するために、著者らはホールドアウト校正データから推定される2つのコンポーネントを用いたプラグイン近似を導出している：

1. 校正済みプール・ポステラ: ラウンド1からの生のプールされたポステリアは、しばしば未校正である。著者らは、条件付きクラス・ポステリア $P(y=k | \bar{p})$ を推定するために、マルチクラス・ディリクレ校正マップを適用する。
2. クラス別信頼性: 著者らは、クラスレベルの信頼性係数（ラウンド2の混同行列の対角成分 $CVFL[k,k]$）を用いて、ラウンド2モデルの条件付き正解性$P(\hat{y}_{VFL}=k | y=k, \bar{p})$ を近似する。これは、一度真のクラスが固定されると、ラウンド2モデルの性能はラウンド1のポステリアに関わらず比較的安定しているという仮定に基づいている。

最終的なルーティング・スコア $\hat{s}(\bar{p})$ は以下のように計算される：
$$\hat{s}(\bar{p}) = \sum_{k=0}^{K-1} \hat{m}_{\hat{\phi}}(\bar{p})[k] \cdot (CVFL[k,k] - \mathbb{1}[\hat{y}_{loc} = k])$$
ここで、$\hat{m}_{\hat{\phi}}$ は校正済みポステリアであり、$\hat{y}_{loc}$ はラウンド1の予測である。スコアが正である（または予算制御された閾値を超える）場合、サンプルはエスカレーションされる。

主な貢献

1. 推論時の選択的エスカレーション: 本研究は、2ラウンド・プロトコルにおいて、コストのかかる協調的VFLルートを選択的に呼び出す問題を定式化し、精度と通信予算のバランスを取る。
2. 解析的ルーティング・ルール: 著者らは、プールされたラウンド1のポステリアとクラス別信頼性統計量のみを使用して、エスカレーションの期待利得を推定する方法を提案している。この手法は専用のルーティング・ネットワークの学習を必要とせず、解釈可能かつ軽量である。
3. 実証的検証: 本手法は、テスト時のビュー劣化（ガウスノイズ）を制御したシナリオを含む、マルチビュー分類ベンチマーク（CIFAR-10, CIFAR-100, ModelNet40）を用いて検証されている。

結果
実験の結果、提案された解析的ルーターは、いくつかのベースラインと比較して優れた精度とエスカレーションのトレードオフを実現することが示された：

• 信頼度ベース（Confidence-based）に対して: 提案手法は単純な信頼度閾値を上回る性能を示した。これは、信頼度だけではエスカレーションの利益を予測するには不十分であることを示唆している。
• 学習された利得（DIFF-01）に対して: 解析的手法は、実現された利得を回帰するように訓練された学習型ルーターを一貫して上回っており、解析的近似が本質的なルーティング信号を効果的に捉えていることを示唆している。
• Learning-to-Defer (L2D) に対して: エスカレーション予算が一致した場合、提案されたルーターはより高い精度と優れたエスカレーション精度（EP）を達成し、中立的なサンプルを回避しながら、有益なエスカレーションのより大きな割合を捕捉した。
• オラクル（Oracle）に対して: 提案手法は、真の利得を知っている理論的な上限には達しないものの、特に中程度のエスカレーション領域（40–60%）において、その差を大幅に縮めている。

また、結果は、テストサンプルの大部分がエスカレーションに関して「中立」である（すなわち、ラウンド1とラウンド2で正解性が同じである）ことを浮き彫りにしている。提案されたルーターは、これらを効果的に排除するが、攻撃的なベースラインはしばリオ過剰にエスカレーションを行い、精度向上なしに通信コストを発生させてしまう。

意義と主張
本論文は、エスカレーションを期待利得の決定として扱うことが、VFLにおける実用的で解釈可能、かつ効率的なルーティング・メカニズムを可能にすると主張している。複雑な学習型ルーターではなく校正データに依存することで、本手法は単純な導入パスを提供する。著者らは、自身の手法が既存の信頼度ベース、学習された利得、およびデフェラル（deferral）ベースのベースラインと比較して、通信と精度のトレードオフを改善することを強調している。

本研究は、クラス別の信頼性近似がラウンド2モデルの挙動におけるクラス内の変動を無視していることや、性能が校正セットの代表性に依存することを限界として認めている。しかし、校正データが合理的に代表的であれば、分布シフト（ビューの劣化によってシミュレートされたもの）の下でも手法は堅牢であると著者らは主張している。結論として、選択的なエスカレーションは、予測性能を犠牲にすることなくVFLの推論コストを削減するための実行可能な戦略であるとしている。