技術的概要：垂直フェデレーテッド学習のための選択的反事実的一貫性 (SCC-VFL)

1. 問題定義

本論文は、データ特徴量が複数の機関（パーティ）に分散し、機微属性（例：人種、年齢、性別）が単一のパーティまたはエンクレーブによって非公開に保持されている垂直フェデレーテッド学習（VFL）の環境において、個別的公平性を確保するという課題に取り組む。

VFL では、パーティが重複するエンティティに対して互いに排他的な特徴量サブセットを保持する。フェデレーテッド学習は生データを中央集約することなく協調的なモデル訓練を可能にするが、公平性の強制を複雑にする。既存の公平性アプローチは、しばしばグループレベルの指標（例：人口統計学的パリティ、均等化オッズ）に依存するか、特徴量と因果グラフへの完全なアクセスを前提としているが、これらは VFL では利用できない。さらに、VFL における単純な反事実的介入は不安定である。その理由は以下の通りである。

1. 部分的な可視性: 単一のパーティがすべての特徴量を観察できないため、どの特徴量が許容される媒介変数であり、どの特徴量が機微属性の許容されない代理変数であるかを判断することが困難である。
2. プライバシー制約: 機微属性はしばしば非公開であるため、訓練中の直接的な介入を妨げる。
3. 漏洩: 共有された表現や更新が、機微情報を偶発的に漏洩させたり、代理変数が機微な影響を伝達することを許容したりする可能性がある。

著者は、個体レベルの反事実的安定性に焦点を当てる。すなわち、非子孫の特徴量が固定され、政策で許可された媒介変数のみが変化する条件下で、保護属性に対する仮想的な介入が行われた場合でも、個体の予測が変化しないことを保証する。

2. 手法：SCC-VFL

著者は、SCC-VFL（垂直フェデレーテッド学習のための選択的反事実的一貫性）を提案する。これは、3 つの統合されたコンポーネントを通じて個別的公平性を運用化するサーバー中心のフレームワークである。

A. グラフフリー、差分プライバシー（DP）マスク発見

因果グラフがマルチパーティ環境では稀にしか利用できないため、SCC-VFL はグラフフリーかつ DP 手順を用いて、各パーティの特徴量を 3 つの集合に分割する。

• 非子孫（$N$）: 機微属性介入下で固定されるべき特徴量。
• 媒介変数（$M$）: 変更が許容される特徴量（政策で許可された経路）。
• 代理変数（$P$）: 機微な影響のための許容されない経路として機能し、抑制されなければならない媒介変数の部分集合。

メカニズム:

1. 信頼できるホルダー（またはエンクレーブ）は、分割表をクリップしガウシアンノイズを追加することで、機微属性 $s$ のDP スケッチ（$z_s$）を生成する。このスケッチは $(\epsilon, \delta)$-DP を満たすが、完全な訓練パイプラインには適用されない。
2. パーティは $z_s$ を補助共変量として使用し、ローカル特徴量が $s$ に対して統計的に反応するかどうかをテストする。
3. システムは各特徴量に対して 2 つの指標を計算する。
   • リスク増分（$\Delta_j$）: $z_s$ を含めることで特徴量の予測が改善される度合い。
   • ヒルベルト・シュミット独立性基準（HSIC）: 他のローカル特徴量を条件とした後の $z_s$ に対する残余依存性。
4. HSIC が低い特徴量は $N$ に割り当てられ、HSIC が高い特徴量は $M$ の候補となる。$M$ 内では、リスク増分が高い（$s$ に対する感受性が強く、タスクとの関連性が低い）特徴量が代理変数 $P$ としてフラグ付けされる。

B. マスク付き反事実的生成

各パーティは、反事実的入力を作成するためにローカルの条件付き生成器（cVAE）を訓練する。

• アイデンティティの保持: 非子孫（$N$）は正確にコピーされる（$x^{cf}_N = x_N$）。
• 媒介変数の編集: 媒介変数（$M$）は、条件付き分布 $p(x_M | x_N, c, z_{s'})$ のサポート上にあるように編集される。ここで $z_{s'}$ はターゲットとなる機微埋め込みである。
• 漏洩抑制: 代理変数（$P$）は変更されずに通過するが、敵対的損失の対象となる。敵対者は反事実的代理特徴量から $z_s$ を回復しようとする。生成器はこの成功率を最小化することで、残余の機微シグナルを抑制する。

C. サーバーサイド選択的反事実的一貫性（SCC）損失

サーバーは、元の入力とマスク付き反事実的入力からの表現を統合し、融合表現 $z$ と $z^{cf}$ を形成する。

• 一貫性ペナルティ: サーバーは、予測 $f_\theta(z)$ と $f_\theta(z^{cf})$ の差を罰する損失項 $\mathcal{L}_{SCC}$ を最小化する。
• 目的: これにより、政策で許可された媒介変数のみが編集された場合に、モデルの決定が恣意的に反転しないことが強制される。全体の目的関数は、タスク有用性、SCC 一貫性、有効性制約（アイデンティティ、サポート、漏洩）を組み合わせる。

3. 主要な貢献

1. 問題定式化: VFL 向けの**選択的反事実的一貫性（SCC）**を定義し、グループパリティではなく、政策で指定された介入下でのインスタンスごとの安定性を対象とした。
2. DP マスク発見: 事前に定義された因果グラフや生機微データへのアクセスを必要とせず、候補となる非子孫、媒介変数、代理変数を特定するためのグラフフリーかつ差分プライバシーなメカニズムを導入した。
3. 漏洩制御付きマスク付き生成: 非子孫に対してアイデンティティを強制し、敵対的訓練を通じて代理変数の漏洩を抑制しながら、媒介変数のみを編集するパーティローカルの生成器を設計した。
4. サーバー中心の強制: 許容されない予測変化を罰する一貫性損失をサーバー側に実装し、多様なドメインで検証した。

4. 実験結果

著者は、SCC-VFL を 3 つの実世界データセット（German Credit（銀行）、UCI Heart Disease（医療）、COMPAS Cox（刑事司法））で評価し、IID および Non-IID（分布シフト）分割の両方において実施した。

• 公平性指標: SCC-VFL は、強力なベースライン（例：Adv-NoMask、Uniform-CF、Policy-blind Mask）と比較して、介入下で予測が変化するサンプルの割合である**フリップ率（FR）を最大98%**削減した。また、**選択的一貫性ギャップ（SCG）**も最低に抑えた。
  • 例: German Credit（Non-IID）において、SCC-VFL は FR を 0.12% に削減し、ベースラインの 6.24–8.22% と比較した。
• 有用性: この手法は予測精度と LogLoss を維持または向上させ、有利な有用性 - 公平性のトレードオフを示した。
• プライバシーとロバスト性:
  • 属性推論攻撃（AIA）: SCC-VFL は、ベースラインと比較して攻撃成功率を 4–5 パーセントポイント削減した。
  • サブスペース-PGD 攻撃: 媒介変数座標に対する標的摂動下において、SCC-VFL は最低の成功率を示した（例：$\epsilon=0.20$ で 9.3% 対 Adv-NoMask の 21.7%）。これは、機微な方向に沿った決定境界が平坦化されていることを示している。
• アブレーション研究: どのコンポーネント（マスク発見、生成器、または一貫性損失）を除去しても性能が低下し、安定性と漏洩制御のための完全なパイプラインの必要性を確認した。

5. 意義と主張

本論文は、SCC-VFL が、データがサイロ化され機微属性が非公開である VFL 展開において、実用的に監査可能な公平性目標を提供すると主張する。

• 個別的説明責任: 個体の一貫性を隠蔽しうるグループレベルの指標とは異なり、SCC-VFL は、特定の個人が保護属性の反事実的変化下で安定した決定を受け取ることを保証し、差別に対する法的要件（例：貸与における年齢差別）と整合する。
• 政策との整合: このフレームワークは、どの因果経路が許容されるかに関する宣言された政策を強制する。これは真の因果性を発見することを主張するのではなく、ガバナンスによって定義された仕様（$N/M/P$）を学習アルゴリズムに運用化するものである。
• シフトへのロバスト性: この手法は、ベースライン手法がしばしば安定性の低下に苦しむ Non-IID 設定および分布シフト下でも効果的である。
• プライバシーの範囲: 著者は明示的に、形式的な DP 保証はマスク発見に使用されるスケッチにのみ適用され、完全な訓練パイプライン（表現、勾配、またはモデルパラメータ）には適用されないことを述べている。実験で観察されたプライバシー上の利点は、特定の脅威モデル下での漏洩の経験的削減であり、形式的なエンドツーエンドの DP 保証ではない。

この研究は、個体レベルの反事実的安定性をグループ公平性に対する実用的な補完として位置づけ、分散学習環境においてアルゴリズム的決定が保護属性によって恣意的に駆動されていないことを、ステークホルダーが監査し、異議を唱え、検証するためのメカニズムを提供する。