技術要約: TabPATE: 公開データを用いない、差分プライバシー保護型表形式データのインコンテキスト学習

1. 問題提起

表形式基盤モデル（Tabular Foundation Models: TFMs）は、少数のラベル付きデータセットをモデルのコンテキスト内に配置することで、パラメータの更新なしに正確な予測を行うインコンテキスト学習（In-Context Learning: ICL）を可能にします。ヘルスケアや金融などの領域で効果的である一方、このパラダイムは重大なプライバシーの脆弱性を導入します。すなわち、コンテキスト内に配置されたレコードには、機密性の高いプライベートな情報が含まれる可能性があるということです。

著者らは、このリスクが単なる仮説的なものではないことを最初に示しています。標準的なメンバーシップ推論攻撃（Membership Inference Attacks: MIA）を表形式ICLの設定に適応させることで、モデルの予測が、特定のレコードがプライベートなデモンストレーション・コンテキストに含まれていたかどうかという情報を漏洩させてしまうことを明らかにしました。

• 脅威モデル: 本研究では、パッシブなブラックボックス・アクセス（ラベルのみ）から、アクティブなグレーボックス・アクセス（コンテキストの操作やポイズニングを含む）に至る4つの脅威モデルを評価しています。
• 知見: パッシブなグレーボックス攻撃者であっても、1%の偽陽性率（FPR）において9.9%の真陽性率（TPR）を達成しており、プライベートなコンテキスト・レコードがモデルの振る舞いを通じて著しく露出していることを示しています。アクティブな攻撃、例えば「Truth Serum」ポイズニングを用いた攻撃では、TPRが75.4%に達することもあり、プライベートなコンテキスト・レコードが大幅に露呈していることを示唆しています。

差分プライド・確率的勾配降下法（DPSGD）のような標準的な差分プライバシー（DP）学習手法は、TFMが凍結された推論時モデルとして使用されるため、ここでの適用には適していません。PromptPATEなどの既存のPATE（Private Aggregation of Teacher Ensembles）アプローチは、教師モデルへのクエリ生成のために、ラベルのない公開インディストリビューション・データに依存しています。金融やヘルスケアといった機密性の高い表形式の領域では、そのような公開データは利用できないことが多く、実用的なプライベート展開におけるギャップを生んでいます。

2. 手法: TabPATE

本論文では、公開インディストリビューション・データの必要性を排除した、表形式ICLのためのセントラルDPフレームワークであるTabPATEを提案しています。これは、教師・生徒（teacher-student）アーキテクチャに従います。

A. 教師の分割とクエリ生成

1. 分割: プライベートな機密データセット $D$ を $K$ 個の互いに素な部分集合に分割します。各部分集合は、個別の「教師」TFM（異なるデータでプロンプトされた同一の凍結モデル）のデモンストレーション・コンテキストとして機能します。
2. 合成クエリ生成（核心となる革新）: 標準的なPATEが公開データに対して教師をクエリするのに対し、TabPATEは公開データを使用せずに合成表形式クエリ ($\tilde{x}$) を生成します。これは、表形式データの特性（有界、型定義、低次元の特徴量）を活用しています。
   • データ独立事前分布 ($\alpha=0$): クエリは、既知の特徴量の範囲に基づく固定された事前分布（例：特徴量の範囲上の一様分布またはガウス分布）からサンプリングされます。これにはプライバシーコストは一切かかりません。
   • DP周辺統計量 ($\alpha>0$): プライバシー予算の一部 ($\alpha\epsilon$) を用いて、プライベートデータのノイズを加えた周辺統計量（平均および分散）を公開します。クエリは、その結果得られる積分布からサンプリングされます。これは、不均衡なデータセットや回帰タスクにおいて有益です。

B. プライベート集計

合成レコードに対して教師がクエリされます。彼らの予測はConfident-GNMaxアルゴリズムを用いて集計されます。

• 教師たちがラベルについて十分に一致している場合、ノイズを加えた多数決ラベルがリリースされます。
• 信頼度が低い場合、メカニズムは棄権します。
• 得られたラベル付きの合成ペア $(\tilde{x}, \tilde{y})$ が、生徒のコンテキスト ($\tilde{D}$) を形成します。

C. プライバシー保証

リリースされる生徒のコンテキストは $(\epsilon, \delta)$-差分プライバシーを満たします。プライバシー予算は、オプションの周辺統計量リリースとラベル集計の間で分割されます。ダウンストリームの予測はリリースされた生徒のコンテキストのみに依存するため、追加のプライバシーコストは発生しません。

3. 主な貢献

1. リスクの実証的検証: 著者らはMIAを表形式ICLに適応させ、プライベートなコンテキスト・レコードが予測を通じて漏洩し、アクティブな攻撃が深刻な漏洩を引き起こすことを実証しました。
2. TabPATEフレームワーク: 公開インディストリビューション転送データを必要とせず、特徴量の範囲やDP周辺統計量から導出された合成表形式クエリに置き換えた、表形式ICLのためのセントラルDP型のPATE風防御策です。
3. 実証的妥当性: 複数の表形式ベンチマークを用いた評価により、TabPATEが競争力のある有用性を維持しつつ、メンバーシップ推論の成功率をランダムに近いレベルまで低減させることを示しました。

4. 実験結果

著者らは、5つの標準的な分類データセット（例：German Credit, Diabetes）および8つの回帰データセットにおいて、TabPATEを、非プライベートICL、DP-SGD、DP-合成データ、クエリ時集計、およびPromptPATEと比較して評価しました。

• 有用性: プライバシー予算 $\epsilon=10$ において、TabPATEは71.2%のバランス精度を達成し、他の公開データフリーのベースライン（例：Query-Timeの61.3%）を上回り、公開データを必要とするPromptPATE（68.6%）に迫りました。
• プライバシー保護: TabPATEはメンバーシップ推論を効果的に抑制しました。非プライベートなTabPFNでは、LiRA攻撃によるAUCは約0.76でした。TabPATEは、$\epsilon=1$ および $\epsilon=10$ の両方において、これをランダムに近い性能（AUC $\approx$ 0.5）まで低下させました。
• 回帰: この手法は、有界でノイズを加えた教師の予測を集計することで、回帰タスクにも拡張されました。回帰は分類よりも困難であることが判明しましたが、周辺クエリ生成に小さな予算を割り当てること（$\alpha > 0$）で、純粋なデータ独立クエリよりも性能が向上しました。
• ベースライン比較: TabPATEは、プライバシー制約下で有用性を維持するのに苦労したDP-SGDおよびDP-合成データベースラインを一貫して上回りました。

5. 意義と主張

本論文は、公開インディストリビューション・データが利用できないシナリオにおいて、TabPATEがプライベートな表形式ICLへの実用的な道筋を提供すると主張しています。表形式の特徴（有界な範囲と型）を利用することで、プライバシーを損なったり外部データを必要としたりすることなく、有用なクエリを生成します。

著者らは、TabPATEが以下の特性を持つ実行可能な防御メカニズムを提供すると結論付けています。

1. ダウンストリームのタスクに対して競争力のある有用性を維持する。
2. メンバーシップ推論のリスクをランダムな推測に近いレベルまで低減させる。
3. データ共有のための公開トレーニングセットが制限されている、ヘルスケアや金融のような機密性の高い領域でのTFMの展開を可能にする。

本研究は、公開データフリーのPATE型の知識転送が、構造化データ環境における基盤モデルを保護するための実現可能なルートであることを示唆しています。