技術的サマリー：テーブルからの漏洩：LLM 基盤の表形式データ生成における文字列の記憶化への攻撃

1. 問題定義

大規模言語モデル（LLM）は、文脈内学習（ICL：コンテキストウィンドウに例を提供）と教師あり微調整（SFT：文字列エンコードされた表形式データでモデルを訓練）という 2 つの主要なモードを活用し、合成表形式データの生成において最先端の技術として登場しました。これらの手法は、高い統計的忠実度と下流タスクへの有用性を提供しますが、GAN や VAE といった従来の生成モデルとは異なる、新たなプライバシー脆弱性を導入します。

従来の表形式生成器は特徴空間で直接動作し、サンプルを原子単位として扱います。これに対し、LLM は表形式の行をトークンごとの自己回帰的な文字列系列に分解します。本論文は、このアーキテクチャの転換が独自の攻撃対象領域を創出すると主張します。すなわち、LLM は訓練データから数値の厳密で構造化されたパターンを記憶し、再現する傾向があるという点です。表形式データは自然言語のような意味的な曖昧さ（言い換えが可能など）を欠くため、文字レベルでのわずかな再現さえも、機密情報（金融金額、識別子など）の完全な記憶化を構成します。

既存の合成データに対するメンバーシップ推論攻撃（MIA）は、特徴空間の距離（ユークリッド距離、密度推定など）に焦点を当てています。しかし、著者らはこれらの手法が LLM が使用する中間的な文字列表現に内在する脆弱性を検出できず、LLM 基盤の表形式生成器に対するプライバシー監査に重大なギャップが残っていると論じます。

2. 手法

2.1 脅威モデル

本研究は、保守的なNo-box 脅威モデルを採用します。攻撃者は生成された合成データセット（$S$）へのアクセスのみを有します。攻撃者は以下のものを持ちません：

• モデルの内部構造、重み、またはハイパーパラメータへのアクセス。
• モデルへのクエリアクセス。
• 較正用の参照データセットまたは補助データ。
  このモデルは、生成プロセスの開示なしに合成データが公に共有される現実的なシナリオを反映しています。

2.2 攻撃：LevAtt（レーベンシュタイン攻撃）

LLM 生成の文字列ベースの性質を悪用するため、著者らは特徴空間の近接性ではなく文字列の類似性に基づく No-box MIA であるLevAttを提案します。

• メカニズム: 攻撃は、表形式レコードを構造化を保持する（数値の整合的な精度、カテゴリの安定したトークン）正規化された文字列表現に変換します。その後、テスト観測値（$x^*$）と生成データセット内の最も近い合成レコードとの間のレーベンシュタイン編集距離（文字レベルの編集距離）を計算します。
• スコアリング: 攻撃スコアは $f(x^*_{str}, S_{str}) = -\min_{s \in S_{str}} \ell(x^*_{str}, s)$ と定義されます。ここで $\ell$ はレーベンシュタイン距離です。距離が小さい（スコアが高い）ことはより近い一致を示し、合成データが訓練レコードを記憶化したことを示唆します。
• 根拠: 自然言語とは異なり、表形式の数値文字列は厳格です。1 桁の変化でも値の意味が著しく変わります。したがって、ほぼ完全な文字列の一致は、特徴空間攻撃が見逃す、記憶化の強力かつ高信頼性のシグナルとなります。

2.3 提案される防御策

本論文は、この漏洩を軽減するための 2 つの戦略を評価します：

1. Digit Modifier (DM): 数値カラムを反復処理し、確率関数 $g$ に基づいて桁を反転させるポスト処理アルゴリズムです。絶対値が大きい値ほど高い摂動確率を受け取ります。これは生成後に適用されます。
2. Tendency-based Logit Processor (TLP): 生成プロセスに統合されたサンプリング時の防御策です。サンプリング前にモデルのロジットに対して凹関数かつ単調な曲線関数（$f_t(x) = x^{1/t}$）を適用します。これにより、高確信度のトークン（多くの場合記憶化された系列）を抑制し、低確率のトークンを増幅することで、特徴依存性を壊すことなく制御されたランダム性を導入します。

3. 実験結果

3.1 ICL モード（文脈内学習）

LLaMA 3.3-70B、GPT-4o-mini、TabPFN-v2 を用いて、35 の実世界の回帰データセットで実験を行いました。

• 漏洩: LevAtt は甚大なプライバシー漏洩を実証しました。TabPFN-v2 と LLaMA 3.3-70B において、攻撃は最悪ケースのトップ 20 回の実行で完全なメンバーシップ分類（AUC-ROC $\approx$ 1.0）を達成しました。
• 相関: LevAtt は従来の特徴空間 MIA（DCR、密度推定、MC）とは弱い相関しか示さず、これが固有かつ直交する漏洩シグナルを検出することを確認しました。
• スケーリング: プライバシー漏洩はモデルサイズが大きくなるほど増加し（70B モデルは 7B スケールモデルよりも漏洩が多い）、インコンテキスト例の数が増えるほど減少しました（例が少ないほど記憶化が高まります）。

3.2 SFT モード（教師あり微調整）

CASP、Diabetes、CA-Housing などのデータセットでモデル（LLaMA 3.2、Qwen2.5、Mistral、GPT-2）を微調整し、RealTabFormer や GREAT に対してベンチマークを行いました。

• 漏洩: SFT モデルは ICL に比べて漏洩は低いものの、依然として有意な漏洩を示しました。RealTabFormer はプライバシー意識を謳っているにもかかわらず、最も高い脆弱性を示しました（LevAtt AUC $\approx$ 0.65–0.70）。
• 従来のモデル: 従来の深層学習生成器（CT-GAN、TVAE）はトークン系列を生成しないため、LevAtt に対して免疫でした。
• 要因: 漏洩は生成された合成データの量と、訓練データ内の数字列の長さが増加するにつれて単調に増加しました。
• トレードオフ: プライバシー（LevAtt AUC）と忠実度（MMD、ワッサーシュタイン距離）の間には負の相関が観察されました。統計的忠実度が高いモデルほど、文字列の記憶化を起こしやすい傾向がありました。

3.3 防御評価

• Digit Modifier (DM): LevAtt の AUC を削減することに成功しましたが、データの忠実度を壊滅的に低下させました。ノイズの注入により値が有効分布から外れ、下流タスクに対してデータが使用不能となりました。
• TLP: LevAtt の AUC をほぼランダムレベル（$\approx$ 0.55）まで、TPR を $<0.125$ まで削減することに成功しました。同時に、統計的忠実度（MMD およびワッサーシュタイン距離はバニラ生成と同等）と下流の有用性（XGBoost の性能）を維持しました。
• 差分プライバシー (DP): DP2Stage（DP-SGD）は LevAtt を効果的に無力化しましたが、すべてのモデルの中で最も有用性と忠実度が低下しました。これは、LLM に対する訓練時 DP のプライバシーと有用性のトレードオフが深刻であることを浮き彫りにしました。

4. 主な貢献

1. 文字列記憶化の特定: LLM 基盤の表形式生成器が、特徴空間攻撃には見えない厳密な数値文字列パターンを記憶化することを特定しました。
2. LevAtt 攻撃: 最小限の敵対的仮定のもとで最先端モデルに対して完全な分類を達成する、レーベンシュタイン距離を用いた単純な No-box MIA を導入しました。
3. リスクの実証的証拠: 高忠実度の SFT および ICL モデル（RealTabFormer を含む）がメンバーシップ情報を漏洩させる一方、従来の生成器はそうではないことを実証しました。
4. 効果的な防御（TLP）: ロジットを摂動させることで記憶化を軽減し、プライバシー保護とデータの有用性・忠実度のバランスを成功裡に取ったサンプリング時のメカニズム TLP を提案しました。

5. 意義と主張

著者らは、LLM 基盤の表形式データ生成が、従来の生成モデルとは根本的に異なる新たなプライバシーリスクを導入すると主張しています。この研究の意義は以下の点にあります：

• 攻撃対象領域の再定義: 特徴空間の距離から、自己回帰モデルにとって重要な文字レベルの文字列類似性へと焦点を移すこと。
• プライバシー仮定への挑戦: データ構造が厳格である場合、たとえ「プライバシー意識」を持つ SFT 手法や高忠実度生成器であっても、訓練データを壊滅的に漏洩させる可能性があることを実証すること。
• 実用的な軽減策: 差分プライバシーとは異なり、再訓練を必要とせずデータの有用性を犠牲にしない、展開可能な防御策（TLP）を提供すること。

本論文は、LLM が優れた有用性を提供する一方で、その自己回帰的な性質により、表形式の文脈では「一般化」ではなく「検索」に陥りやすいと結論付けています。著者らは、TLP のような特定の防御策なしに、医療や金融などのプライバシーに敏感な分野で LLM 基盤の合成表形式データを展開することは、再識別の重大なリスクを伴うと強調しています。

指摘された限界:

• LevAtt は一貫した文字列フォーマットに依存しており、フォーマットの違い（例："17.5" と "17.500"）はシグナルを曖昧にする可能性があります。
• 防御策（DM、TLP）は経験的であり、DP のような形式的なプライバシー保証を持っていません。
• 本研究は No-box モデルを前提としており、モデルへのアクセスを有するより強力な攻撃はより効果的である可能性があります。
• この攻撃は、厳密な数値/カテゴリカルなスキーマに比べ、オープンエンドなテキストフィールドに対しては効果が低いです。