技術概要：LLM-TabLogic

問題定義

合成表形式データは、サプライチェーン分析やデジタルツインシミュレーションなどの産業応用におけるデータ不足やプライバシー懸念に対処するために、ますます重要視されています。しかし、既存の生成モデルは重大な限界に直面しています。すなわち、大域的な統計的性質（例えば、周辺分布やペアワイズ相関）を保持することは多いものの、ドメイン固有の列間論理的関係を維持できないことが頻繁に発生します。

複雑な実世界システムにおいて、列は厳格な制約を通じて相互依存しています。例えば：

• 時間的制約： 納品日は注文日の後に発生しなければならない。
• 数学的制約： 総売上価格は単価に数量を乗じた値と等しくなければならない。
• 階層的制約： 特定の都市は対応する国に属さなければならない。

現在の手法、すなわち補間ベースの手法（SMOTE）、生成敵対ネットワーク（CTGAN）、拡散モデル（TabDDPM、TabSyn）、および大規模言語モデル（LLM）アプローチ（GReaT）は、これらの複雑で行固有の依存関係を明示的に保持することに苦慮しています。この失敗により、統計的忠実度が潜在的に高い場合でも、シミュレーションや意思決定における実世界での有用性を欠く合成データが生成されてしまいます。

手法：LLM-TabLogic

著者は、列間論理的関係に厳密に従う合成表形式データを生成するために、LLM の推論とスコアベースの潜在拡散を統合する新しいフレームワークLLM-TabLogicを提案します。このアプローチは、4 つの段階からなるパイプラインを通じて動作します。

1. シリアライズとプロンプト誘導型推論

プロセスは、列名とそのメタデータ記述を自然言語にシリアライズすることから始まります。これらのシリアライズされた入力に、一般的なプロンプトとタスク固有の指示を組み合わせて、LLM（GPT-4 や DeepSeek など）に入力します。LLM は論理的推論を実行し、複雑な列間関係を構造化された表現に推論・圧縮します。出力は 3 つの依存関係タイプに分類されます。

• 階層的整合性（$R_H$）： 詳細属性と集計属性間のマッピング（例：都市 $\to$ 国）。
• 数学的依存関係（$R_M$）： 独立変数と導出変数間のマッピング（例：価格 $\times$ 数量 $\to$ 合計）。
• 時間的依存関係（$R_T$）： 列の順序付けられたシーケンス（例：注文日 $\to$ 納品日）。

2. 表形式データの圧縮

生成モデルに確率的シグナルを提供しない厳格で決定論的なルールを学習させるのではなく、このフレームワークは LLM によって導き出された関係を用いてデータを圧縮します。

• 決定論的変数（例えば、導出列）は削除するか、その生成関数に置き換えます。
• 残りの「独立」変数が圧縮されたデータセット（$X_c$）を形成します。
• このステップは、論理的制約を確率的生成プロセスから効果的に分離し、生成モデルが独立変数の基礎となる分布の学習に集中できるようにします。

3. 潜在空間生成

圧縮されたデータ $X_c$ は、トランスフォーマーベースの変分オートエンコーダ（VAE）を用いてトークン化され、潜在空間にエンコードされます。その後、これらの潜在埋め込み（$H_0$）に対してスコアベースの拡散モデルが訓練されます。

• フォワードプロセス： 潜在埋め込みに対してガウスノイズが段階的に追加されます。
• リバースプロセス： ニューラルネットワークがスコア関数（$\nabla \log p(H_t)$）を学習し、データを反復的にノイズ除去して、元の潜在分布を復元します。
• 学習された分布から合成潜在埋め込み（$H'$）がサンプリングされます。

4. 合成データの解凍

生成された潜在埋め込みは、圧縮されたデータ空間（$X'_c$）にデコードされます。最後に、解凍関数（$f_{decom}$）は、以前に抽出された論理的関係（$R_H, R_M, R_T$）を利用して、完全なデータセット（$X'$）を再構築します。このステップでは、導出変数が再導入され、階層的および時間的制約が強制され、最終的な合成データが元のスキーマと論理的に整合していることが保証されます。

主要な貢献

1. 新しいフレームワーク： 本論文は、関係推論のために LLM を活用することで、手動のドメイン知識を必要とせずに、合成表形式データ生成において複雑な列間関係を明示的に保持する最初の手法を提案します。
2. 評価フレームワーク： 著者は、精度、多様性、有用性、プライバシー、整合性、依存関係の 6 つの次元にわたる合成データを評価する包括的な評価フレームワークを提案します。これにより、ML 有用性などの従来の指標を超えて、論理的整合性が含まれるようになります。
3. ハイブリッドアーキテクチャ： このアプローチは、関係抽出のための LLM の意味的推論能力と、データ生成のためのスコアベース拡散モデルの高忠実度分布モデリングを独自に組み合わせています。

実験結果

この手法は、2 つの実世界産業データセット（小売および購買）で評価され、SMOTE、CTGAN、TabDDPM、TabSyn、GReaT の 5 つのベースラインと比較されました。

• 論理的整合性： LLM-TabLogic は、**階層的整合性スコア（HCS）および多変量依存性指数（MDI）**でほぼ完璧なスコア（約 99.9% - 100%）を達成し、すべてのベースラインを大幅に上回りました。GReaT は論理的保持において強力な性能を示しましたが、他の指標では苦戦しました。潜在空間ベースのモデル（CTGAN、TabDDPM）は論理的整合性において性能が低かったです。
• データ忠実度： この手法は、$\alpha$-精度（高次統計量）およびペアワイズ相関において最先端の性能を達成し、TabSyn や SMOTE の性能に匹敵するか、それを超えました。
• 有用性： 下流の機械学習タスク（XGBoost による分類）において、LLM-TabLogic は小売データセットで最高、購買データセットで 2 番目に高い AUC スコアを達成し、論理的整合性が予測有用性の向上につながることを示しました。
• プライバシー： この手法は、データ忠実度とプライバシー（最接近レコードまでの距離 DCR によって測定）の間の最適なバランスを達成しました。高い忠実度だがプライバシーが低い SMOTE や、高いプライバシーだが有用性が低い TabDDPM とは異なり、LLM-TabLogic は高い有用性を維持しながら強力なプライバシー保護を確保しました。

意義と主張

本論文は、LLM-TabLogicが既存の手法が実世界の産業シナリオでの適用性を制限してきた「論理的整合性」のギャップを解決することで、合成表形式データ生成における新たなベンチマークを設定すると主張しています。

• 史上初： 著者は、明示的なドメイン知識を必要とせず、代わりに LLM 推論に依存して列間関係を効果的に保持する最初の手法であると主張しています。
• 産業応用性： 合成データが実世界の制約（例：サプライチェーン物流、財務計算）に準拠することを保証することで、論理的なエラーが合成データを無効にしてしまうデジタルツイン、エージェントベースシミュレーション、意思決定システムにおける信頼性の高い利用を可能にします。
• バランスの取れたトレードオフ： このアプローチは、データ忠実度、有用性、プライバシーの間の従来のトレードオフを成功裡に克服し、機微な産業分野におけるプライバシー保護付きデータ共有のための堅牢なソリューションを提供します。

著者は限界を認め、この手法の性能は列記述の解釈能力に依存しており（曖昧または省略された名前では失敗する可能性があること）、現在の評価はサプライチェーンおよび医療データセットに限定されていることを指摘しています。今後の研究は、表間関係やより多様な産業分野への拡張を目指しています。