Hierarchical Synthetic Tabular Data Generation: A Hybrid Top-Down and Bottom-Up Framework

技術的概要：階層的合成表形式データ生成

問題定義
現在の合成表形式データ生成のアプローチは、複雑で企業規模のシナリオに適用される際に重大な限界に直面している。既存の手法は一般的に、純粋な生成モデル（例：CTGAN、TVAE、TabDDPM）と大規模言語モデル（LLM）ベースのアプローチ（例：GReaT、REaLTabFormer）の 2 つのカテゴリーに分類される。

• 生成モデル: 分布の近似には効果的であるが、大量の訓練データを必要とし、異種の特徴量タイプに苦しみ、モード崩壊に陥る傾向がある。その結果、不正検出などの分野で重要な、稀な事象や尾部分布を捉えられないことが頻繁にある。低データ環境では、これらのモデルは過学習を起こし、多様性の低いサンプルを生成する傾向がある。
• LLM ベースの手法: これらはコンテキスト内学習と意味的事前知識を活用するが、属性間の構造的整合性、論理的制約、または機能的依存関係を強制することに失敗することが多い。自己回帰的なトークン生成は、無効または非整合なサンプルをもたらす可能性があり、逐次的な行トークナイズは、異種の数値 - カテゴリカル相互作用のモデリングを弱体化させる。
• 核心的な課題: より深く、しばしば見落とされている問題は、合成データ生成が純粋な生成問題として扱われがちであり、現実の企業データが持つ高度に構造化され、異種で、マルチモーダルな性質を無視している点である。モデル生成データにのみ依存することは、分布の崩壊のリスクをもたらす。これは、合成出力に対する再帰的な訓練が、特に尾部において、基礎となるデータ分布を漸進的に侵食する現象である。

手法：H-TDBU フレームワーク
著者は、**階層的ハイブリッド・トップダウンおよびボトムアップ（H-TDBU）**フレームワークを提案する。このアプローチは、意味的構造を確率的なテクスチャから分離し、生成能力を階層的なルール構築と統合する。フレームワークは、3 つの明確なフェーズを通じて動作する。

1. トップダウン経路（構造）:

   • 目的: データの論理的な骨格と意味的構造を定義する。
   • メカニズム: 構造ルールは、人間の指示または LLM プロンプトを通じて定義される。これにより、抽象的な要因を具体化し、サンプリング可能な属性に分解する構造テンプレート $S$ が作成され、背骨として機能する。
   • LLM の役割: LLM は、構造ルールを表すスキーマ（例：目的変数をセンチメントテキストにマッピングする）を生成する際にのみこの段階で使用される。実際の表形式の行を生成するわけではない。

2. ボトムアップ経路（テクスチャ）:

   • 目的: 実データから局所的な統計的パターンと現実的な「テクスチャ」を学習する。
   • メカニズム: 軽量で低計算コストの表形式生成器（例：ランダムフォレストや XGBoost などのアンサンブル手法、または CTGAN などの生成モデル）が実データ（$D_{real}$）上で訓練される。
   • 出力: これらのモデルは、実データに類似した詳細で複雑なパターンを捉えるが、トップダウン段階で定義された論理的ルールを本質的に満たすとは限らない潜在空間表現（$Z$）を生成する。

3. 合成と調整:

   • 目的: 論理的骨格（$S$）と潜在テクスチャ（$Z$）を統一する。
   • メカニズム: 統合された合成エンジン、$X_{Syn} := G(z \in Z | S)$ と表記されるものは、$S$ の論理的制約と整合する潜在ノイズからデータを生成する。この条件付き生成器は、2 つの経路を調整する。
   • フィードバックループ: システムは反復的なフィードバックループを採用する。合成データ（$D_{syn}$）がクロスモーダル忠実度指標（$X_{Modal}$）に失敗した場合、「モデル再訓練」シグナルがトリガーされる。制約検証に失敗した場合、トップダウン提供者に対して「制約調整」シグナルがトリガーされる。これにより、論理的整合性が確保され、モデルのドリフトが防止される。

主要な貢献

• 構造とテクスチャの分離: 本論文は、意味的・論理的ルールの定義と、統計的テクスチャの生成を分離するフレームワークを導入し、単一の生成モデルの限界に対処する。
• ハイブリッドアーキテクチャ: LLM を直接データ生成ではなく、ルール定義のみに厳格に使用し、ランダムフォレストや XGBoost などの軽量エージェントの生成能力と LLM の構造的推論を有機的に統合する。
• 反復的フィードバック機構: クロスモーダル指標と論理的制約を検証する調整ループの導入により、トップダウンルールとボトムアップモデルの両方を動的に洗練させることを可能にする。
• 弱マルチモーダルベンチマーク: 著者は、表形式データとセンチメントテキストデータを組み合わせた弱マルチモーダル金融ベンチマーク上でフレームワークを評価した。これは、既存の手法が整合性と一貫性の面で苦戦するシナリオである。

実験結果
フレームワークは、4 つのベンチマークで評価された。2 つの弱マルチモーダルベンチマーク（手動指定および Gemini 生成）と、2 つの表形式のみのベンチマーク（Adult Income および German Credit）である。

• 下流タスクの有用性（TSTR）: 手動で指定された弱マルチモーダルベンチマークにおいて、木ベースの条件付き手法（ランダムフォレストおよび XGBoost）は、ニューラルベースライン（CTGAN、TVAE）を上回った。例えば、ランダムフォレストは AUROC 0.9188、F1 0.6122 を達成したのに対し、TVAE は AUROC 0.8827、F1 0.5581 だった。
• 厳密な整合性（Gemini ベンチマーク）: 厳格な整合性を強制する LLM 生成ルール提供者（目的変数 1 はポジティブなテキストのみに整合）を使用した場合、条件付き生成器は著しい改善を示した。ランダムフォレストはほぼ完璧な指標（AUROC 0.9998、F1 0.9878）を達成し、ニューラルベースラインも改善したが、わずかに低い値にとどまった。
• クロスモーダル忠実度: 下流タスクの有用性とクロスモーダル忠実度（$X_{Modal}$）の間にはトレードオフが観察された。ランダムフォレストは有用性において優れていたが、ガウスコピュラや TVAE は、より低い $X_{Modal}$ 値（テキストと表形式の目的変数の分布的整合性の向上）を達成することがあった。
• アブレーション研究: 結果は、性能が条件付き列の数とトップダウンルールの厳格さの相互作用によって駆動されていることを示した。Gemini 生成ルール（より厳格）は、より少ない条件付き列から恩恵を受け、手動ルール（より許容的）は、より豊かな条件付けコンテキストから恩恵を受けた。

意義と主張
本論文は、階層的ルールガイド合成が、合成データ生成における制御性、意味的一貫性、および統計的忠実度のバランスを取るための効果的なメカニズムを提供すると主張している。

著者は、自らのアプローチが、すべてのデータポイントに対して高価で再帰的な LLM 生成に依存しないことを強調している。代わりに、LLM を「カバレッジ空間」のトップダウン構築のみに使用し、ボトムアップ生成には安価なエージェントモデルを採用することで、フレームワークは高い現実性と論理的整合性を達成する。結果は、このハイブリッドアプローチが、純粋な生成モデルが稀な事象や論理的依存関係を捉えられず、純粋な LLM 生成が構造的厳密さを欠く、低データ環境および複雑なマルチモーダルシナリオにおいて特に効果的であることを示唆している。このフレームワークは、ある生成器タイプの普遍的な優位性として提示されるのではなく、データセットの特定の構造に適応するワークフローを備えた、柔軟なベンチマークフレームワークとして提示されている。