Constraint-Aware Synthetic Tabular Data Generation via Inter-Column Constraint Discovery with LLM Agents

デジタル時代において、膨大な量の情報がスプレッドシートの中に閉じ込められています。そこには、フライトのスケジュールから、クレジットカードの申請、バスケットボールの統計、さらには病歴に至るまで、あらゆるものが記録されています。現実のデータが不足していたり、機密性が高かったり、共有が困難であったりする場合、研究者やエンジニアは合成データに目を向けます。これは、現実世界の統計的パターンを模倣した、コンピュータによって生成された記録です。これらの人工的なデータセットにより、チームはプライバシーを危険にさらしたり、機密の詳細をさらしたりすることなく、ソフトウェアの構築やテスト、人工知能の学習、そしてシナリオの探索を行うことができます。しかし、この分野には長年、ある重大な問題がつきまとってきました。コンピュータはデータの全体的な形状をコピーすることには長けていますが――平均年齢や所得の分布が正しく見えるようにすることなど――、列同士を結びつける深い論理的ルールを理解することにはしばしば失敗するのです。コンピュータは、注文される前にパッケージが配送されるような注文データや、総コストが価格に数量を掛けたものと一致しない金融記録を生成してしまうことがあります。これらのエラーは「構造的違反」と呼ばれ、表面上は本物のように見えても、単純な論理チェックによって破綻してしまい、真剣な分析や意思決定には使い物にならないものにしてしまいます。

ある研究チームは、この欠陥を修正するための新しい手法を開発しました。それは、人工知能にデータセットの背後に隠された論理的ルールを発見させ、強制させるシステムです。データ生成器に対して最初から厳格なルールに従うよう強いる（それはデータの歪みを招いたり、複雑な再学習を必要としたりします）のではなく、彼らのアプローチは洗練された後処理ステップとして機能します。このシステムはまず、大規模言語モデル（膨大なテキスト量で学習された高度なAIツール）を使用して、データセットの説明とサンプルレコードを読み取ります。これらのモデルは、好奇心旺盛な監査役として機能し、異なる列がどのように関連すべきかについての仮説を提案します。例えば、「配送日は必ず注文日よりも後でなければならない」とか、「特定の製品タイプは特定の配送方法でのみ出荷可能である」といったことを示唆するのです。

このイノベーションの鍵は、それらの提案をどのようにテストし、洗練させるかにあります。AIの推測を盲目的に受け入れるのではなく、システムは各アイデアを、元のデータのすべての行に対してチェック可能な、厳格で機械読み取り可能な指示へと変換します。もし提案されたルールがたとえ数回であっても失敗した場合、システムは即座にそれを破棄することはありません。代わりに、AIにそのルールが破れた具体的な例を見せることで、モデルが仮説を修正できるようにします。この「提案、テスト、修正」のサイクルは、システムがデータセット全体に対して真となる一連のルールに落ち着くまで繰り返されます。研究者たちは、3つの主要な関係性に焦点を当てました。すなわち、一つの数値が他の数値の正確な結果となる「方程式」、一つの値が他よりも大きくなければならない、あるいは小さくなければならないという「不等式」、そして一つの項目のカテゴリが他のカテゴリの許容範囲を決定するという「論理的依存関係」です。

ルールが発見され検証されると、システムはそれらを標準的なツールによって生成された合成データに適用します。システムはコーディネーターとして機能し、一つの間違いを修正することが別の間違いを生み出さないように、特定の順序でエラーを修正します。例えば、ある合計値が2つの部分の和である必要がある場合、システムはまず部分に基づいて合計を修正し、その後に部分を広範な制限内に収まるように調整します。この注意深いシーケンシング（順序付け）により、最終的なデータセットは発見されたすべての法則を同時に遵守することになります。実験において、研究者たちはフライト記録から鉄鋼業界のエネルギー消費に至るまで、7つの異なる公開データセットに対し、4種類の異なるデータ生成器を用いてこのワークフローをテストしました。修正前、合成データには数百の違反が含まれており、中には生成されたレコードのほぼすべてが少なくとも一つのルールに違反しているデータセットもありました。システムが修正を適用した後、強制可能なすべてのルールにおいて、違反数はゼロに減少しました。

極めて重要なのは、この厳格なクリーニングがデータの有用性を損なわなかったことです。研究者たちは、クレジットリスクやフライトの遅延を予測するモデルの学習といった、現実世界のタスクにおいて、このクリーニングされたデータがどの程度うまく機能するかを測定しました。ほとんどの場合、データの有用性は実際に向上しており、最悪の場合でもパフォーマンスの低下は無視できる程度でした。また、システムは個々のデータの特性を保持し、各列における値の分布がオリジナルに対して忠実であることを保証しました。この研究は、論理的ルールを孤立したチェックとしてではなく、相互作用する制約のシステムとして扱うことで、統計的に似ているだけでなく、構造的にも健全な合成データを生成することが可能であることを示しています。このアプローチは、信頼できる合成データを作成するための実用的な道筋を提供しており、私たちの未来のシステムを訓練するために使用される人工的な記録が、論理的な真実という基盤の上に築かれることを保証するものです。