Generate in the Chart, Not on the Boundary: Function-Symbol Grounding for Hard Constraints in LTN-GANs

人工知能の世界において、機械は現実世界のパターンを模倣することにおいて驚くほど巧みになっています。彼らは、もっともらしく見える偽の顔写真を作成したり、もっともらしいニュース記事を捏造したり、あるいは飛行スケジュールや化学反応の合成記録を作り出したりすることができます。これらのツールは、理論をテストしたり他のシステムを訓練したりするためにさらなるデータを必要とする科学者やエンジニアにとって非常に貴重です。特に、現実のデータが不足している場合や、共有するには機密性が高すぎる場合に重要です。しかし、そこには落とし穴があります。機械が現実のものと統計的に類似したものを作り出したとしても、それが現実を支配する根本的な規則に従っているとは限らないのです。合成された飛行記録には、離陸前に到着する飛行機が記録されているかもしれませんし、生成された化学分子は不可能なエネルギーバランスを持っているかもしれません。これらのエラーは、現実のデータが遵守している物理学や論理の厳格な法則に違反しています。研究者たちの課題は、単にリアルに見えるだけでなく、これらの壊れることのない規則を厳格に遵守し、信憑性があり論理的に妥当なデータを生み出すジェネレーターを構築することです。

長年、これらの論理的エラーを修正するための標準的なアプローチは、それらを「ソフトな示唆」として扱うことでした。この手法では、コンピュータがルールを破るたびにペナルティを与え、時間をかけて改善を促します。これは効果はあるものの、完璧を保証するものではありません。機械は、見た目の良さを追求するために、ルール違反をわずかなトレードオフとして受け入れてしまうことがあるからです。より最近の、より厳格な手法には「制約レイヤー」が含まれます。これは生成プロセスの最後に位置する機械的なゲートです。もし機械がルールを破るサンプルを生成した場合、このゲートは数値を、サンプルが有効になる程度にだけ物理的に強制変更します。これはセーフティネットのように機能し、すべての出力が技術的に正しいことを保証します。しかし、エディンバラ大学のニジェシュ・ウプレティとヴァイシャック・ベレの研究者は、このセーフティネットに隠れた欠陥があることを発見しました。彼らは、ゲートがサンプルの妥当性を保証する一方で、データのリアリティを生み出す微妙で自然な変化をしばしば破壊してしまうことを突き止めたのです。

問題は、これらのルールがどのように適用されるかにあります。多くの科学的ルールは、「温度はゼロより大きくなければならない」や「降車時間は乗車時より後でなければならない」といった不等式です。現実の世界では、これらの「隙間」は単なるゼロや一ではありません。それらには自然な広がりがあります。飛行機は数分の遅延が発生するかもしれませんし、化学反応には小さなエネルギーバッファが存在するかもしれません。標準的なセーフティゲートが違反を修正する場合、それはサンプルを許容ゾーンの端へと押し込み、その隙間を正確にゼロにしてしまいます。これは、少しでも間違っていたすべてのサンプルに対して行われます。その結果、すべてのエントリーが有効ではあるものの、それらの隙間の自然な分布が失われたデータセットが出来上がります。データはチェックリスト上では完璧に見えますが、現実世界を定義する微妙な変化が一点に押しつぶされてしまうため、平坦で人工的なものに感じられます。ウプレティとベレはこれを「マージン分布の崩壊」と呼び、標準的なテストではこれを見逃してしまうほど静かに発生することを明らかにしました。これにより、研究者は見た目は良いが、根本的に歪んだデータを手にすることになります。

これを解決するために、研究者たちは機械がサンプルを構築する方法についての新しい考え方を開発しました。サンプルを生成してからルールを破っていないかチェックするのではなく、設計図そのものを変えたのです。彼らは「関数記号グラウンディング（function-symbol grounding）」と呼ばれる手法を導入しました。これは、許容ゾーン内部の座標系のように機能します。イメージとしては、機械はもはや標的を狙ってから修正を行うのではなく、安全な領域全体の地図を描き、その中から直接ある地点を選び出すようなものです。機械は自由で制約のない数値を生成し、次に特定の数学的関数が、その数値を必ず有効な値へと変換します。この変換は、ベースとなる値に小さな正の量を加えることによって行われ、ルールが構造的に満たされるようにします。機械は内側から外側へとサンプルを構築しているため、強制されたりクランプ（固定）されたりする必要がありません。数値間の「マージン」である自然な変化は、他の特徴と同様に維持され、学習されます。

チームは、化学、分子特性、タクシーの走行記録を含む4つの複雑で高解像度なデータセットを用いて、このアプローチをテストしました。あらゆるケースにおいて、従来のクランプ法は100パーセント有効なデータを作成しましたが、値の間の隙間の分布を歪めてしまいました。しかし、新手法は同様に100パーセント有効なデータを生成しながら、それらの隙間の自然な広がりを完璧に保持しました。その差は歴然としていました。新手法は、これらの隙間の分布におけるエラーを、旧手法と比較して最大25倍減少させました。また、研究者たちは、トレーニングを開始する前に、旧手法が失敗するかどうかを予測できることも発見しました。彼らは、データのサイズとルールの隙間のサイズの比率に基づいた単純な比率を計算しました。この比率が大きい場合、つまり隙みがデータに対して極めて小さい場合、旧手法は常に分布を崩壊させました。新手法はこの比率に関わらず機能し、こうした種類の制約に対する普遍的な解決策として機能します。

この研究は、実用的な懸念にも対処しました。すなわち、隙間が滑らかな曲線ではなく単一の点となる、整数や離散的なカテゴリを含むルールについてはどうなるのかという点です。研究者たちは、新しい手法は滑らかで連続的なルールに最適であり、一方で従来のクランプ法は、これらの離散的なケースにおいては実際に優れていることを発見しました。両方の利点を組み合わせるために、彼らはハイブリッドシステムを作成しました。トレーニングを開始する前に、システムは各ルールを分析し、それが滑らかか離散的かを確認し、最適なツールを自動的に選択します。滑らかなルールには新しい「内側からの構築」手法を用い、離散的なルールには旧来のクランプ法を用います。既存の最高のベンチマークと比較した際、このハイブリッドシステムは、すべてのデータセットにおいて標準的なクランプ法の性能に匹敵するかそれを上回り、旧手法が失敗した困難な高解像度ケースにおいて、旧手法を大幅に凌駕しました。

この研究は、制約付きデータの生成に関する私たちの考え方を変えるものです。単にデータを有効にするだけでは不十分であり、データはその変化においてもリアルである必要があります。エラーが発生した後に修正するシステムから、データの構造自体に妥当性を組み込むシステムへと移行することで、研究者たちは、単に安全であるだけでなく、それが表現しようとしている複雑で微細な現実に忠実な合成データを生成する方法を作り上げました。この知見は、新しい分子の設計から物流計画に至るまで、値の間の微妙な違いが重要となるあらゆるアプリケーションにおいて、ルールを機械のアーキテクチャにいかに組み込むか（グラウンディングするか）が、ルールそのものと同じくらい重要であることを示唆しています。