Bounded Semantic Planning and Deterministic Compilation for Reliable Enterprise Text-to-SQL

現代のビジネス界において、データはしばしば、広大で複雑なデジタル倉庫の中に閉じ込められています。「昨年、エージェント2はいくつの保険契約を販売しましたか？」といった単純な質問をするだけで、会社がどのように運営されているかを定義するテーブル、リレーションシップ、そしてルールの迷宮を通り抜けなければなりません。長年、研究者たちは、自然言語による質問を、データを抽出するために必要な特定のコードへと直接翻訳するようにコンピュータに教えようとしてきました。これが「テキスト・トゥ・SQL（Text-to-SQL）」の約束です。つまり、人間の意図を理解し、データを取得するための正しい指示を書き上げる機械です。しかし、重大な問題が依然として残っています。コンピュータが自らこれらの指示を書くとき、実行は完璧にできるものの、間違った答えを返してしまうことがよくあるのです。情報のつなぎ合わせ方を間違えたり、カウントの方法を誤ったりすることで、一見もっともらしく見えるものの、根本的には欠陥のある結果を生み出してしまうことがあります。これは、誤った数字が誤ったビジネス上の意思決定につながる可能性があるエンタープライズ環境においては、非常に危険なことです。

新しい研究は、この信頼性の問題を解決するための異なるアプローチを探求しています。AIにコードのすべてを一から書かせるのではなく、AIが「ビルダー（構築者）」ではなく「ガイド（案内役）」として機能するシステムを構築したのです。AIの役割は、質問を理解し、承認済みの有効なパスとリレーションシップのリストから選択することに限定されます。AIがその選択を行った後は、別の厳格なコンピュータプログラムが主導権を握ります。このプログラムは、選択内容を最終的なコードへと翻訳し、接続が正しく行われ、カウントのルールが正確に守られることを保証します。研究者たちは、この手法を従来の「すべてを書かせる」アプローチと比較するために、複雑な保険データセットを用いました。その結果、ガイド型のシステムははるかに信頼性が高く、ほぼ毎回正しい答えを導き出す一方で、従来のシステムは、コード自体は実行できるものの、誤った結果を頻繁に生成することがわかりました。

この研究の核心は、不確実性をどこに配置するかを変えることにあります。標準的なシステムでは、AIモデルがすべての決定を下さなければなりません。どのテーブルを結合し、どのようにリンクさせ、どのように数値を集計するかです。これらのモデルは確率に基づいてテキストを生成するため、技術的には可能であっても、意味論的に誤ったパスを選択してしまうことがあります。著者が「セマンティック・パス・コンパイル（Semantic Path Compilation）」と呼ぶ新しいシステムは、明確な境界線を引いています。AIは、質問内の言葉を特定のビジネス概念に結びつけ、人間が作成したデータマップによって提供される有限の選択肢の中から選ぶことが許されています。AIが新しい接続を発明したり、コードの断片を書き込んだりすることはできません。AIが選択を行うと、決定論的なエンジンがハンドルを握ります。このエンジンは、AIの選択を最終的なデータベースクエリに変換するために、固定されたルールに従うソフトウェアです。このエンジンはエラーをチェックし、ロジックが成立していることを確認し、すべてのチェックを通過した場合にのみコードをリリースします。もしAIの選択が不明瞭であったり、ルールに違反していたりする場合、システムは推測して答えるのではなく、回答を拒否します。

これをテストするために、研究者たちは保険会社のデータに基づいたベンチマークを使用しました。これには、人物が果たしうる様々な役割（保険契約者、エージェント、アンダーライターなど）や、それらの役割が保険契約や請求とどのように結びついているかといった、多くの複雑な関係が含まれています。彼らは同じ38個の質問に対して、2つの異なるシステムを実行しました。最初のシステムは、AIがデータベース構造から直接コードを生成する従来の形式です。2番目のシステムは、新しいガイド型の形式です。結果の整合性を確認するために、各質問を3回ずつ実行しました。従来のシステムが3回の実行すべてで正しい答えを出せたのは、38問中わずか21問でした。対照的に、ガイド型システムは38問中37問で成功しました。さらに重要なことに、従来のシステムは、コードは正常に実行されたものの答えが間違っていたケースが29件ありました。ガイド型システムでは、そのようなエラーはゼロでした。失敗した場合、システムは誤解を招く数字を提供するのではなく、単に回答を拒否しました。

また、研究では、隠れたエラーを露呈させるためにデータをわずかに変更した場合に何が起こるかも調査されました。保険データセットの中には、特定の詳細レベルで項目をカウントする必要がある質問があります。コンピュータがテーブルを誤って結合すると、数字が意図せず倍増し、結果が膨れ上がってしまうことがあります。研究者たちは、これらの乗算エラーが明白になるような「反事実的（counterfactual）」なバージョンのデータベースを作成しました。その結果、従来のシステムはこれらのエラーを検知できず、元のデータでは正しく見えるものの、修正されたデータでは誤った、膨張した数字を返してしまうことが頻繁にあることが判明しました。ガイド型のシステムは、セマンティック・マップの厳格なルールに従うよう強制されているため、これらの罠を回避しました。データが操作されても、一貫して正しいカウントを生成したのです。

研究者たちは、成功の要因は新しいソフトウェアエンジン単体によるものではなく、システム全体が連携した結果であることを注意深く指摘しています。ガイド型システムは、従来のシステムが持っていなかった、詳細かつ人間によって記述されたビジネスルールのマップにアクセスしていました。これは、改善が「より優れた知識」と「より慎重なプロセス」の組み合わせによってもたらされたことを意味します。この研究は、この新しい手法があらゆる質問に対して機能することや、すべての不確実性を取り除くことを主張しているわけではありません。AIは依然として最初の選択を行う必要があり、もしビジネスルールがマップ内に適切に定義されていなければ、システムは回答を拒否します。しかし、この保険ドメインに見られるような、特定の複雑でルール重視の質問に対しては、ガイド付きAIと厳格なコンパイラの組み合わせが、信頼性を確保するための強力な手段となることが証明されました。

これらの知見は、将来的にこのようなツールをどのように構築すべきかという方向性を示唆しています。大規模言語モデルが複雑なロジックを毎回正しく行うことを期待するのではなく、モデルを「安全な選択」を行うように制約し、その実行には決定論的なソフトウェアを使用するシステムを構築することができるのです。このアプローチは、柔軟性を多少犠牲にする代わりに、極めて高い信頼性を獲得します。データが重要なビジネス上の意思決定を左右する世界において、「答えは分かりません」と言える能力は、「間違った答えを提示する」ことよりも大きな強みとなります。本研究は、論理と接続の重労働を確率的なモデルからルールベースのエンジンへと移すことで、以前は到達が困難であったレベルの一貫性を達成できることを示しています。その結果、単に賢いだけでなく、信頼できるシステムが実現するのです。