現代の世界では、膨大な量の情報がデータベースと呼ばれるデジタル倉庫に保存されています。これらの倉庫に対して質問を行うために、人々はSQLとして知られる特定の言語を使用しており、これが構造化されたデータを取得するための主要なインターフェースとして機能しています。この言語を正しく記述するには、複雑な関係性と論理への深い理解が必要ですが、経験豊富な人間であっても間違いを犯し、誤った答えを導いてしまうことがあります。近年、大規模言語モデル（LLM）として知られる強力なコンピュータシステムが、これらのクエリを自動的に記述するように学習されており、あらゆる人々がデータにアクセスできることを約束しています。しかし、これらのモデルは、一見正しく見えるもののユーザーの真の質問に答えていなかったり、コンピュータをクラッシュさせたり誤解を招く結果を返したりするような、微細なエラーを含んでいたりすることがよくあります。これらの間違いを修正することは困難です。なぜなら、クエリの一部分における小さな変更が、リクエスト全体の意味を完全に変えてしまう可能性があるからです。

中国の人民大学とByteDanceの研究チームは、これらのコンピュータシステムが自らの間違いを修正するのを助ける新しい方法を開発しました。間違ったクエリを一本道の直線的に修正しようとする代わりに、彼らのシステムである「ACTS-SQL」は、コンピュータが一度に複数の可能性を探索できる「分岐する経路」のようにプロセスを扱います。もしコンピュータが道を誤った場合、欠陥のある仮定に固執してしまうのではなく、一歩下がって別のルートを試すことができます。このアプローチは、標準的なベンチマークおよび実世界の産業システムにおいてテストされ、コンピュータが生成する質問の正確性を大幅に向上させました。研究者たちは、システムに一時停止し、作業内容をチェックし、選択肢を再考させることで、従来のメソッドでは解決できなかった問題を解決できることを発見しました。これにより、テクノロジーは日常的な使用においてより信頼性の高いものとなりました。

研究者たちが取り組んだ核心的な問題は、現在のコンピュータシステムがしばしばエラーのループに陥ってしまうことです。モデルが誤ったクエリを生成すると、古い修正メソッドは通常、単一の推論のラインに沿ってステップバイステップで修正を試みます。もしモデルが早い段階で、例えばユーザーが特定の単語によって何を意図したかを誤解した場合、その後のすべての修正はその初期エラーの上に構築されてしまいます。これは、迷路を進む際に前進することしかできない状態でナビゲートするようなものです。もし最初に曲がり角を間違えたら、自分が正しい道を進んでいると信じ込みながら、選択肢がなくなるまで行き止まりの奥深くへと進み続けてしまうことになります。研究者たちは、これらの線形なメソッドは、一度決めた最初の選択を再考することが容易ではないため、脆弱であると観察しました。コンピュータはユーザーのリクエストに対する特定の解釈を一度確定させると、たとえその結果が間違っていることが証明されても、考えを変えることはめったにありません。

これを解決するために、チームは修正プロセスを「木構造」として構成するシステムを設計しました。コンピュータがトップからスタートし、ツールが新しい決定ポイント（例えば、「曖昧さ検出（Detect Ambiguities）」ツールがユーザーのリクエスト内の特定の曖昧なフレーズを特定する場合など）を導入するたびに、それぞれ異なる意味を表す異なる枝へと分かれる意思決定ツリーを想像してください。ある枝はユーザーが「年間の売上」を見たいと考えていると想定し、別の枝は「特定の月」の売上を見たいと考えていると想定します。システムはその後、各枝を独立してテストします。もしある枝がユーザーの意図に一致しない結果を導いた場合、システムはその枝を切り離し、分岐点に戻って別のパスを試すことができます。このバックトラック（後退）して代替案を探索する能力により、コンピュータが単一の誤った考えに固執することを防ぎます。

このシステムは、クエリを修正するための計画を作成する中心的な「脳」を使用して機能します。この計画は単純な手順のリストではなく、潜在的なアクションのマップです。コンピュータは、このマップをナビゲートするために特別なツールを使用します。一つのツールは、ユーザーの質問の中にある曖昧な言葉を見つけ出し、それらを理解するための異なる方法を生成するのを助けます。もう一つのツールは、コンピュータが実際のデータベースに対してクエリの小さな部分を実行し、どのようなデータが返ってくるかを確認することを可能にします。これは、アイデアが機能するかどうかを確認するためのクイックテストのようなものです。もしコンピュータが構文エラー（クエリの文法上の間違い）を見つけた場合、特化したツールがクエリを小さな断片に分解し、全体を最初から書き直すことなく、どこで文法が間違ったのかを正確に特定します。

研究者たちは、様々な種類のエラーを含む困難なSQLクエリの例を多数含む「BIRD-Critic」というベンチマークでシステムをテストしました。彼らは、SQLを修正するために特別に訓練された強力なモデルや、線形かつステップバイステップでエラーを修正しようとする他のシステムを含む、いくつかの他のアプローチと比較しました。結果は、彼らの木構造アプローチが大幅に高精度であることを示しました。ベンチマークにおいて、この新システムは以前の最高の手法と比較して、成功率を9.42パーセントポイント向上させました。この向上は異なる種類のデータベース言語にわたって有効であり、このメソッドが堅牢であり、クエリの記述スタイルに依存しないことを示唆しています。

システムが実世界で機能することを証明するために、研究者たちはByteDanceのプロダクション環境、具体的には「Torch Log Service」と呼ばれるログ分析サービス内にシステムをデプロイしました。この設定では、システムは強力な言語モデルが生成したクエリを、ユーザーに送信される前に修正するために使用されました。結果は驚くべきものでした。実際に正常に実行されたクエリの精度が、36.77%から53.61%へと跳ね上がったのです。これは、複雑でカスタマイズされたデータが存在する実世界のシナリオにおいて、システムが失敗した試みの大部分を成功へと変えられたことを意味します。研究者たちは、この改善が基礎となるコンピュータモデルを新しいデータで再学習させる必要なく行われたことを指摘しており、このソリューションが既存のシステムに統合しやすく、実用的であることを示しています。

また、この研究はバックトラック（後退）ができることの重要性を強調しました。詳細なケーススタディにおいて、研究者たちは、線形なメソッドが「月次売上」に関するクエリの修正に失敗した理由を明らかにしました。それは、ユーザーが「年間売上」を意味しているという考えに固執してしまったためです。線形システムがクエリを微調整しようと何度試みたとしても、その初期の誤った仮定から逃れることはできませんでした。対照的に、木構造のシステムは、その曖昧さを認識し、「年間の売上」というアイデアを試し、それが失敗したことを確認した後、即座にリクエストを「月次データ」として正しく解釈するブランチへと切り替えました。証拠に基づいて方向を変えるこの能力こそが、成功の鍵でした。

新しいシステムはより効果的ではありますが、複数のパスを探索し、より多くのテストを実行するため、実行に多少の時間を要します。研究者たちがクエリの修正にかかる時間を測定したところ、プロセスに数分間の追加が発生しましたが、これは精度の大幅な向上を考えれば妥当なトレードオフであると判断されました。また、彼らはこのシステムが、テストに使用したモデルだけでなく、異なる種類のコンピュータモデルともうまく機能することを発見し、このアプローチが柔軟であり、広く適用可能であることを示しました。

この研究は、データベースクエリの記述のような複雑なタスクにおいては、単純な線形のアプローチよりも、構造化された計画ベースのアプローチが優れていることを証明しています。コンピュータに一時停止し、複数の選択肢を検討し、間違いを犯したときに一歩下がる能力を与えることで、システムはより信頼性の高いものになります。この発見は、データ分析のための人工知能の将来的な改善が、モデル単体を賢くすることよりも、モデルに自身の作業をチェックするためのより優れたツールとプロセスを与えることに依存していくことを示唆しています。研究者たちは、コードとデータを公開しており、他の人々がこのメソッドを活用して、コンピュータと人間のデータの相互作用をさらに向上させられるようにしています。