技術概要：LEAF-SQL

問題定義

テキストから SQL への翻訳は、自然言語の質問を実行可能な SQL クエリに変換し、非専門家がデータベースにアクセスできるようにすることを目的としています。大規模言語モデル（LLM）は、プロンプトを通じて Spider や BIRD などのベンチマークで最先端の性能を達成していますが、深くネストされたロジックや複数の句を含む複雑なクエリには苦労しています。

既存のアプローチは、タスクを「テキストからスケルトンへ」と「スケルトンから SQL へ」のステップに分解するために、SQL スケルトン（クエリロジックの中間表現）を頻繁に利用します。しかし、現在のスケルトンベースの手法には 2 つの重要な限界があります：

1. 代替構造の探索の限界：ほとんどの手法は、「すべてか無か」の戦略で単一のスケルトンの予測にコミットします。この単一の構造仮説に欠陥がある場合、修正の機会なく生成プロセス全体が失敗します。
2. 単純な推論メカニズム：現在の手法は、通常、単一のステップで詳細な微細なスケルトンの生成を試みます。これにより、モデルはすべての構造的複雑さを同時に解決することを強要され、高レベルの計画から始めて詳細を漸進的に洗練させるメカニズムが欠如しています。

手法：LEAF-SQL

著者は、テキストから SQL へのスケルトン予測のためのLEAF-SQL（Level-wise Exploration with Adaptive Fine-graining for Text-to-SQL Skeleton Prediction）を提案します。これは、スケルトン予測を粗粒度から微細粒度への木探索プロセスとして再定義するフレームワークです。単一ステップの予測の代わりに、LEAF-SQL は多様な構造仮説を体系的に探索し、適切な詳細レベルを適応的に決定します。

このフレームワークは、3 つの主要モジュールで構成されます：

1. レベル別スケルトン探索（LWSS）

このモジュールは、スケルトン予測を構造化された木空間内での探索問題として形式化し、3 つのフェーズを経て進行します：

• 3 段階のスケルトン階層：探索を導くために、著者はクエリの抽象構文木（AST）から派生した階層を定義します：
  • ベースレベル：SELECT、FROM、WHERE などのトップレベルの句ノードを含み、基本的な論理構造を捉えます。
  • 拡張レベル：WHERE 内のサブクエリなどのネストされた構造を取り込み、複雑な関係性を明らかにします。
  • 詳細レベル：プレースホルダーの詳細と明示的なテーブル結合条件を指定し、最終的な SQL 構造を反映します。
• スケルトン定式化エージェント（SkeFor）：新しい分枝を生成する責任を持つ LLM ベースのエージェントです。親ノードから多様でより詳細なスケルトン候補を提案します。その戦略は適応的です：
  • ベースフェーズ：多様な基盤となるスケルトンを生成します。
  • 拡張フェーズ：次のネストレベルを反復的に探索します。
  • 詳細フェーズ：プレースホルダーの詳細と結合条件を指定します。
• スケルトン評価エージェント（SkeEva）：品質の門番として機能する特殊な微調整済み小規模言語モデルです。質問とデータベーススキーマとの意味的整合性に対して候補スケルトンを評価します。低品質または誤った分枝を剪定して組み合わせ爆発を防ぎ、有望な経路への探索を導きます。

探索は、ノードが「詳細」粒度に達するか、有効なノードのすべての潜在的な子ノードが剪定されたときに終了します。出力は、構造的に多様で粒度適応的なスケルトン候補のセットです。

2. SQL 生成

スケルトン候補のセット（$S$）が与えられた場合、このモジュールはゼロショットプロンプトを用いた LLM を使用して、各スケルトンを特定のデータベーススキーマ要素（テーブル、カラム）で埋め込み、実行可能な SQL クエリのセット（$Y$）を生成します。スケルトンは、LLM の出力を制約する構造的ガイドとして機能します。

3. 結果選択

最終的な答えを決定するために、フレームワークはすべての有効な SQL 候補を実行します。エラーが発生するか空のセットになるクエリは破棄されます。残りのクエリは、その実行結果によってグループ化されます。最も多くのクエリを含むグループが、最も可能性の高い正しい答えとして選択されます。同点の場合、LLM が仲裁者として機能し、最良の結果を選択します。

主要な貢献

1. 新規フレームワーク：スケルトン予測を粗粒度から微細粒度への木探索として再定義する LEAF-SQL の提案。これにより、多様な構造仮説の体系的な探索と適応的な粒度調整が可能になります。
2. 技術的コンポーネント：3 段階のスケルトン階層の設計、多様な分枝を生成するためのスケルトン定式化エージェント、およびインテリジェントな剪定を行うためのスケルトン評価エージェントの設計。
3. 実証的検証：複数のベンチマークにおいて、さまざまな LLM バックボーンで一貫した性能向上を示す包括的な実験。

実験結果

著者は、LEAF-SQL を Spider、BIRD、SYN、REALISTIC、DK の 5 つのベンチマークで評価しました。

• BIRD ベンチマーク（隠しテストセット）：LEAF-SQL は GPT-4o を使用して実行精度（EX）**71.6%**を達成し、最先端の探索ベース（Alpha-SQL）およびスケルトンベースの手法を上回りました。これは以前の最先端技術に対する大幅な改善を表しています。
• BIRD 開発セット：Gemini-2.5-Pro を使用して**73.5%**の EX を達成しました。
• Spider 開発セット：Gemini-2.5-Pro を使用して**89.7%**の EX を達成しました。
• 複雑なクエリ：この手法は、挑戦的なクエリにおいて特に強力な性能を示しました。BIRD-Challenging サブセットにおいて、Gemini-2.5-Pro を使用した LEAF-SQL は 64.1% の EX に達し、MCTS-SQL を 7.3 ポイント上回りました。
• 堅牢性：SYN、REALISTIC、DK の堅牢性ベンチマークにおいて、LEAF-SQL はベースラインを一貫して上回り、GPT-4o を使用して平均精度 79.2% を達成しました。

アブレーション研究は、各コンポーネントの必要性を確認しました：

• 多様性の除去（単一パス探索）により 4.7 ポイントの低下が発生しました。
• 剪定の除去（ブルートフォース展開）により 2.8 ポイントの低下が発生しました。
• ボーティングのランダム選択への置き換えにより 3.1 ポイントの低下が発生しました。

効率性：探索のオーバーヘッドにもかかわらず、非同期ストリーミングとデモンストレーション剪定により、エンドツーエンドのレイテンシは約 12 秒に抑えられており、実用的に競争力があります。

意義と主張

本論文は、LEAF-SQL が漸進的かつ探索ベースのパラダイムを導入することで、単一仮説スケルトン予測の脆弱性に対処していると主張しています。タスクをレベル（ベース、拡張、詳細）に分解し、中間ステップを検証することで、このフレームワークは微細なスケルトンの高い潜在能力と粗粒度のスケルトンの信頼性のバランスを取ります。

著者は、以下の点により、このアプローチがテキストから SQL への生成のためのより強力な基盤を提供することを強調しています：

1. 単一の推測にコミットするのではなく、複数の有効な論理構造を探索すること。
2. タスクの複雑さに基づいてスケルトンの粒度を動的に適応させること（例えば、微細な予測がリスクとなる難しいクエリでは、より粗いスケルトンにフォールバックすること）。
3. 挑戦的な BIRD ベンチマークで新たな最先端の結果を達成し、複雑なクエリに対する木探索ベースのスケルトン予測の有効性を確認すること。

著者は限界を認め、このフレームワークは現在、複数の LLM 相互作用により単一パス手法よりも高いレイテンシを伴うため、厳密なリアルタイムアプリケーションにはあまり適していないこと、および大規模な企業スキーマにおける安定性はさらなる検証が必要であることを指摘しています。