Agent-Agnostic Evaluation of SQL Accuracy in Production Text-to-SQL Systems

以下は、Taslim Jamal Arif と Kuldeep Singh による論文「Agent-Agnostic Evaluation of SQL Accuracy in Production Text-to-SQL Systems」の詳細な技術的サマリーです。

1. 問題定義

本論文は、本番環境におけるText-to-SQL (T2SQL) システムの展開において見られる重要なギャップに対処します。学術的なベンチマーク（Spider、BIRD など）は、評価のために正解の SQL クエリと固定されたデータベーススキーマに依存していますが、現実の本番システムは異なる制約に直面しています：

• 正解の欠如: ユーザーのクエリは、事前注釈された「ゴールドスタンダード」の SQL なくして動的に到着します。
• スキーマ依存性: 本番データベースは、専有性、マルチテナント性、または頻繁なスキーマ進化の対象となることが多く、静的なスキーマアクセスはリスクとなります。
• 評価の空白: 参照クエリやスキーマアクセスがない場合、開発者は展開後に精度を体系的に監視したり、品質の低下を検出したり、エージェントのバージョンを比較したりすることができません。これにより、エラーが検知されないままとなる「沈黙する品質の侵食」が発生します。

既存の方法（文字列一致や実行ベースの精度）は、参照クエリやクエリ可能なデータベースのスナップショットを必要とするため、この文脈では失敗します。これらは企業環境ではしばしば利用不可能、または非現実的です。

2. 手法：STEF フレームワーク

著者らは、データベーススキーマや参照クエリを必要とせず、自然言語入力と生成された SQL のみを使用して T2SQL エージェントを評価する、本番環境ネイティブのシステムSTEF (Schema-agnostic Text-to-SQL Evaluation Framework) を提案します。

このフレームワークは、5 段階のパイプラインを通じて動作します：

A. 入力仕様

STEF は、クエリインスタンスごとに 4 つの入力を受け入れます：

1. $Q_u$: 元のユーザー質問。
2. $Q_e$: エージェントによる拡張/再構成された質問（前処理出力）。
3. $S$: 生成された SQL クエリ。
4. $R_{app}$: アプリケーション固有のルール（カラムマッピング、良性フィルタなど）の JSON 設定。

B. 意味特徴抽出と正規化

システムは、自然言語（$Q_u, Q_e$）と SQL（$S$）の両方から構造化された意味仕様を独立して抽出します。

• 次元: クエリを投影（カラム）、集約（SUM, AVG）、フィルタ（WHERE 句）、グループ化（GROUP BY）に分解します。
• 正規化: 表面形式のバリエーションに対処するため、STEF は抽出中にデータを正規化します：
  • SQL のエイリアスを意味に解決します。
  • フィルタ値を正規化します（大文字小文字、空白）。
  • 自然言語の用語（例：「total」）を SQL 関数（例：SUM）にマッピングします。
  • $R_{app}$ からアプリケーション固有のカラムマッピングを適用します。

C. 仕様アライメントとフィルタ分類

抽出された特徴はアライメントされ、フィルタアライメント状態が決定されます。システムはアライメントを 4 つのカテゴリに分類します：

1. 完全適用: 必要なフィルタがすべて存在し、余分なものはない。
2. 余分な完全適用: 必要なフィルタが存在するが、追加のフィルタが存在する（「良性」ルールに対して確認済み）。
3. 部分的適用: 一部のフィルタが欠落しているか、誤っている。
4. 未適用: 重要なフィルタが欠落している。

D. LLM による意味判定

LLM 評価者は、ルールベースのロジックでは捉えられない全体的な意味アライメント（複雑な日付演算、暗黙的な指標の同等性など）を評価する「審判」として機能します。

• 判定スケール: LLM は 4 段階の順序スコアを出力します：Correct（正しい）、Likely Correct（おそらく正しい）、Potentially Incorrect（おそらく誤り）、Incorrect（誤り）。
• 信頼性スコアリング: LLM はその確信度を定量化する信頼性スコア（$\gamma \in [0, 1]$）を提供します。これは評価者の変動を処理する上で重要です。

E. 本番環境向け正規化ルール

構造的に正しいが慣習的に異なる SQL に対する偽陰性を防ぐため、STEF は 4 つの普遍的な正規化ルールを適用します：

1. 必須 GROUP BY 推論: SELECT が集約と非集約を混在させる場合、明示的に要求されていなくても、必要な GROUP BY は正しいと仮定されます。
2. 良性 GROUP BY: WHERE 句によって単一の値に制約されているカラムでのグループ化は無視されます。
3. ORDER BY 許容: ユーザーが明示的にソート順序を要求しなかった場合、デフォルトのソート（例：集約指標の降順）は受け入れられます。
4. LIMIT 許容: 安全ガードとして使用される高カーディナリティの制限（例：LIMIT 10000）は、明示的に要求されない限り、トップ k 制約として罰せられません。

3. 複合スコアリングメカニズム

STEF は、0–100 スケールの単一の解釈可能なスコア（$\Phi$）を生成します。スコアは以下のように計算されます：
$$\Phi = \frac{B}{10} \times 100 \times \Gamma$$
ここで：

• $B$（ベーススコア）: フィルタアライメントスコア（0–5）と意味判定スコア（0–5）の合計に、追加フィルタが良性と確認された場合の寛容性ボーナス（+1）を加えた値。
• $\Gamma$（信頼性乗数）: LLM の信頼度（$\gamma$）に基づくペナルティ因子。
  • $\gamma \ge 0.85 \rightarrow \Gamma = 1.0$
  • $0.65 \le \gamma < 0.85 \rightarrow \Gamma = 0.8$
  • $\gamma < 0.65 \rightarrow \Gamma = 0.5$
  • 意義: これにより、評価者の不確実性をスコアリング信号に変換し、偽陽性を防ぐために低信頼度の評価にペナルティを課します。

4. 主要な貢献

1. スキーマ非依存評価: データベーススキーマ、参照クエリ、または実行インフラを必要とせずに本番環境で T2SQL の精度を評価する初のフレームワーク。
2. 拡張された質問検証: ユーザー質問に対するエージェントの内部再構成を、評価のための第一級信号として扱います。
3. 設定可能なルール注入: コード変更やモデルの再トレーニングなしに、プロンプトテンプレート링を通じて企業固有のロジック（カラムマッピング、良性フィルタなど）を注入可能にします。
4. 本番環境に堅牢な正規化: GROUP BY 推論、デフォルトの ORDER BY、安全 LIMIT などの一般的な本番 SQL 慣習を明示的に処理し、偽陰性を削減します。
5. 信頼度較正スコアリング: LLM の不確実性を最終的な精度スコアに直接統合し、継続的な監視のためのより信頼性の高い指標を提供します。

5. 結果

実証結果（セクション 7）は、3 つの本番エージェントにおけるフレームワークの実用性を示しています：

• Agent-A: 平均スコア 87.4、P90 スコア 96.2、カバレッジ 98.7%。
• Agent-B: 平均スコア 82.1、P90 スコア 93.5、カバレッジ 97.2%。
• Agent-C: 平均スコア 91.3、P90 スコア 98.1、カバレッジ 99.1%。
  高いカバレッジとスコアは、STEF がライブ環境においてエージェントのパフォーマンスを効果的に監視し、差別化できることを示しています。

6. 意義

この研究は、学術的な T2SQL 研究と産業的な現実の間のギャップを埋めます。正解データと静的スキーマへの依存を排除することで、STEF は以下を可能にします：

• 継続的改善: 組織はリアルタイムでエージェントの品質を監視し、回帰を特定できるようになります。
• エージェント比較: 異なるモデルバージョンやエージェントを、出力品質のみに基づいて客観的に比較できます。
• スケーラビリティ: このフレームワークは、変更なしに異種データベース技術やマルチテナント環境全体に展開可能です。

限界: 著者らは、境界線事例において残存する LLM 評価者の変動が存在し、深くネストされたサブクエリや複雑なウィンドウ関数は依然として課題であることを指摘しており、将来的な方向性としてハイブリッドな記号 - 神経パースングを示唆しています。