FD-NL2SQL: 臨床研究におけるフィードバック駆動型 NL2SQL システムの技術的概要

1. 背景と課題 (Problem)

がん研究（オンコロジー）の分野では、臨床試験リポジトリ（例：ClinicalTrials.gov や機関内のリポジトリ）から、バイオマーカー、エンドポイント、介入、時間的制約など、多様な条件を組み合わせたアドホックなクエリを実行する必要性が高まっています。しかし、以下の課題が存在します。

• 専門知識の壁: 臨床医や転換研究家はドメインの専門家ですが、データベーススキーマの複雑さや SQL 文法の習得には時間がかかり、分析者に依存せざるを得ないため、研究の速度が低下しています。
• 既存ツールの限界: 従来のキーワード検索や BI ダッシュボードは、構造化された多条件フィルタリング（例：「特定のバイオマーカーかつ特定のフェーズかつ特定の募集状態」）を正確に処理できません。
• 汎用 NL2SQL の不適合: 既存の自然言語から SQL への変換（NL2SQL）システムは、一般的なベンチマーク向けに設計されており、医療分野特有の制約分解や、臨床スキーマに基づいた例の検索、高リスクな医療クエリ向けのインタラクティブなフィードバックループが不足しています。これにより、生成される SQL がスキーマと整合せず、臨床的に不可能なクエリが生成されるリスクがあります。

2. 提案手法：FD-NL2SQL (Methodology)

FD-NL2SQL は、オンコロジー臨床試験データベース（SQLite ベース）向けに設計された、フィードバック駆動型かつ自己進化型の NL2SQL アシスタントです。システムは以下の 3 つの主要なコンポーネントとフィードバックループで構成されています。

2.1 システムアーキテクチャとワークフロー

1. スキーマ・グラウンディング (Schema Grounding):
   • 生成前にデータベースのメタデータ（テーブル、カラム、型、結合キー）をintrospect し、プロンプトに注入します。これにより、生成後のバリデーション（カラムの存在確認など）が可能になります。
2. 分解と検索 (Decomposition-Retrieval):
   • ユーザーの自然言語質問を、LLM を用いて「スキーマ整合的な述語レベルのサブ質問」に分解します（例：「2018 年以降の非小細胞肺癌」を「癌種=非小細胞肺癌」かつ「年>=2018」に分解）。
   • 各サブ質問に対して、Sentence-BERT 埋め込みを用いて、専門家によって検証済みの NL2SQL の例（Exemplars）を意味的に類似するものから検索・取得します。
3. 検索ガイド付き SQL 合成 (Retrieval-guided Synthesis):
   • 分解された質問、検索された専門家検証済み例、およびスキーマ情報を条件として、2 番目の LLM が最終的な SQL を生成します。
   • 生成された SQL は、構造的整合性チェック（AST パース）、読み取り専用ポリシー、タイムアウト制限などの軽量ガードを適用した後、SQLite で実行され、結果を返します。

2.2 フィードバックと例の銀行拡張 (Feedback & Bank Expansion)

システムは使用されるほど改善する「生きている（Living）」アシスタントとして機能します。

• 専門家による承認と編集: 生成された SQL を臨床医が確認・編集し、承認された場合、その（質問，SQL）ペアが「例の銀行（Exemplar Bank）」に追加され、将来の検索精度向上に寄与します。
• ロジックベースの SQL 増強 (Logic-based SQL Augmentation):
  • 承認された SQL に対して、単一の原子変換（演算子の変更、互換性のあるカラムの置換、値の閾値変更など）を適用します。
  • 変換後の SQL が実行成功し、かつ空でない結果を返す場合のみ保持されます。
  • 保持された変換 SQL に対して、別の LLM が対応する自然言語質問と述語分解を「逆翻訳（Back-Translation）」で生成し、新たな例として銀行に追加します。これにより、追加のアノテーションなしで例の網羅性を拡大します。

3. 主要な貢献 (Key Contributions)

1. スキーマ意識型の述語分解戦略: 複雑なオンコロジーデータベースにおいて、クエリをスキーマ整合的な原子述語に分解することで、生成の堅牢性を向上させました。
2. 検索ガイド付き SQL 合成パイプライン: 専門家検証済みの例に基づいて LLM の生成をグラウンディングし、信頼性の高いクエリ構築を実現しました。
3. フィードバック駆動型の自己進化システム: 臨床医とのインタラクションを通じて継続的に改善され、例の銀行を自動的に拡張する臨床試験クエリアシスタントを提案しました。

4. 実験結果 (Results)

• データセット: メヨ・クリニックの腫瘍学者が作成した 500 件のシード質問（IOTOX テーブル）を基に、単一変換（投影、述語削除、値変更など）を適用して 1,500 件の NL2SQL サンプルを構築し、評価を行いました。
• ベースラインとの比較: Zero-shot、Few-shot、Chain-of-Thought (CoT) などの標準的なプロンプティング手法や、SQL-R1（強化学習済みモデル）と比較しました。
• 性能:
  • FD-NL2SQL は、すべてのバックボーンモデル（Qwen3, Gemma3, GPT-5 など）において、実行ベースの正解率（eEM）と構造的忠実度（AST）を大幅に改善しました。
  • 特に、多条件の臨床質問において、ゼロショットや CoT が述語の欠落や不適切な列選択で失敗するのに対し、FD-NL2SQL は分解と検索によるグラウンディングにより、正確な実行結果を安定して生成しました。
  • 小規模なモデルでも、分解と例のガイダンスにより、大規模モデルに近い信頼性を達成できることが示されました。

5. 意義と結論 (Significance)

• 医療分野における実用性: 臨床医が技術的専門知識なしに、複雑な多条件クエリを即座に実行・検証できる環境を提供し、仮説検証と研究速度を加速します。
• 透明性と信頼性: 生成プロセス（分解→検索→合成→結果）を可視化し、実行ベースのメトリクスと構造的チェックを導入することで、医療現場で必要な「検証可能性」と「安全性」を担保しています。
• 継続的改善: 人間の専門家による承認と、データベースで検証された自動増強を組み合わせたフィードバックループにより、システムは時間とともにドメイン固有の推論パターンに適合し、より高精度になります。

このシステムは、オンコロジーの専門知識と構造化データへのアクセスの間のギャップを埋め、静的なレジストリをインタラクティブな分析ツールへと変革する実用的なソリューションです。