Querying an astronomical database using large language models: the ALeRCE text-to-SQL system

技術要約：大規模言語モデルを用いた天文学データベースへのクエリ実行：ALeRCE テキスト-to-SQL システム

問題提起
天文学コミュニティは、Zwicky Transient Facility (ZTF) および Vera C. Rubin 天体観測所のブローカーとして機能する Automatic Learning for the Rapid Classification of Events (ALeRCE) のような複雑なデータベースへのアクセスにおいて、大きな障壁に直面している。ALeRCE データベースには 25 個以上のテーブルと 304 個の列の天体データが含まれているが、これらをクエリするには、構造化クエリ言語 (SQL) の専門知識と特定のスキーマに関する習熟が必要である。大規模言語モデル (LLM) は、天文学における名前付きエンティティ認識やテキスト要約といった自然言語処理 (NLP) タスクにおいて有望な成果を示しているが、科学的でドメイン固有のデータベースに対する Text-to-SQL (T2S) パースへの応用については、まだ十分に探索されていない。既存のベンチマークである Spider や BIRD には、現実世界の科学的データセットに見られるドメイン固有の複雑さ（例：天文学的な略語、数値的推論、特定のスキーマ構造）が欠けており、先行研究では実行精度が大幅に低下すること（例：Sloan Digital Sky Survey のサブセットでは 33% まで低下）が示されている。

手法
著者らは、パラメータのファインチューニングを避け、LLM によるインコンテキスト学習を用いて、ALeRCE データベースに特化した T2S システムを開発した。彼らのアプローチの核となるのは、T2S タスクを分解するために設計された、4 つのモジュールからなるステップ・バイ・ステップの生成フレームワークである。

1. スキーマ・リンキング (Schema Linking): 独立したモジュールが、ユーザーの自然言語 (NL) リクエストとデータベースのスキーマを整合させる。これは、まず必要なテーブルを特定し、次にそれらのテーブルに対する特定の列を抽出するという 2 段階で動作する。これにより、コンテキストの負荷を軽減し、モデルを関連するスキーマ要素に集中させる。
2. クエリ分類 (Query Classification): システムは、ユーザーのクエリを「Simple」（最大 2 つの基本テーブルまたは 1 つの一般テーブルまで）、「Medium」（基本テーブルと一般テーブルの結合、または複数のサブクエリを必要とするもの）、および「Hard」（3 つ以上のテーブルまたは複雑な最適化を必要とするもの）の 3 つの難易度に分類する。
3. 分解 (Decomposition): Medium および Hard クエリについては、問題がサブ問題へと分解される。LLM はまず、ステップ・バイ・ステップの計画（要件と条件を含む）を生成し、その計画に基づいて SQL 生成を実行する。Simple クエリはこのステップをバイパスして直接生成へと進む。
4. 自己修正 (Self-Correction): 初期 SQL クエリが実行エラーを生成した場合にのみ、フィードバックループがトリガーされる。システムはエラーを 3 つのタイプ（タイムアウト：2 分の制限超過、非存在する構造：幻覚によるテーブルや列、および一般的なエラー：構文や節の欠落）に分類する。その後、LLM は特定のエラータイプを修正するように促される。

システムの評価を行うため、著者らは 110 組の NL/SQL ペアからなるデータセットを作成した。これには ALeRCE ワークショップからの 21 例と、天文学者によって生成された 89 の実世界の質問が含まれる。データセットは、開発セット（58 例）とテストセット（52 例）に分割された。研究では、様々なバージョンの GPT、Claude、Gemini を含む 13 の LLM を評価した。

主な貢献

• ALeRCE T2S データセット: 結合、サブクエリ、およびドメイン固有のロジックを含む、単純なものから高度に複雑なものまでのクエリを網羅した、ALeRCE 天文学データベースのためのドメイン固有の 110 組の NL/SQL ペアの作成と公開。
• ステップ・バイ・ステップ・フレームワーク: 直接推論ベースラインを一貫して上回る、モジュール化されたフレームワーク（スキーマ・リンキング、分類、分解、自己修正）の提案。
• 評価指標: 行識別子（例：オブジェクト ID）と列識別子を個別に評価する Perfect-Match (PM) 指標の導入。これは、列の部分的正確さは許容される可能性がある一方で、行の正確さは極めて重要であることを認識している。
• エラー分析: 実行エラー（タイムアウト、未定義の構造、構文）と意味的エラーの詳細な分類を行い、自己修正が実行エラーの軽減には効果的であるが、意味的な誤解の解決には至らないことを示した。

結果
本研究では、提案されたフレームワークと直接推論ベースラインを用いて 13 の LLM を評価した。主な知見は以下の通りである。

• フレームワークの性能: ステップ・バイ・ステップのフレームワークは、すべてのモデルにおいて直接推論ベースラインを一貫して上回った。自己修正モジュールは、特にタイムアウトや構文の問題において、実行エラーを一貫して減少させた。
• トップパフォーマンスのモデル: 13 のモデルの中で、Claude Opus 4.6、Gemini 2.5 Pro、Gemini 3 Flash、および GPT-5.2-Codex が最高の性能を示した。
• 難易度依存性: パフォーマンスはクエリの複雑さに応じて大きく変動した。ステップ・バイ・ステップ法を用いた Claude Opus 4.6 の場合、行識別子の Perfect-Match 率（PM rate）は、Simple クエリでは 0.97 であったが、Medium クエリでは 0.44、Hard クエリでは 0.59 に低下した。列識別子の性能は一般的に高く、Simple では 0.94、Medium では 0.72、Hard では 0.49 に達した。
• コスト対性能: ステップ・バイ・ステップ法と自己修正を用いると、直接推論と比較してトークン消費量とコストが増加したが、著者らは新しいモデル（Gemini 3 Flash など）が最も低いコストを提供することを指摘した。
• Few-Shot と構造化出力: 著者らは、Few-Shot プロンプティング（Masked Question Similarity による選択を使用）と構造化出力（API 制約経由）をテストした。Few-Shot プロンプティングは一部のモデルで統計的に有意な改善を示したが、構造化出力はこの特定の文脈において顕著な性能向上をもたらさなかったものの、いくつかのケースで実行エラーを減少させた。

意義と主張
本論文は、提案されたフレームワークが、自然言語を使用して複雑な天文学データをクエリすることを可能にすることで、ALeRCE データベースへのアクセスを民主化することに成功したと主張している。著者らは、現在の最先端の T2S アプローチはドメイン固有の科学的データセットに対して苦戦することを強調しており、構造化されたステップ・バイ・ステップのアプローチと自己修正を組み合わせることで、このギャップを埋めることができることを示している。

著者らは、本システムが Rubin 時代における ALeRCE ユーザーのためのオンライン仮想アシスタントに向けた重要な一歩であるとしつつも、控えめに結論づけている。彼らは、自己修正によって意味的エラー（論理的な誤解）は完全には解決されないことを指摘しており、今後の課題として、Retrieval-Augmented Generation (RAG)、ファインチューニング、およびより包括的な意味検証プロセスの探索を挙げている。本論文は、天文学的なデータ分析の特定の制約と要件に合わせて LLM を適応させるための基礎的なステップとして位置づけられている。