Language-Guided Hypotheses Generation for Sparse SMEFT Analyses

技術要約：疎なSMEFT解析のための言語誘導型仮説生成

問題の定式化
標準模型有効場理論（SMEFT）は、高次元演算子を介して精密測定を解釈し、標準模型（SM）を超える物理を探索するためのモデルに依存しない枠組みを提供する。しかし、SMEFTのグローバルフィットは「組合せ爆発」という問題に直面している。現代的なフィッティング・フレームワーク（例：SMEFiT）は数十個のウィルソン係数を同時に制約できるが、疎な演算子の部分集合として考えられる組み合わせの数は組合せ爆的に増加する。$N=52$個の係数を持つグローバルフィットにおいて、最大$s=4$個の演算子を含む可能な仮説の数は$2.9 \times 10^5$を超える。すべての部分集合を数値的なフィット（特にネステッド・サンプリングを必要とする二次フィット）によって網羅的に検証することは、計算量的に不可能である。

さらに、物理的に動機付けられた仮説を特定するには、演算子の相関、縮退、および特定の観測量の感度をナビゲートするために、多大な専門知識が必要となる。現象論の研究者は、網羅的なスキャンを行うことなく、観測されたテンション（不一致）を説明するための演算子の部分集合を手動で選択しなければならない。課題は、厳密な統計的推論を確立された数値ツールに委ねつつ、これらの疎で物理的に関連のある仮説の選択を自動化することにある。

手法：llm4smeft フレームワーク
著者らは、ドメイン特化型の大規模言語モデル（LLM）と、事前計算されたグローバルフィットの要約に基づく検索拡張生成（RAG）を組み合わせたオープンソース・フレームワークであるllm4smeftを提示する。このフレームワークは2つのフェーズで動作する。

1. フェーズI：SMEFT対応LLM（ファインチューニング）

   • ベースモデル： 著者らはQwen3-8Bモデルを利用している。
   • データ構築： 物理学のプレプリント（LaTeXソース）から専用のインストラクション・チューニング・データセットを構築した。「物理的構造に基づいたチャンキング」戦略を用い、意味的な関係性を保持するために、言語的な境界ではなく、物理的な構造（演算子の定義、ラグランジアン項、観測量へのマッピング）に基づいて文献をセグメント化した。
   • 教師・生徒蒸留（Teacher-Student Distillation）： 教師モデル（Claude Sonnet 5）が、これらのチャンクからインストラクションと回答のペアを生成し、エキスパートによるSMEFT解析の推論を模倣する。データセットには、モデルに非SMEFTのクエリを丁寧に拒絶させるための、一般的な知識、プログラミング、医学、歴史、数学、およびクリエイティブなタスクをカバーする20%のSMEFT非関連のインストラクション・応答ペアが含まれている。
   • 学習： メモリ要件を削減するため、低ランク適応（LoRA）を用いたQLoRA（4ビット量子化）を使用してモデルをファインチューニングした。得られたモデルqwen-smeftは、SMEFTの表記法、演算子構造、および理論的推論パターンを内面化している。

2. フェーズII：理論誘導型SMEFT推論

   • 検索拡張（Retrieval Augmentation）： 定量的な結果を得るためにLLMのパラメトリックなメモリに頼るのではなく、本フレームワークは、事前計算されたSMEFiTグローバルフィットの構造化されたJSONレコードを検索する。これらのレコードには、フィッシャー情報、フィッシャー行列の主成分分析（PCA）、適合度統計、および29の特定の観測量サブセットにおける識別不能（縮退した）演算子のリストが含まれている。
   • 推論ワークフロー： ユーザーが観測量を入力すると、システムは関連するフィットの要約を検索する。その後、LLMは「理論誘導型思考の連鎖（theory-guided chain of thought）」による推論プロセスを実行するように促される。LLMは以下の手順に従うよう指示される：
     1. 主要な観測量のテンションを特定する。
     2. テンションをSMEFTの方向へとマッピングする。
     3. フィッシャー情報の重みによって方向をランク付けする。
     4. 相関および演算子の重複を考慮する。
     5. 疎性の制約を課す（仮説あたりの演算子数を制限する）。
   • インタラクティブ・モード： 本フレームワークは、ユーザーが仮説を受け入れるか、あるいはモデルの出力を洗練させるためのフィードバックを提供できるインタラクティブなセッションをサポートしている。受け入れられた仮説は新しいレコードとしてデータベースに保存され、将来のセッションのための知識ベースを拡張する。

主な貢献

• llm4smeft パッケージ： 初回のモデルダウンロード後は、インターネット接続や有料のクラウドサービスを必要としない、公開されたローカル実行可能なフレームワーク。
• qwen-smeft モデル： 演算子の定義、ウィルソン係数、およびグローバルフィットの論理を理解できる、SMEFTドメインに特化して適応されたファインチューニング済みLLM。
• 構造化データベース： 16の観測量グループ、85の測定値、および61の演算子をカバーする、精査された29のSMEFiTフィット・レコードのコレクション。これはフィッシャー情報および縮退構造の検索をサポートするように構成されている。
• ハイブリッド推論戦略： 仮説生成（LLM）と統計的評価（事前計算されたフィット）を分離する新しいアプローチであり、モデルの出力がハルシネーション（幻覚）による結果ではなく、定量的なデータに基づいていることを保証する。

結果と検証
本フレームワークは、以下の3つの主要なテストを通じて検証された：

1. 再現性： 変動する乱数シードおよび同一の観測量（Zボソン幅およびヒッグス信号強度）の自然言語による言い換えを用いた50回の独立した実行において、モデルはトップの仮説（$O_{\phi B}, O_{\phi G}, O_{\phi WB}$）を90%のケースで生成した。最も頻度の高い3つの仮説が全出力の93%をカバーしており、高い安定性を示した。
2. フィードバックに対する堅牢性： トップランクの演算子を明示的に拒絶する敵対的なユーザーフィードバックを与えた際、モデルは様々な程度の感受性を示した。例えば、ヒッグスSTXSの場合、モデルは弱く制約された演算子へとシフトし（フィッシャー情報が98%低下）、検索がハードな制約ではなくコンテキストとしてのガイダンスとして機能していることを示した。他のケースでは、モデルは概ね抵抗力を示した。
3. ベースモデルとの比較： qwen-smeftをベースのQwen3モデルと比較したところ、顕著な改善が見られた。ベースモデルは、電弱精密測定にのみ敏感な演算子セットを頻繁に提案し、ヒッグス信号強度の偏差を考慮できていなかった。ファインチューニングされたモデルは、ヒッグスの相互作用を修正する演算子（$O_{\phi G}, O_{\phi B}$）を正しく特定しており、ドメイン特化型のファインチューニングが観測量へのマッピングと物理的妥当性の両方を向上させることを実証した。

意義と主張
著者らは、llm4smeftをグローバルなSMEFTフィットの代替品としてではなく、フィット結果の探索と解釈を支援するための意思決定支援ツールとして位置付けている。仮説空間の次元を削減することで、本フレームワークは現象論の研究者がどの疎な演算子サブセットを詳細な数値的調査に充てるべきかを優先順位付けするのを助ける。

本論文は、LLMの推論能力と事前計算されたフィットの定量的厳密さを組み合わせることで、実験的な観測量と理論的な仮説の間のギャップを埋めることに成功したと主張している。著者らは、生成された仮説が専門家による評価の対象であり続けるよう、すべての提案に基礎となるフィットからのフィッシャー情報と診断結果が付随することを保証し、システムの透明性を強調している。現在の実装は線形SMEFT解析（$O(\Lambda^{-2})$）に限定されており、データベースを二次次項のフィット（$O(\Lambda^{-4})$）を含むように拡張することが、将来の自然な方向性であると述べている。