Bridging the Gap on AI-Assisted Scientific Software Development Through Transparency and Traceability

本論文は、NQA-1 などの厳格な品質保証基準の下で AI 支援科学ソフトウェア開発を統治するための構造化フレームワークを提案し、TMAP8 融合エネルギーコードを用いて、透明性、追跡可能性、監査可能性を備えた検証・妥当性確認プロセスが、いかに人間の責任とソフトウェアの信頼性を確保するかを実証する。

要約

原子力発電所を建設している状況を想像してください。制御を担うソフトウェアは、その発電所の脳のようなものです。もしそこに微小なバグが存在すれば、その結果は壊滅的なものになり得ます。長年にわたり、この分野での鉄則はこうでした。「このコードは人間のみが記述し、他の人間がすべての行を二重に確認しなければならない」。これにより、安全性、追跡可能性、そして説明責任が保証されます。

さて、今、非常に高速で才能に恵まれた新しい見習いが現れたと想像してください。それはAIコーディングエージェントです。数秒でコードを記述し、テストを実行し、ドキュメントを起草できます。しかし、ここに落とし穴があります。この見習いは時折「幻覚」を見ることがあるのです。完璧に見え、クラッシュせずに実行されるコードを書くかもしれませんが、実際には数学的に間違ったことをしている可能性があります。まるで、野菜を完璧に刻むシェフが、誤って塩の代わりに砂糖を入れてしまうようなものです。

この論文のタイトルは**「透明性と追跡可能性を通じた AI 支援型科学ソフトウェア開発のギャップの解消」であり、大きな問いに挑んでいます：「この AI 見習いに、危険な誤りを忍び込ませることなく、重要なソフトウェアの構築を支援させるにはどうすればよいか？」**

著者たちは、AI を禁止することが答えではないと主張します（そうすれば、AI は地下に潜り、さらに危険なものになるでしょう）。その代わり、AI の支援を管理するためのガバナンス枠組み、つまり厳格な規則のセットが必要だと提唱しています。

中核となるアイデア：「実証の場」

これらの規則を検証するために、著者たちは単に理論を語るだけでなく、TMAP8と呼ばれる特定の科学ソフトウェアツールを用いて「訓練場」を構築しました。

TMAP8 を、核融合エネルギーに使用される放射性燃料であるトリチウムのシミュレーターだと考えてください。このソフトウェアは、すでに「NQA-1」基準（原子力安全の「ゴールドスタンダード」に相当）に従って、極めて安全で厳格に規制されていることで有名です。

著者たちは、TMAP8 を用いて、新しい規則のためのフライトシミュレーターとして機能する 2 つのシナリオをテストしました。

1. 「コピー＆ペースト」の挑戦：彼らは AI に、公開された論文から既知の科学実験を再現するよう求めました。AI は、人間が記述した数学モデルをコードに翻訳する必要がありました。
   • 結果：AI は退屈な作業（ファイルのフォーマットやグラフ作成）において迅速でした。しかし、元の論文にある微妙な詳細（「欠陥消滅」項）を見逃しました。人間が作業を確認していなければ、シミュレーションは誤ったものになっていたでしょう。AI は論文に含まれていた誤りを忠実にコピーしてしまったのです。
2. 「発明者」の挑戦：彼らは AI に、公開されたモデルが存在しない問題を解決するよう求めました。AI は物理現象を推測し、仮説を構築し、それを実際のデータと照合してテストする必要がありました。
   • 結果：AI はブレインストーミングにおいて驚異的でした。金属表面の薄い錆（酸化物）層をモデル化するさまざまな方法を素早く試しました。これは人間がプロトタイプを作成するには数週間かかる作業です。AI は人間が単独で行うよりもはるかに早く、機能する解決策を見つけ出しました。

新しい規則：「AGENTS.md」契約

この論文は、**AGENTS.md**というファイルという、シンプルながら強力な解決策を提案しています。

このファイルは、ソフトウェアプロジェクト内に存在する契約、あるいはフライトマニュアルのようなものです。AI に、どのように振る舞うべきかを正確に伝えます。この契約が求めることは以下の通りです。

• 秘密はない：AI がコードを記述するたびに、「私がこれを記述し、これが私の思考プロセスでした」と述べる「領収書」（メタデータ）を残さなければなりません。
• 人間が船長である：AI は副操縦士ですが、作業に署名し承認する必要があるのは常に人間です。最終製品に対して、法的および科学的責任を負うのは人間です。
• 「レッドチーム」によるチェック：AI は単に「完了しました」と言うだけではなりません。コードが機能することを証明するために、クラッシュテストのような自動テストのバッテリーを実行しなければなりません。失敗すれば、設計図に戻されてやり直しとなります。
• 追跡可能性：数年後にコードを見返した際、どの AI ツールが使用され、どのバージョンであり、人間がそれを修正するために何をしたかを正確に把握できなければなりません。

得られた重要な教訓

実験を通じて、著者たちは 3 つの重要な発見を得ました。

1. AI は代替手段ではなく、速度向上装置である：AI はタイピングやフォーマットといった重労働を担い、人間が難しい思考に集中できる余地を作ります。しかし、船を操縦するのは依然として人間でなければなりません。
2. 「沈黙する」幻覚が真の危険である：最も恐ろしい AI の誤りは、意味不明なコードを書く場合ではなく、見た目は正しいが科学的に誤っているコードを書く場合です。これを発見できるのは、コードだけでなく物理現象を理解している人間だけです。
3. 規則はハードコードされなければならない：AI に「慎重になるように覚えておいてください」と言うだけでは不十分です。AI は忘れます。代わりに、規則はソフトウェア自体に組み込まれなければなりません（AI が「領収書」を添付し、テストに合格しない限り開かないゲートのように）。

結論

この論文は、「人間のみ」か「AI のみ」かを選ぶ必要はないと結論づけています。私たちは管理された AIを持つことができます。

すべての手順が文書化され、すべての出力がテストされ、人間が最終的な権限者として残るという、規制された原子力プロジェクトのように AI 支援型開発を扱うことで、科学的発見に必要な安全性と信頼性を犠牲にすることなく、AI の速度を享受することができます。目標は AI を止めることではなく、AI の「見習い期間」が安全で、透明性があり、説明責任を果たすことを保証することです。

技術概要

技術的サマリー：透明性と追跡可能性による AI 支援科学ソフトウェア開発のギャップの埋め合わせ

問題定義
科学ソフトウェアコミュニティは、コード生成、テスト、ドキュメント作成における大規模言語モデル（LLM）およびエージェント型 AI システムの場当たり的、無指導的、かつ大半が認識されていない採用に起因するシステムリスクに直面している。これらのツールは開発を加速させるが、厳格なソフトウェア品質保証（SQA）基準、具体的には原子力品質保証レベル 1（NQA-1）によって規制される安全重要分野における使用は、重大な課題を提起する。従来の SQA フレームワークは、人間の作成と独立した検証を前提としている。AI は相関する故障モード（同一モデルがコードとテストの両方を生成する場合など）を導入し、コード量と複雑さを増大させ、「ハルシネーション」（構文的には有効だが意味的に誤った実装）を生成する。現在のワークフローには、AI の関与を管理する標準化されたフレームワークが欠如しており、追跡可能性、独立した検証、文書化された手順が極めて重要な安全関連のモデリングおよびシミュレーションツールの完全性が損なわれるリスクがある。

方法論
著者は、品質や説明責任を損なうことなく AI 支援開発を厳格な SQA 環境に統合するためのガバナンスフレームワークを提案する。このフレームワークは、核融合エネルギー向けオープンソースの NQA-1 準拠トリチウム移動コードである TMAP8 に対する、2 つの新しい検証および妥当性確認（V&V）ケースの開発を通じて実証される。

本方法論は、開発インフラストラクチャにガバナンス要件を直接エンコードする軽量なリポジトリレベルの仕様ファイル（AGENTS.md）に依存している。方法論の主要な構成要素は以下の通りである：

• 構造化された開示: すべての貢献には、AI 関与の程度と性質を詳細に記述するコミットレベルのメタデータが含まれ、意図と設計の根拠を記述した開発課題（issue）にリンクされなければならない。
• 追跡可能性: AI 相互作用の機械可読セッションログ（.jsonl）はバージョン管理に保存され、開発プロセスの確率的な再構築を可能にする。
• 人間の説明責任: 人間の開発者が作成者として指定され、貢献に対して全責任を負う。重要なのは、検証には独立した人間のレビューヤーが必要とされることであり、敵対的レビューエージェントを含むいかなるエージェント型システムも、NQA-1 の検証要件を満たすのに十分とはみなされない。
• 自動執行: プリコミットフックは、帰属証明に関する不可避な要件（ログの存在、メタデータの完全性など）を執行し、レビュー前に貢献が完全な V&V テストスイートを通過することを確認する。
• ケーススタディ:
  1. 実装課題: 中性子照射された Li₂TiO₃からのトリチウム放出に関する既発表の解析モデルの再現（Kobayashi ら）。エージェントは既存のモデルを TMAP8 に翻訳し、ベイズ推定によるパラメータ最適化を行った。
  2. 仮説駆動型課題: 薄い酸化膜を持つ自己照射タングステンからの重水素放出のモデル化（Kremer ら）。ここでは既発表のモデルが存在しなかった。エージェントは仮説駆動型のモデル構築に従事し、競合する物理メカニズムを提案・検証した。

主要な貢献

1. ガバナンスフレームワーク: NQA-1 要件と整合する、実用的で展開可能な AI 支援開発フレームワーク。これは「人間のみ」から「管理された AI 支援」へのパラダイムシフトを実現し、AI の関与が可視化され、追跡可能であり、品質管理の対象となることを保証する。
2. AGENTS.md 仕様: ガバナンスをコードとして具体化した実装であり、コードベースと並行してバージョン管理されるタスク実行、検証、ドキュメント、レビュー基準を定義する。
3. 実証的検証: 2 つの異なる V&V ケースの成功した開発は、AI エージェントが厳格な範囲内で動作する限り、確立されたモデルの実装と新規科学仮説の探索の両方を加速できることを示している。
4. 故障モードの特定: 本研究は、ソース文書からの誤りの忠実な再現（欠陥消滅項の省略など）や、過度に複雑またはハルシネーションされたコードの生成を含む、特定の故障モードを記録し、人間の監督の必要性を強調している。

結果
フレームワークの適用により、以下の結果が得られた：

• 生産性の向上: エージェント支援ワークフローにより、検証ケースの開発時間は約 4〜5 日から約 6 時間に短縮された。仮説駆動型のケースでは、エージェントは純粋な人間ワークフローではコスト的に実行不可能だった競合するモデル式の迅速なプロトタイピングを可能にした。
• 正確性と誤り:
  • ケース 1 では、エージェントはモデルを正常に翻訳しパラメータを最適化し、二乗平均平方根パーセント誤差（RMSPE）を 23.1% から 9.2% に削減した。しかし、ソース論文からの重要な欠陥消滅項を当初省略しており、この誤りは敵対的人間のレビューによってのみ検出された。
  • ケース 2 では、エージェントは酸化層が重水素放出に与える影響を捉える現象論的モデルを構築した。異なる酸化層厚さにおける主要な実験的傾向を正常に再現したが、ハルシネーションされたデータの数値化の修正と、過度に複雑化されたモデル構造の簡素化には人間の介入が必要だった。
• ガバナンスの有効性: AGENTS.md の制約とプリコミットフックは、追跡可能性を成功裏に執行し、帰属証明を欠く貢献がレビュープロセスに入るのを防いだ。ただし、エージェントは注意の窓（attention window）の外にある指示を見落とす可能性があるため、エージェントの指示のみに依存するのではなく、自動フックのような構造的な対策が必要であることが本研究で指摘された。

意義と主張
本論文は、エージェント型開発への移行はすでに現実となっており、科学コミュニティが直面する重要な選択は AI を許可するかどうかではなく、いかに責任を持ってそれを管理するかであると主張する。著者は以下を主張する：

• 基準との互換性: 既存の SQA および NQA-1 要件（追跡可能性、独立した検証、説明責任）は、人間が責任ある作成者および検証者として残る限り、人間が指示する AI ワークフローを含むように解釈すれば、AI 支援開発と互換性がある。
• システムリスクの軽減: 規制されていない AI の使用は、長期的には AI 生成の誤りがトレーニングデータを通じて伝播する「モデル崩壊」のリスクをもたらす。提案された帰属証明フレームワークは、下流のキュレーターが合成貢献をフィルタリングすることを可能にし、科学ソフトウェアエコシステムの完全性を維持する。
• V&V を実証の場として: 客観的な正しさの基準と限定された範囲を持つ V&V ケースは、AI ガバナンスの実践を確立し反復するための理想的な環境であり、それをより広範な科学ソフトウェア開発に拡張する前に機能する。
• 人間の役割の進化: 開発者の役割は、直接のコード作成からプロンプトエンジニアリング、出力レビュー、能動的な科学的監督へと移行する。個々のタスクの認知的コストは減少するが、科学的監督の維持とモデルの単純性の確保という負担は、依然として重要な人間の責任である。

本論文は、責任ある AI 支援科学ソフトウェアのガバナンスは、AI 採用を動機づける生産性の向上を犠牲にすることなく、既存の品質保証基準の枠内で今日達成可能であると結論づけている。