SciFi: A Safe, Lightweight, User-Friendly, and Fully Autonomous Agentic AI Workflow for Scientific Applications

この論文は、安全かつ軽量でユーザーフレンドリーな自律型エージェント AI フレームワーク「SciFi」を提案し、隔離された実行環境と自己評価ループを活用して、科学分野における定型タスクの信頼性の高い完全自動化を実現することを示しています。

要約

この論文は、**「SciFi（サイファイ）」**という、科学の研究を助ける新しい「AI アシスタント」の仕組みについて書かれています。

従来の AI は「質問したら答える」だけでしたが、SciFi は**「目標を言うと、自分で計画を立てて、失敗したら直し、最終的にゴールまでたどり着くまで粘り強く働く」**という、まるで一人前の研究助手のような存在です。

この仕組みを、日常の生活や料理に例えてわかりやすく解説します。

---

🧪 SciFi とは何か？「完璧な研究助手」の誕生

科学者の仕事は、複雑で時間がかかります。でも、SciFi は**「安全で、軽く、誰でも使える」**ように設計された、自律型の AI ワークフローです。

1. 安全な「実験室」を作ろう（安全性）

SciFi が働くのは、**「隔離された実験室（コンテナ）」**の中です。

• アナロジー: 料理人が新しいレシピを試すとき、自分の家のキッチン全体を汚すのではなく、**「移動式の調理カート」**の上で作業するのと同じです。
• メリット: もし AI が失敗してコードを壊したり、データを消したりしても、それは「カートの中」だけで終わります。本家のキッチン（共有のサーバーやデータ）は絶対に安全です。

2. 「試行錯誤」の達人（自律性）

SciFi は、一度で完璧な答えを出そうとしません。

• アナロジー: 料理人が「まず味見をして、塩が足りなければ足し、甘すぎれば酸っぱいものを足す」という**「味見→調整→味見」のループを繰り返すように、SciFi も「計画→実行→チェック→修正」**を繰り返します。
• 仕組み:
  1. 計画する: 何をすべきか考える。
  2. 実行する: コードを書いたり、データ分析をしたりする。
  3. チェックする: 「あれ？結果がおかしいな？」と自分で確認する。
  4. 修正する: 失敗したら、なぜ失敗したかをメモして、次は違う方法を試す。
     このループを、目標が達成されるまで（例：「グラフがきれいに描けた」「バグが直った」）延々と続けます。

3. 誰でも使える「魔法のレシピ本」（使いやすさ）

専門知識がなくても、**「自然な言葉（日本語や英語）」**で指示を出せば動きます。

• アナロジー: 料理のレシピ本に「美味しいパスタを作りたい」と書けば、AI が「まずパスタを茹でる、次にソースを作る」という手順を勝手に考えてくれます。
• 特徴: 難しい設定は不要です。AI が「必要な道具（スキル）」を自分で探して持ってくるので、ユーザーは「何を作りたいか」だけ伝えれば OK です。

---

🚀 SciFi が実際に何をしたのか？（実験の結果）

論文では、SciFi が実際に 4 つの異なるレベルのタスクをこなす様子が紹介されています。

① 日常の雑務（基本タスク）

• 内容: データのグラフ化や、既存のソフトウェアの設定など。
• 結果: 「グラフを描いて」という一言だけで、AI が勝手に環境を整え、グラフを描き上げました。**「指示がシンプルすぎても、AI なら自分で考えて解決できる」**ことがわかりました。

② 論文の再現（完全なループタスク）

• 内容: 過去の科学論文にある実験を、ゼロから再現する。
• 結果: 環境設定のミスや、データのダウンロード失敗など、人間ならイライラして止めてしまいそうなトラブルを、AI が**「自分で見つけて、自分で直して」**見事に再現しました。

③ 複雑なハードウェア設計（半ループタスク）

• 内容: 電子回路（Firmware）の設計と、そのテスト。
• 結果: 最初はバグだらけの回路でも、AI が「ここが間違っている」と見つけ出し、修正を繰り返して完璧な回路を作りました。
• ポイント: 複雑な仕事でも、「ゴール（正解の回路）」が明確であれば、AI は人間よりもはるかに速く、正確に作業を進めます。

④ 未知の謎の解明（オープンエンドな挑戦）

• 内容: 未知の物理現象（新粒子）を探す「アンomaly 検出」の挑戦。
• 結果: ここが少し難しいです。「何か新しいものを見つけて」という曖昧な指示だけでは、AI は迷子になりました（失敗）。
• しかし: 人間が「この方法を使ってみて」と少しだけヒントを与えれば、AI はそのヒントを元に素晴らしい結果を出しました。
• 教訓: **「完全に任せる」のではなく、「人間が方向性を示し、AI が実行する」**という組み合わせが、最も強力です。

---

💡 結論：科学の未来はどう変わる？

SciFi は、科学者が**「面倒な作業（データ整理、バグ探し、環境設定）」を AI に任せることで、「本当にクリエイティブな部分（新しい仮説を立てる、面白い実験を考案する）」**に集中できるようにするツールです。

• 人間: 船長（目的地を決め、方向を指示する）。
• AI (SciFi): 優秀な航海士（地図を読み、嵐を避け、目的地まで船を運ぶ）。

このシステムは、科学の発見を加速させ、より多くの人が「未知の世界」を探検できる未来を切り開く第一歩となるでしょう。

技術概要

SciFi: 科学応用向け安全・軽量・ユーザーフレンドリーな完全自律型エージェント AI ワークフローの技術サマリー

1. 背景と課題 (Problem)

近年、エージェント型 AI（計画、行動、観察、修正を繰り返す自律システム）の進歩により、自律的なワークフローが実現されつつありますが、実世界の科学研究における信頼性のある展開には依然として大きな課題があります。

• 既存システムの限界: 多くの既存のエージェントシステムは、研究プロトタイプに留まっているか、一般目的のタスクを想定した複雑で不透明なアーキテクチャを持っています。これらは、科学分野で求められる「厳格な信頼性」と「無人実行」の要件を満たせていません。
• 科学タスクの特殊性: 科学研究の多くは、目標が不明確だからではなく、実行プロセスが高度にカスタマイズされるため時間がかかります（例：データ可視化、ファームウェアデバッグ、DAQ デバッグ）。これらは「クローズドループ（閉じたループ）」タスクであり、明確な目的と停止条件を持つものの、実行手順は反復的な試行錯誤や専門ツールとの密接な連携を必要とします。
• 現状の課題: 既存のエージェントは、詳細な実行ステップを一度に生成する「ワンショット」生成に依存するか、頻繁な人間の監視を必要とするため、科学研究インフラとしての実用性が限られていました。

2. 提案手法: SciFi フレームワーク (Methodology)

本研究では、科学分野のクローズドループタスクに特化した、SciFi という安全で軽量、かつユーザーフレンドリーなエージェントフレームワークを提案します。その設計は以下の 3 つの原則に基づいています。

2.1 安全性とリソース隔離 (Safety & Isolation)

• 隔離された実行環境: 全体のワークフロー（エージェントプロセスおよび生成されるツール）を、Apptainer（以前は Singularity）などのコンテナランタイム内で実行します。これにより、共有計算基盤への意図しない副作用を防ぎ、再現性を確保します。
• デフォルト・ディeny ロジック: リソース（GPU、ネットワーク、ストレージなど）へのアクセスは、タスク記述で明示的に定義されたもののみが許可されます。明示されていないリソースはホストからマウントされません。

2.2 使いやすさとモデル非依存性 (Usability & Model Agnosticism)

• 3 層エージェントループ: 各タスクは「Pre-scan（事前スキャン）」→「Work（作業）」→「Review（検証）」の無限ループで実行されます。
  • Pre-scan: タスク定義を読み、サブタスク構造、依存関係、適切な LLM の選定を行います。
  • Work: 実行タスクを遂行します。
  • Review: 期待値（Expectation）が満たされたか検証し、失敗の場合は修正を提案してループを継続します。
• 自己評価型「Do-Until」メカニズム: 明確な停止条件が満たされるまで、システムは自律的に反復し、失敗を検知して修正します。
• モデルゲートウェイ: 異なる能力レベルやコストの LLM（オープンウェイトモデルから商用モデルまで）を統合し、タスクの難易度やコストに応じて最適なモデルをルーティングします。

2.3 拡張性と LLM ネイティブ設計 (Extensibility & LLM-Native)

• 最小限の固定コード: 安全性制御やコンテナ管理など、信頼性が求められる部分のみを固定コードとし、それ以外の挙動はシステムプロンプトやモジュール化された「スキル（Skill）」で定義します。
• SAM (Self-Assessed Module): タスクは「文脈 (Context)」「やること (To-do)」「期待値 (Expectation)」からなる SAM 形式で記述されます。これにより、最小単位の検証可能な問題として定義され、再帰的に分解可能です。
• スキルライブラリ: 過去の成功パターンやドメイン固有の知識（例：特定の科学ソフトウェアのセットアップ手順）を「スキル」として蓄積し、エージェントが再利用できるようにします。

3. 主要な貢献 (Key Contributions)

1. 科学分野向け安全な自律実行フレームワークの提案: コンテナ技術と厳格なアクセス制御により、人間の監視なしでの安全な科学タスク実行を可能にしました。
2. 3 層ループと自己評価メカニズムの導入: 失敗を検知し、文脈を保持して自律的に修正を行うことで、堅牢なワークフローを実現しました。
3. 多様なタスクでの実証: 高エネルギー物理学（HEP）の分野において、日常タスクから複雑なファームウェア設計、論文結果の再現、オープンエンドな課題まで、多岐にわたるタスクでシステムを評価しました。
4. 人間と AI の協調の明確化: 完全に自律的なタスクから、人間の専門知識を必要とする半自律的なタスクまで、人間の介入の適切なレベルを定義し、科学発見の加速に寄与するロードマップを示しました。

4. 実験結果 (Results)

高エネルギー物理学（HEP）分野の 4 つの実験を通じて評価を行いました。

• 実験 1: 基本的な科学タスク
  • ROOT 環境のセットアップ、データ可視化、ML 学習など。
  • 自然言語（NL）での指示でも多くの基本タスクが最短の反復回数で解決されました。複雑なタスクでは構造化された記述（ST）や詳細な指示（EX）が有効でした。
• 実験 2: 論文結果のフルパイプライン再現
  • 生成 ML を用いたカロリメータシミュレーションの再現。
  • 環境設定、ジョブシステム（SLURM）への提出、推論、可視化までを69 回の反復、約 15 分で完全自律的に完了。環境ミスマッチや依存関係の問題を自律的に解決しました。
• 実験 3: 半クローズドループタスク（ファームウェア設計）
  • タスク 1（デバッグ）: 注入されたバグを 30 回未満の反復で特定・修正。
  • タスク 2（部分実装の完成）: 約 100 回、30 分で RTL コードを完成。
  • タスク 3（ゼロからの実装）: 最も困難なタスク。詳細な指示（EX）があれば 88 回で成功しましたが、曖昧な指示（RH）では 7 回の試行（メモリを共有）を経て成功。専門知識の重要性を示しました。
• 実験 4: オープンエンドタスク（LHC オリンピアード 2020）
  • 異常検知（Anomaly Detection）の課題。
  • 完全自律（Open-ended）では目標達成に失敗しましたが、人間の専門知識によるガイド（Interactive/Guided）を加えることで、AUC 0.854 という高い性能を達成し、短時間で解決しました。

5. 意義と結論 (Significance & Conclusion)

SciFi は、科学研究における反復的な技術的作業を AI に委譲し、研究者が創造的な活動やオープンエンドな探究に集中することを可能にする基盤技術です。

• 安全性と信頼性: 隔離環境と厳格な検証ループにより、科学計算における誤動作やデータ破損のリスクを低減しました。
• スケーラビリティ: 異なる能力の LLM を柔軟に組み合わせることで、コストと性能のバランスを最適化できます。
• 人間中心の AI: 完全に自律的な AI ではなく、クローズドループタスクでは完全自律、半自律・オープンエンドタスクでは人間の専門知識と協調する「Human-in-the-loop」アプローチの重要性を再確認しました。

今後は、ドメイン固有の LLM のファインチューニングや、より高度な推論能力の向上を通じて、このフレームワークがより複雑で創造的な科学発見の領域へと拡張していくことが期待されます。