技術要約: Imaging-101

問題提起

計算イメージング（間接的で、ノイズを含み、不完全な測定値から隠れた信号を復元するプロセス）は、天文学から医学に至るまで、あらゆる科学分野における定量的な発見の基礎となるものである。しかし、正しい再構成パイプラインを構築することは、データクリーニング、物理フォワードモデル、アルゴリズムの選択、および反復的なデバッグを処理するために深いドメイン知識を必要とするため、非常に手間がかかる作業である。大規模言語モデル（LLM）は、一般的なコーディングや科学的ワークフローの一部において習熟を示しているが、最先端のモデルがエンドツーエンドの計算イメージング・タスクを確実に解決できるかどうかは、依然として未解決の問いである。これらのタスクは、物理的な測定プロセス、数学的定式化、および数値ソルバーの共同的な推論を要求し、それらを厳格な数値検証を通過する実行可能なコードへと翻訳する必要がある。既存のベンチマークは、非視線（non-line-of-sight）イメージングにおけるセンサー強度（$1/r^4$）から波動振幅（$1/r$）への変換といった、物理的な慣習の微細なエラーや不適切なソルバー選択など、科学的な逆問題に特有の失敗モードを露呈させるには不十分であることが多い。

手法

このギャップに対処するため、著者らは、天文学、生物学、化学・材料科学、地球科学、医学、物理学の6つの科学ドメインにわたる、専門家によって検証された57の計算イメージング・タスクからなるベンチマーク、Imaging-101を導入する。

ベンチマークの構築

ベンチマークは、科学的な真正性と再現性を確保するために設計された、エキスパート・イン・ザ・ループ・パイプラインを通じて構築されている：

1. ソース・グラウンディング: すべてのタスクは、査読済み論文とそのオープンソースのリファレンス実装から派生している。
2. 標準化: タスクは、以下の標準化された4段階のパイプラインへと正規化される：
   • 前処理 (Preprocessing): 生の測定値を、フォワードモデルと互換性のある形式に変換する。
   • 物理フォワードモデリング (Forward Physics Modeling): フォワード演算子 $A$（および多くの場合その随伴演算子 $A^*$）を実装する。
   • 逆ソルバー (Inverse Solver): 潜在的な量を復元するために、反転アルゴリズムを選択し実行する。
   • 可視化 (Visualization): 再構成された信号をレンダリングする。
3. 検証: ドメインエキスパート（博士レベル）が、元の出版物に対するリファレンス実行の再現性を検証する。パイプラインは、リファクタリングとユニットテスト合成のためにAI支援（Claude Code）を利用しているが、最終的な正当性の判断権限はエキスパートが保持する。
4. 評価指標: タスクは較正された数値許容誤差を用いて採点される。エンドツーエンドの成功は、PSIMやSSIMとは異なり、グローバルな振幅スケーリングに対して頑健な、正規化相互相関（NCC）および正規化平方根平均二乗誤差（NRMSE）によって測定される。

評価トラック

Imaging-101は、異なるエージェント能力を調査するために、3つの補完的な評価トラックを採用している：

1. プランニング (Planning): エージェントは、問題文に基づいて構造化された計画（アルゴリズムの説明とモジュール設計）を生成する。正当性は、リファレンス計画に対してドメインエキスパートによって判断される。
2. 関数レベル (Function-Level): エージェントは、パイプライン内の特定の関数を実装する。正当性は、厳格な数値許容誤差（決定論的 vs 確率論的）を伴う一連の pytest ユニットテストを通過することによって決定される。
3. エンドツーエンド (End-to-End): エージェントは完全なパイプラインコードを生成し、実行し、再構成画像を作成する。成功は、リファレンスに対する画像品質の閾値（NCC/NRMSE）を満たすことによって定義される。

主な貢献

• Imaging-101 ベンチマーク: 査読済み文献に基づいた57のタスクのコレクションであり、6つの科学ドメインにわたるプランニング、関数レベル、およびエンドツーエンドの評価をサポートする。
• エキスパート監督による構築パイプライン: 研究論文を標準化された4段階のレイアウトに正規化し、スケーラブルで再現可能、かつ実行検証可能なベンチマークタスクを可能にする手法。
• 失敗モードの経験的特性評価: 現在のLLMを科学的な計算イメージングに適用した際の、具体的な能力ギャップを示す証拠を提供しており、これらは一般的なコーディングベンチマークで見られるエラーとは区別される。

結果

著者らは、57のタスクについて、7つの最先端LLM（Claude-4.6-Opus、GPT-5.4、DeepSeek-V3を含む）を評価した。

定量的パフォーマンス

• プランニング: GPT-5.4とKimi-k2.5が最も高い全体パス率（~52.6%）を達成し、Claude-4.6-Opus（50.9%）が僅差で続いた。前処理は最も困難なプランニング次元であった（平均パス率 67.9%）一方、逆ソルバーの選択は最も容易であった（88.5%）。
• 関数レベル: 実装段階においてパフォーマンスは大幅に低下した。モジュール全体のパス率（すべての関数がパスすることを要求）は、モデル間で1.8%から22.8%の範囲であった。逆ソルバーは、最も正しく実装するのが困難な要素であった（平均モジュールパス率 30.6%）。
• エンドツーエンド: 最も優れたモデルであるClaude-4.6-Opusは、29.8%の成功率を達成した。GPT-5.4は19.3%であった。ブラックボックス型エージェント（Claude Code）は56.1%を達成しており、より豊かな実行アフォーダンス（例：制限のないパッケージインストール、シェルフィードバック）がパフォーマンスを大幅に向上させることを示唆している。

失敗モード分析

評価により、一般的なコーディングエラーとは異なる体系的な失敗モードが明らかになった：

1. 科学的推論の失敗: 主要なエラーは表面的な構文ミスではなく、科学的推論の失敗であった。
   • 測定と物理の不一致: エージェントは、非視線イメージングにおけるセンサー強度（$1/r^4$）から波動振幅（$1/r$）への変換といった、重要な前処理ステップを省略することが多かった。
   • 不適切なソルバー選択: モデルは、フーリエ・プトグラフィ（Fourier ptychography）のような特殊な物理結合型ソルバー（例：qNewton-PIE）を、特定の逆問題の構造を無視した一般的なヒューリスティック（例：Adam）に置き換えることが頻繁にあった。
2. 数値的な慣習のドリフト: 最も一般的なコードのバグ（失敗の42.1%）は、誤った符号、スケール、軸の順序、または正規化の慣習（例：MRIにおけるMVUEコイル正規化の欠落）の使用であった。これらのエラーは、構造的には有効なコードを生成し、視覚的なチェックは通過するものの、厳格な数値的一致テストには失敗する。
3. エージェントの未完了: 失敗の28.2%は、エージェントがリフレクション予算を使い果たしてコードを生成できなかったことによるものであり、これは特に特殊なライブラリ（例：ehtim, deepwave）を扱う際に発生した。これは、数学的推論よりもAPIの習熟におけるボトルネックを示している。

重要性

本論文は、LLMは科学的ワークフローにおいて有望ではあるものの、現在のところ自律的な計算イメージングに求められる信頼性を欠いていると主張している。研究結果は、これらのパイプラインの「暗黒物質（ダークマター）」、すなわち単位の慣習、正規化係数、および測定モデルの結合に関する暗黙的なドメイン知識が、書かれた仕様には明示的に記述されておらず、現在のモデルによって体系的に見落とされていることを浮き彫りにしている。

著者らは、このギャップを埋めるためには、一般的なコーディングエージェントを超えて、スキル拡張型かつドメイン特化型のエージェントへと移行する必要があると結論付けている。彼らは、暗黙的な知識を再利用可能で検証済みのモジュール（スキルライブラリ）としてコード化することが、信頼できる科学的支援への実用的な道であると提案している。Imaging-101は、この方向への進展を追跡するための基礎的なベンチマークとして機能し、科学計算における真の信頼性は、単なるコード生成だけでなく、物理法則への忠実な遵守と数値的な精密さを要求することを強調している。