テクニカル・サマリー：コーディング・エージェントは堅牢なベースラインを構築できるか？

問題提起

医療画像における競争力のあるディープラーニングのベースライン開発は、依然として高度に反復的で専門知識を要するプロセスである。それは、前処理、アーキテクチャ選定、最適化、データ拡張、損失設計、および評価にわたる、相互に依存する複雑な意思決定のシーケンスを必要とする。これらのタスクは臨床および機械学習の両方のドメイン知識を要求するため、ベースラインの開発には多大なコストと時間、そしてスケーラビリティの欠如が伴う。過去の自動化の試みは、ハイパーパラメータ最適化、ニューラルアーキテクチャ探索、あるいは自動データ拡張といった孤立した段階については対処してきたが、それらを医療画像に特化した統一されたワークフローへと統合することには失敗している。さらに、既存の大規模言語モデル（LLM）ベースのエージェントは、エンドツーエンドのベースライン生成のための特化したパイプラインとしてではなく、汎用的な研究アシスタントとして機能することが一般的である。

メソドロジー

著者らは、文献に基づいたプランニング、自動実装、および仮説駆動型の実験を統合したエージェンティックAIサイエンティスト・ワークフローを提案している。このフレームワークは、明示的な入力と出力を持つ独立したLLM駆動型の「スキル」に基づいたアプローチの上に構築されており、これらのスキルが開発プロセスをオーケストレートする。ワークフローは、以下の3つの連続したパイプラインで構成される：

1. SOTA知識パイプライン： このパイプラインは、生のデータセットを初期の開発計画へと変換する。臨床および機械学習の両方の観点から二重の分析を行い、主要な課題とデータセットの特性を特定する。関連する文献やチャレンジレポートを合成し、設計軸（アーキテクチャ、最適化、拡張、損失関数）にわたってエビデンスを比較する。不確実または相反する推奨事項は、実験的な仮説として定式化される。また、このパイプラインはコードリポジトリを検査し、再利用可能なコンポーネントと実装が必要なコンポーネントを識別する。
2. モデルセットアップ・パイプライン： 開発計画に基づき、このパイプラインは実行環境を構成し、特定のデータローディング、前処理、モデルアーキテクチャ、最適化戦略、損失関数、および評価指標を実装する。これらのコンポーネントを共有のPyTorch Lightningフレームワークに統合する。特筆すべき点として、データ拡張ポリシーは、後続の実験フェーズで最適化されるため、ここでは除外されている。
3. 実験パイプライン： このパイプラインは、エビデンスに基づいた実験を通じてベースラインを反復的に洗練させる。制限のないハイパーパラメータ空間を探索するのではなく、以下の科学的ワークフローに従う：
   • 仮説生成： 評価基準を定義し、文献に裏付けられた代替案を優先しながら仮説をテストする。
   • 構造化された実行： ルールベースのロジックが次に評価すべきコンポーネントを選択し、再利用可能なテンプレートが実験構造を定義する。
   • エビデンス・トラッキング： 永続的な**実験ツリー（experiment tree）**が、正および負の両方のエビデンスを記録する。拒絶された実験は、将来の決定を導くための負のエビデンスとして保持され、エージェントが非生産的な方向に立ち戻ることを防ぐ。
   • 制約： パイプラインは、画像ベースの検査と文献による制約を用いて、データ拡張に関する臨床的に妥当なパラメータ範囲を推定する。

プロセス全体は、Claude Code（具体的にはClaude Sonnet 4モデル）を使用してオーケストレートされており、スキルは構造化されたMarkdown、YAML、およびCSVアーティファクトを交換するタスク固有のプロンプトテンプレートとして実装されている。人間の監督は、研究者がアーティファクトを検証し、提案された実験を開始する軽量なレビュー・チェックポイントを通じて維持されるが、報告された実験において手動のコード修正は必要とされなかった。

主な貢献

• 統合されたエージェンティック・ワークフロー： 本論文は、文献レビュー、コード生成、および仮説駆動型実験を、医療画像のための単一の結束したパイプラインへと組み合わせた新しいフレームワークを提示しており、孤立した自動化タスクを超越している。
• スキルベースのアーキテクチャ： システムは、開発プロセスを、構造化されたアーティファクト上で動作する、専門化され再利用可能なスキル（データ記述、データ準備、SOTA知識、モデルセットアップ、実験）へと分解しており、透明性と再現性を確保している。
• 永続的な実験ツリー： メタデータのみを記録する標準的な実験追跡ツール（例：MLflow、Weights & Biases）とは異なり、このワークフローは、将来の意思決定に積極的に影響を与えるために、受理された実験と拒絶された実験の両方の構造化されたツリーを維持する。
• タスク間の汎用性： このワークフローは、基礎となるエージェント・ロジックのタスク固有の再設計を必要とせずに、ヘテロジニアスなタスク（セグメンテーション、分類、検出）に適応するように設計されている。

結果

本フレームワークは、4つの公開医療画像ベンチマーク：PUMA（組織セグメンテーションおよび核検出）、MILK10k（分類）、およびMIDOG25（非定型有糸分裂検出）で評価された。

• パフォーマンスの向上： すべてのタスクにおいて、実験パイプラインは検証パフォーマンスを一貫して向上させた。最大の利得は、「実験探索」フェーズ、特にアーキテクチャ探索において観察された。
• リーダーボードの順位：
  • PUMA： 組織セグメンテーションおよび核検出の両トラックにおいて、15チーム中6位を獲得。
  • MILK10k： 外部データセットを使用していない手法の中で、125件の提出物中31位を獲得。
  • MIDOG25： 得られたモデルは、異なるスキャナー、腫瘍タイプ、種に対して強いドメイン汎化能を示し、検証F1スコア0.855、ホールドアウトテストF1スコア0.847を達成した。
• 効率性： ワークフローは、最初のトレーニング実行から最終選択まで2〜7日間（測定値）で競争力のあるベースラインを生成し、エンジニアリングの労力を大幅に削減した。
• 洗練プロセス： 実験ツリーは、初期の文献に基づく決定（例：モデルアーキテクチャの変更）を修正し、他の決定（例：最適化戦略）を検証するようにエージェントを効果的に導いた。例えば、MIDOG25では、30回の実験（17回受理、13回拒絶）を通じて、検証F1スコアが0.757から0.855へと向上した。

意義と主張

著者らは、スキルベースで文献に導かれたエージェンティック・ワークフローは、高いパフォーマンスを維持しながら、競争力のある医療画像ベースラインの開発に必要なエンジニアリングの労力を大幅に削減できると主張している。本研究は、このようなワークフローが以下のことを可能にすることを示している：

1. ML開発ライフサイクルの大部分を自動化し、研究者の役割を実装から監督および科学的推論へとシフトさせる。
2. 専用のドメイン適応戦略を必要とせずに、多様な医療画像ドメインに汎化する堅牢で再現可能なベースラインを生成する。
3. スケーラブルな医療画像研究への実用的な道筋を提供し、専門家が仮説生成と臨床的解釈に集中できるようにする。

論文では、個々のコンポーネントをアブレーション研究によって分離して評価するのではなく、統合されたワークフローを評価していることを控えめに述べている。また、単一のランダムシードの使用、同一予算下での人間が開発したベースラインとの比較の欠如、および予期せぬ発見に応じてワークフローを自律的に再設計したり文献を再訪したりする現在の能力の欠如といった限界も認めている。それにもかかわらず、結果は、構造化されたAIサイエンティスト・ワークフローが、医療画像における複雑で反復的な科学的プロセスを自動化するための実行可能なアプローチであることを示唆している。