Prompting with the human-touch: evaluating model-sensitivity of foundation models for musculoskeletal CT segmentation

この論文は、骨やインプラントのセグメンテーションタスクにおいて、11 種類のプロンプタブル基盤モデルを評価した結果、モデルやプロンプト戦略によって性能が大きく異なり、特に人間のプロンプトを使用すると性能が低下し、モデルがプロンプトのばらつきに敏感であることを示し、人間主導の環境での最適なモデル選出の難しさを浮き彫りにしました。

要約

この論文は、**「AI に画像を分割させる際、人間がどこを指し示すか（プロンプト）が、結果にどれくらい影響を与えるか」**を調べた研究です。

医療用 AI、特に「骨」や「人工関節」を CT スキャン画像から自動で切り取る（セグメンテーションする）技術は急速に進化しています。しかし、これまでの評価は「AI が完璧な答えを知っている状態（理想のヒント）」で行われることが多く、**「実際の人間が適当にクリックしたり、枠を描いたりした場合」**の性能はあまりわかっていませんでした。

この研究は、その「理想と現実のギャップ」を解明するために、20 人の医学部学生に協力してもらい、実際に AI に指示を出してもらって実験を行いました。

以下に、難しい専門用語を使わず、日常の例え話で解説します。

---

🍳 料理のレシピとシェフの話

この研究を料理に例えてみましょう。

• AI モデル（ファウンデーションモデル） = 天才シェフ
• CT スキャン画像 = 食材が入った冷蔵庫
• プロンプト（指示） = 客からの注文（「ここを切って」「この骨だけ取って」）
• セグメンテーション結果 = 出来上がった料理

1. これまでの問題点：「完璧な注文」しか見ていなかった

これまでの研究では、AI に対して**「料理の完成図（正解）」をそのまま「注文」として渡す**という、非常に理想的なテストをしていました。
「この骨の輪郭はここです、ここを切り取ってください」と、AI が迷う余地のない完璧な指示を出していたのです。
これでは、AI が本当に「人間と協力して料理できるか」はわかりません。

2. この研究の実験：「人間が注文する」

今回の研究では、20 人の学生（シェフの助手）に、CT 画像を見て「ここが骨だから、枠を描いて」と指示を出させました。

• 人間は完璧ではありません。指す位置が少しずれたり、枠の大きさが微妙に違ったりします。
• この「人間の少しのズレ」が、天才シェフ（AI）の料理（分割結果）にどう影響するかを調べました。

🔍 発見された 3 つの重要なこと

① 「理想の注文」と「人間の注文」では、結果が違う

AI は、完璧な指示（正解の輪郭）をもらえば素晴らしい料理を作れます。しかし、人間が少し不正確に指示を出しただけで、料理の出来栄え（精度）が少し落ちてしまいました。
これは、「AI の性能テストで報告されている数値は、実際の人間が使う場面では少し過大評価されているかもしれない」という警告です。

② 骨の形によって、難易度が違う

• 手首の骨のような丸くて単純な形は、人間が指しても AI が理解しやすく、結果も安定していました。
• 骨盤や人工関節のように、形が複雑で、金属の輝き（アーチファクト）があったり、骨と骨の境目が曖昧な場合は、人間の指示のズレが大きなミスに繋がりました。
  • 例え話： 「リンゴを切ってください」と言われれば誰でもできますが、「複雑な形をした根菜の皮を、傷つけないように剥いてください」と言われると、誰がやっても結果にバラつきが出ます。

③ AI によって「頑丈さ」が違う

すべての AI が同じように敏感だったわけではありません。

• 一部の AI は、指示が少し変わっただけで、骨の形を大きく取り違えてしまいました（敏感すぎる）。
• 一方で、**「nnInteractive」や「SAM2.1」**といった特定の AI は、人間の指示のズレに対して比較的強く、安定した結果を出しました。
  • 例え話： 風が少し吹いただけで倒れる「砂の城」のシェフもいれば、多少の風なら平気な「石の城」のシェフもいる、ということです。

💡 この研究が教えてくれること

1. AI を選ぶときは「人間との相性」も重要
   単に「精度が高い」というだけでなく、「人間が少し不正確な指示を出しても、ちゃんと仕事をしてくれるか（頑丈さ）」という基準で AI を選ぶ必要があります。
2. 評価方法の見直しが必要
   これまでの「完璧な指示でのテスト」だけでは、実際の病院での使い勝手は測れません。「人間が実際に使うシミュレーション」を含めた評価が、これからは重要になります。
3. 人間と AI はチームワーク
   AI は万能ではありません。人間が指示を出す際、複雑な部分（骨盤や人工関節など）では特に注意が必要であり、AI もその弱点を理解してサポートする必要があります。

🏁 まとめ

この論文は、**「AI には完璧な指示ではなく、人間らしい『少しのズレ』を含んだ指示を与えてテストしましょう」**と提言しています。

AI が病院で本当に役立つためには、教科書通りの完璧な環境だけでなく、**「人間が慌てたり、少し間違ったりする現実の現場」**でもしっかり動けるかどうかを確認することが大切だ、というメッセージが込められています。

研究者たちは、この実験で使ったデータやコードを公開しており、世界中の誰でも「AI と人間のチームワーク」をさらに研究できるようにしています。

技術概要

この論文「Prompting with the human-touch: evaluating model-sensitivity of foundation models for musculoskeletal CT segmentation（人間のタッチによるプロンプティング：筋骨格系 CT セグメンテーションのための基盤モデルのモデル感度評価）」は、医療画像セグメンテーションにおけるプロンプタブル・ファウンデーションモデル（FM）の性能を、理想的なアルゴリズム生成プロンプトではなく、実際の人間によるプロンプトのばらつきという観点から評価した研究です。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

---

1. 問題定義 (Problem)

近年、Segment Anything Model (SAM) に代表されるプロンプタブル・ファウンデーションモデルが医療画像セグメンテーションに応用されています。しかし、既存の評価研究には以下の重大な課題がありました。

• 「理想的」なプロンプトへの依存: 多くの研究が、参照セグメンテーションマスクからアルゴリズム的に生成された「完璧な」プロンプト（点や枠）を使用しています。これらは現実の人間が手動で入力するプロンプトのばらつき（誤差、位置のズレ、形状の曖昧さ）を反映しておらず、実際の臨床現場での性能を過大評価する恐れがあります。
• 人間による入力変動の影響の不明確さ: 異なる専門家や同じ専門家による繰り返し入力において、モデルがどの程度安定して動作するか（ロバスト性）は十分に評価されていません。
• 評価の公平性と再現性のジレンマ: 公開データセットは多くのモデルのトレーニングに使われているため、公平な評価には非公開データが必要ですが、これにより研究の再現性が損なわれるという矛盾があります。
• 臨床タスクとの乖離: 既存のベンチマークは多様なデータセットでの汎化性能を重視する傾向があり、特定の臨床タスク（例：骨やインプラントの精密な分割）への適応性を深く評価できていません。

2. 手法 (Methodology)

データセットと観察者研究

• データ: 4 つの解剖学的領域（手首、下肢、肩、股関節）の CT スキャンを使用。公開データセット（TotalSegmentator）と非公開データ（Amsterdam UMC）を組み合わせ、公平性と再現性のバランスを図りました。
• 観察者研究: 20 名の医学部学生を参加者として、骨構造に対する「バウンディングボックス」と「中心点」のプロンプト入力を行いました。
  • 各サンプルを 2 回入力させ、**イントラレーター（同一評価者内）**のばらつきを測定。
  • 異なる評価者間での比較を行い、**インタレーター（評価者間）**のばらつきを測定。
  • 合計 404 枚の軸位スライスで評価を実施。

評価対象モデルと戦略

• モデル: 2025 年 7 月時点で利用可能な 11 種類のプロンプタブル・ファウンデーションモデル（SAM, SAM2, Med-SAM, nnInteractive など）を評価対象としました。
• プロンプト戦略:
  • 2D: バウンディングボックス、中心点、およびその組み合わせ。
  • 3D: スライス選択（単一または複数）に基づき、2D 座標を 3D ボリュームに拡張する手法。
• 評価フロー:
  1. 参照プロンプトによる評価: 11 モデルを「理想的な」プロンプトで評価し、パラメータ数と性能のトレードオフ（パレート最適）に基づき、上位モデルを選定。
  2. 人間プロンプトによる評価: 選定されたモデルに人間が入力したプロンプトを与え、セグメンテーション性能と一貫性を評価。
  3. 感度分析: プロンプトのばらつき（入力誤差）とセグメンテーションの一貫性（出力の安定性）の相関を分析し、モデルの感度を定量化。

3. 主要な貢献 (Key Contributions)

1. 人間プロンプトのばらつきとモデル感度の定量化:
   従来の「理想的なプロンプト」評価ではなく、実際の人間による入力変動がセグメンテーション性能に与える影響を体系的に評価しました。
2. ハイブリッドな評価戦略の提案:
   非公開データ（公平な評価用）と公開データ（再現性確保用）を併用し、モデルのトレーニングデータ汚染を避けつつ、厳密なベンチマークを実現しました。
3. 臨床的に関連するタスクへの焦点:
   広範な臓器ではなく、筋骨格系（骨とインプラント）の CT セグメンテーションに特化し、臨床現場で重要な複雑な構造（関節、金属インプラントなど）におけるモデルの挙動を詳細に分析しました。
4. オープンソース化:
   プロンプト抽出とモデル推論のためのコードベースを公開し、研究の透明性と再現性を高めています。

4. 結果 (Results)

人間プロンプトの特性

• 位置精度: 中心点の人間と参照の中央値の距離は 1.50mm、バウンディングボックスの IoU は 90.56% でした。
• 構造による難易度: 手首の骨のような単純な構造では一貫性が高かった一方、骨盤や脛骨、インプラントなど複雑な形状やコントラストが低い構造では、位置誤差が大きく、評価者間の一貫性が低くなりました。
• 時間: 1 つのプロンプト入力に要する平均時間は、点で約 4.2 秒、ボックスで約 11.4 秒でした。

セグメンテーション性能

• 参照プロンプト vs 人間プロンプト:
  • 人間プロンプトを使用した場合、すべてのモデルで性能が低下しました（2D モデルで DSC 約 2.07%、3D モデルで約 1.06% の低下）。
  • これは、参照プロンプト（理想的な入力）に基づくベンチマーク結果が、人間が関与する実際の環境での性能を過大評価している可能性を示唆しています。
• モデルごとの性能:
  • 2D モデル: 自然画像でトレーニングされた SAM2.1（特に Combination プロンプト）が最も高い性能を示しました。
  • 3D モデル: 医療画像でトレーニングされた Med-SAM2（ボックスプロンプト）および nnInteractive が他を凌駕しました。

モデルの感度とロバスト性

• 全モデルの感度: 入力プロンプトのわずかな変動に対して、すべてのモデルが何らかの感度を示しました。
• ロバストなモデル:
  • nnInteractive（組み合わせプロンプト）と SAM2.1（点プロンプト）は、イントラレーター（同一評価者内）の変動に対しては比較的ロバストでした。
  • しかし、インタレーター（評価者間）の変動が大きくなると、これらのモデルも感度を示すようになり、完全にロバストなモデルは見つかりませんでした。
• 相関分析: プロンプトの変動とセグメンテーションの一貫性の間に負の相関（変動が増えると一貫性が低下）が確認されました。

5. 意義と結論 (Significance & Conclusion)

• 「理想」から「現実」への転換: 本研究は、医療 AI の評価において、アルゴリズム生成の「完璧な」プロンプトだけでなく、人間による入力の不確実性を考慮した評価が不可欠であることを強く示しました。
• 臨床導入への示唆: 高パフォーマンスなモデルであっても、人間のプロンプトのわずかな違いで出力が大きく変動する可能性があります。したがって、臨床現場での導入時には、モデルの絶対的な精度だけでなく、**入力変動に対する感度（ロバスト性）**を重要な評価指標として考慮する必要があります。
• 今後の方向性: 反復的な修正（イテレーティブ・リファインメント）や、テキストプロンプト（SAM3 など）の活用、あるいは評価者間のトレーニング標準化など、人間とモデルの相互作用を最適化するアプローチが今後の課題となります。

総じて、この論文はファウンデーションモデルの医療応用において、技術的な性能指標だけでなく、**「人間とのインタラクションの質」**が最終的な臨床価値を決定づける重要な要素であることを浮き彫りにした画期的な研究です。