Evaluation of Medical Vision Language Models HuluMed and MedGemma, and general purpose chatbots Gemma 3, ChatGPT Plus, and Claude Pro on real previously unseen wound images

技術要約：実臨床の創傷画像における医療用ビジョン・ランゲージモデル（VLM）の評価

問題提起
慢性創傷の評価は、創傷の形態、組織組成、血管特性、および感染リスクを正確に解釈する必要がある、臨床的に極めて要求度の高いタスクである。人工知能（AI）を用いた医療画像の解釈は探索されてきたが、従来の畳み込みニューラルネットワーク（CNN）に依存する手法は、主にセグメンテーションや組織分類といった限定的なタスクに留まっており、複雑な臨床管理に必要な広範な推論能力を欠いていた。近年のビジョン・ランゲージモデル（VLM）は、視覚的解釈と臨床的推論を橋渡しするために登場したが、医学的に特化したモデル（ヘルスケア用に微調整されたモデル）が、特定の創傷ケア領域において汎用的なマルチモーダル・システムを一貫して上回るかどうかは明らかになっていない。さらに、既存のベンチマークは、構造化された管理に関する質問を含む、実世界の未学習の臨床画像ではなく、精選されたデータセットに依存していることが多い。

方法論
本研究では、精選された20枚の実世界の未学習の創傷画像を用い、6つのVLM（4つのオープンソース／医学特化型モデルと2つの商用汎用システム）の性能を評価した。データセットは、機関審査委員会（IRB）の承認を得た匿名化されたものであり、糖尿病性／神経障害性潰瘍、虚血性／動脈不全、静脈性潰瘍、外科的創傷、切断関連創傷、リンパ浮腫関連創傷を含む多様な病因を網羅している。

評価フレームワークは、直接的な視覚的解釈と高次の臨床的推論の両方を評価するように設計された、構造化された12問の臨床マトリックスで構成された。質問内容は以下の通りである：

1. 病因の分類。
2. 血管評価および介入の適応。
3. 形態学的分析（線維素組織、肉芽組織の被覆）。
4. 病理学的トリアージ（感染リスク）。
5. 診断および処置計画（画像診断の必要性、デブリードマンの設定）。
6. 予後推論および高度な管理（ドレッシング選択、圧迫療法、陰圧閉鎖療法、皮膚代替品）。

臨床リファレンス・スタンダード（基準）は、専門家パネルによって確立され、各症例に対して特定のテキスト基準を用いて独立してアノテーションが行われた。モデルはゼロショット条件下でテストされた。回答は厳格なバイナリ・フレームワークを用いてスコアリングされた。モデルの出力が専門家によって定義された絶対的な医学的基準と一致した場合のみスコア1が付与された。ヘッジング（言葉を濁すこと）、構造的な曖昧さ、または非コミット的な言語表現を示す回答はスコア0とされ、明確で実行可能な決定を提供できなかったモデルに対してペナルティが科された。

主な結果
240件の臨床家による判定（20症例 × 12質問）を通じて、明確な性能の階層構造が明らかになった：

• 商用汎用システム： ChatGPTが全体で最も高い精度（240件中174件の正解、72.50%）を達成し、次いでClaudeが149/240（62.08%）となった。
• オープンソース／医学特化型モデル： HuluMedがこのグループをリードし、96/240（40.00%）となり、次いでGemma 3（81/240、33.75%）、MedGemma 4B（62/240、25.83%）、MedGemma 27B（42/240、17.50%）が続いた。

性能分析：

• 視覚 vs 推論： すべてのモデルは、直接的な視覚的認識（例：壊死、肉芽組織、または目に見える感染兆候の特定）を伴うタスクにおいては、視覚的所見を管理計画へと統合するタスク（例：画像診断法の選択、デブリードマンの緊急性の判断、または特定の治療法の推奨）と比較して、相対的に良好なパフォーマンスを示した。
• 特化 vs 汎用： 医学的な微調整が優れた結果をもたらすという仮説に反して、最先端の汎用モデルは医学特化型の代替モデルを大幅に上回った。特筆すべきは、MedGemmaのいずれのバリアントも、非医学用のベースラインであるGemma 3を上回らなかった点である。
• 失敗モード： 医学特化型モデル、特にMedGemmaは、過度な不確実性、言語的な冗長性、および病因の混乱（例：動脈性と静脈性の原因の誤分類）を頻繁に示した。また、虚血性創傷において灌流の回復前にデブリードマンを提案するなど、不適切な管理推奨を生成した。ClaudeのスコアがChatGPTよりも低かった理由は、厳格なバイナリ・スコアリング・スキームにおいてペナルティの対象となる、保護的かつ条件付きの言語を使用する傾向に一部起因している。

意義と主張
著者らは、実世界の未学習の画像を利用し、診断を超えて管理計画までを含む臨床的に構造化されたフレームワークを用いることで、本研究が実世界の創傷ケアの意思決定支援を反映するベンチマークを提供すると主張している。主要な知見は、現在の最先端の汎用マルチモーダル・システムは、医学特化型のオープンソースの代替案よりも大幅に強力な創傷分析性能を示すということである。これは、複雑な創傷管理タスクにおいては、大規模な事前学習から派生した広範なマルチモーダル推論能力が、狭い領域特化型の微調整のメリットを現在は上回っていることを示唆している。

本論文は、VLMは文書化や臨床トリアージの補助ツールとして有望ではあるものの、高度な推論、処置計画、および自律的な信頼性において重大な限界が残っていると結論付けている。したがって、これらのシステムは現在、自律的な診断プラットフォームとしてではなく、臨床医の直接的な監督下にあるインタラクティブな意思決定支援補助ツールとして機能すべきであると著者らは断言している。本研究は、臨床展開の前に、マルチモーダル推論の向上とより厳格な評価手法が必要であることを強調している。