技術概要：臨床視覚言語モデルにおける医療文脈が意思決定を歪める

問題提起

視覚言語モデル（VLM）は、医療画像と自由形式のテキスト文脈（例：放射線報告書、臨床歴）に対する共同推論を活用し、臨床意思決定支援のためにますます提案されています。しかし、現実世界のシナリオにおけるその信頼性は十分に特徴付けられていません。現実世界の医療意思決定は、テキスト入力に不完全さ、矛盾、または偏りが存在する可能性がある、ノイズの多い不完全なドキュメントストリーム下で行われます。

本論文は、臨床的信頼性を脅かす 3 つの特定の失敗モードを特定しています：

1. モダリティへの過剰依存：視覚データが利用可能な場合でも、モデルが視覚的証拠よりもテキストの事前知識を優先する不均衡。
2. 無関係な履歴への誤った依存：電子カルテ（EHR）から取得された無関係または矛盾する臨床歴に脆弱であり、これが現在の意思決定を体系的に偏らせること。
3. プロンプト感応性：意味的に同等なプロンプト形式を使用した場合の予測の不一致により、臨床出力の安定性が損なわれること。

著者らは、現在のベンチマーク評価は、これらの失敗モードを捉えることに失敗していることが多いと主張しています。なぜなら、それらは通常、臨床ワークフローの動的でノイズの多い文脈をシミュレートするのではなく、クリーンで静的なテストセットに依存しているからです。

手法

本研究は、MIMIC-CXR データセットのバランスの取れた部分集合を使用して、胸部 X 線撮影タスクにおいて、一般領域のオープンモデル（LLaVA や Qwen など）、医療適応モデル（MedGemma など）、最先端の独自モデル（GPT-5 や Gemini 3 Pro など）を含む多様な 8 種類の VLM を評価しました。タスクは、2 値疾患表現型分類（異常 vs 正常）として枠組み化されており、「異常」は 5 つの胸郭病理（無気肺、心肥大、浸潤、浮腫、胸水）のいずれかの存在を示します。

実験デザインは、失敗モードを分離するために 3 つの特定のプロトコルを採用しています：

1. 選択的モダリティシフト（SMS）：モダリティの優位性を測定するために、画像とテキストの間に制御された矛盾を作成します。

   • テキストシフト：元の X 線写真を、逆の診断を持つ患者の臨床歴とペアリングします。
   • 画像シフト：元のテキストを、逆のクラスの X 線写真とペアリングします。
   • 単一モダリティベースライン：各モダリティの独立した寄与を決定するために、「テキストのみ」と「画像のみ」の入力を使用してパフォーマンスも測定します。

2. 時間的コンテキスト注入：無関係な履歴に対する堅牢性をテストするために、モデルに現在の胸部 X 線写真と報告書に加え、時間的に遠く、解剖学的に関連しないように生成された、最大 5 つの臨床的に現実的だが無関係な過去の報告書（例：膝の X 線、脳の MRI）を入力します。

3. 意味的プロンプト感応性：表面レベルの言い換えによる意思決定の安定性を評価するために、4 つの意味的に同等なプロンプト形式（標準 QA、ロールプレイ、公式相談、チェックリスト）を使用してモデルを評価します。

指標：

• 精度：正解に対する測定値。
• ネガティブフリップ率（NFR）：ノイズの多い条件下で誤分類されるようになった、ベースラインでは正しく分類されたサンプルの割合を定量化する堅牢性指標（例：テキストがシフトした場合や無関係な履歴が追加された場合）。
• Fleiss' Kappa：異なるプロンプト形式間でのプロンプト間合意を測定するために使用されます。

主要な結果

1. モダリティの優位性：テキストが画像を上回る

本研究は、視覚的証拠が利用可能な場合でも、VLM の意思決定がテキストモダリティによって支配されていることを発見しました。

• テキストシフトの影響：矛盾するテキストを導入すると、すべてのモデルで精度が壊滅的に低下しました。最先端モデル（GPT-5、Gemini 3 Pro）では、精度が約 0.83 から約 0.17–0.18（偶然の確率以下）に崩壊しました。LLaVA 1.5 や Qwen-2 VL などのオープンモデルでは、約 0.80 から約 0.20 に低下しました。
• 画像シフトの影響：元のテキストを維持したまま画像を置き換えた場合、精度の変化はわずかでした（例：GPT-5 は 0.83 から 0.82 に低下）。
• ネガティブフリップ率（NFR）：テキストの矛盾下では、NFR は極めて高く（0.31 から 0.66）、矛盾するテキストが以前に正しかった意思決定の 30–66% を誤りに転換させたことを示しています。対照的に、画像シフトの NFR は低く維持されました（0.02–0.15）。
• 単一モダリティのパフォーマンス：「テキストのみ」のパフォーマンスは、マルチモーダルなパフォーマンスと一致するか、それを上回る場合が多く、「画像のみ」のパフォーマンスは著しく低く（オープンモデルでは偶然のレベルに近い場合が多い）、視覚情報の独立した寄与が限定的であることを示しました。

2. 時間的コンテキストへの脆弱性

無関係な臨床歴はパフォーマンスを体系的に低下させましたが、その程度はモデルファミリーによって異なりました。

• 一般オープンモデル：高い感応性を示しました。LLaVA 1.5 の精度は、5 つの無関係な報告書により 0.79 から 0.66 に低下しました。NFR は著しく増加し（正しく予測されたものの最大 21% が誤りに転換）、大幅な影響を受けました。
• 医療適応モデル：結果は混合でした。MedGemma は比較的安定していましたが、MedGemma 1.5 は明らかな劣化を示しました。
• 最先端モデル：最も堅牢であることを示しました。GPT-5 と Gemini 3 Pro は、精度の低下が最小限で、NFR が非常に低く（5 つの妨害要素があっても 3% 未満）、長いコンテキストノイズをフィルタリングする能力が優れていることを示唆しましたが、失敗モード（無関係なテキストへの依存）は依然として存在しました。

3. プロンプト感応性と不一致

モデルの予測は、特に弱いモデルにおいて、プロンプト形式に非常に敏感でした。

• 合意（Fleiss' Kappa）：最先端モデル（Gemini 3 Pro、GPT-5）は、プロンプトのバリエーションに対して「優秀な」合意（κ > 0.75）を示しました。一方、Janus-Pro や LLaVA 1.5 などの弱いオープンモデルは、「貧弱な」合意（κ < 0.40）を示し、予測が表現に基づいて頻繁に変化しました。
• 複雑性の増幅：プロンプト感応性は、長いコンテキスト入力（マルチヒストリー設定）と組み合わされたときに増幅され、弱いモデルのさらなる劣化を引き起こしました。

意義と主張

本論文は、現在の VLM が、テキスト信号が視覚的証拠を上書きする体系的なモダリティの不均衡を示していると主張しており、この現象を「モダリティの崩壊」と呼んでいます。この挙動は、一般領域、医療適応、最先端のモデル全体にわたって持続しており、ドメイン適応だけでは真の視覚的グラウンディングを確保するには不十分であることを示唆しています。

著者らは以下の点を強調しています：

• ベンチマーク精度では不十分：静的なテストセットにおける高い集計精度は、ノイズの多い、矛盾する、または外部ソースから取得された入力がある臨床環境での信頼性を保証するものではありません。
• コンテキストは安全性リスクである：検索拡張生成（RAG）やエージェント型パイプラインの統合は、モデルが無関係または矛盾する歴史的データを信頼性高くフィルタリングできないため、重大なリスクをもたらします。
• プロンプトの脆弱性：臨床的信頼性はプロンプト感応性によって損なわれており、これは機関間でのドキュメントスタイルのばらつきが、同じ患者データに対して異なる診断結果をもたらす可能性があることを意味します。

本研究は、これらのモデルが臨床実践を考慮される前に、明示的な安全対策とストレステストプロトコルが必要であると結論付けています。これらのプロトコルは、クリーンなテストスタイルの質問にのみ依存するのではなく、現実的な摂動下でのコンテキスト依存性、モダリティの寄与、および意思決定の一貫性を具体的に評価する必要があります。