CXR-ContraBench: Benchmarking Negated-Option Attraction in Medical VLMs

技術的サマリー：CXR-ContraBench

問題定義：否定選択肢の誘引
本論文は、医療用視覚言語モデル（MVLM）における特定の臨床的に重要な失敗モードを「否定選択肢の誘引（negated-option attraction）」と命名して特定している。MVLM は放射線学ベンチマークにおいて集計精度が高いことをしばしば示すものの、所見（例：「浸潤」）とその明示的な否定形（例：「浸潤なし」）の両方を含む多肢選択問題が提示された場合、系統的な「極性の反転」を示す。

核心的な失敗は、視覚的証拠が肯定的な所見を支持しているにもかかわらず、モデルが否定選択肢を選択する際に発生する。これは単なる分類誤りではなく、画像に示されている所見（例：浸潤が見える）と直接矛盾する臨床的記述（例：「浸潤なし」と述べる）をモデルが発信する「存在側における意味的反転」である。著者らは、標準的な集計精度指標がこの失敗を隠蔽していると主張する。なぜなら、モデルは他の文脈では正しい概念を特定できる可能性があるが、回答空間に否定された表面形式が含まれる場合にのみ失敗するからである。さらに、論文は推論の信頼性を向上させるとしばしば仮定される思考連鎖（CoT）プロンプトがこの問題を一貫して解決できず、特に欠如側の診断タスクでは矛盾をむしろ増幅させる場合があると指摘している。

手法：CXR-ContraBench と QCCV-Neg
この失敗を診断し定量化するため、著者らは CXR-ContraBench（Chest X-Ray Contradiction Benchmark）を導入した。一般的な医療 VQA ベンチマークとは異なり、CXR-ContraBench は極性の混乱を分離するために制御された回答空間を設計した診断ツールである。

• ベンチマーク構築: ベンチマークは 3 つのプロトコルファミリーにまたがる。

  1. 内部 ReXVQA スライス: スパース性と規模をテストするための大規模な分布内データ（最大 3 万サンプル）。
  2. OpenI 回顧的監査: OpenI レポートと CheXStruct アノテーションから派生し、「存在」サブセット（所見が見えるが否定選択肢が存在する場合）と「欠如」サブセットを含む。
  3. 外部直接プロトコル: CheXpert の検証およびトレーニング分割を使用した専用テスト。これには「どの所見が存在するか？」を問う直接存在プローブと、「どの所見が存在しないか？」を問うレポート様式欠如プロトコルが含まれる。
  • 設計: 各質問は、ターゲット概念とその否定形、および少なくとも 1 つの肯定的なダミー選択肢をペアにする。この構造により、ゴールドスタンダードが肯定的な場合でも否定選択肢を選択する「極性混乱」予測を直接カウント可能にする。

• QCCV-Neg（否定のための質問条件付き一貫性検証器）: 著者らは再学習なしで動作する決定論的・事後検証器を提案する。これは 4 つの厳格な条件が満たされた場合にのみトリガーされる。

  1. 回答セットに明示的に否定された選択肢が 1 つだけ含まれている。
  2. ベースラインモデルがその否定選択肢を予測する。
  3. 質問の極性（存在対欠如）が安全に識別可能である。
  4. 残りの選択肢に、その概念の一意の肯定的対応物が存在する。
     トリガーされた場合、検証器は予測を決定論的に肯定的対応物へ再マップする。このアプローチは、モデルの一般的な推論を変更することなく、極性混乱エラーの特定のサブセットを監査し修復することを目的としている。

主要な結果
評価には MedGemma（4B および 27B）、Qwen2.5-VL、LLaVA 変種、CheXagent、GPT-4o を含む複数のバックボーンが含まれる。

• 系統的失敗: 直接 CheXpert 存在プローブにおいて、強力なモデルは深刻な失敗率を示す。MedGemma-4B と Qwen2.5-VL はそれぞれわずか 31.49% および 30.21% の精度しか達成せず、それぞれ 153 件を超える危険な「No X」反転が発生している。MedGemma-27B でさえ、精度が 51.91% に低下し、105 件の反転が発生している。
• 規模の確認: この失敗は小規模な検証セットのアーティファクトではない。135,754 件のレコードを持つ一致した CheXpert トレーニング分割プロトコルにおいて、MedGemma と Qwen2.5-VL は依然として存在質問の 62% 以上で否定選択肢の選択を発信している。
• CoT の非効率性: 思考連鎖（CoT）プロンプトは、存在プローブにおいて一部のモデルの反転頻度をわずかに減少させるが、それを排除するものではない。重要なのは、CoT が欠如側プロトコルにおいてエラーを増幅することである。例えば、CheXpert における LLaVA-Med の矛盾は、CoT 使用により 42 から 446 に増加した。
• 決定論的修復: QCCV-Neg 検証器は再学習なしで測定された極性混乱サブセットを正常に修復する。
  • 直接存在プローブにおける MedGemma-4B の場合、精度は 31.49% から 96.60% に跳ね上がり（153 件のすべての反転を修復）、
  • Qwen2.5-VL では 30.21% から 95.32% に上昇する。
  • 大規模トレーニング分割において、QCCV-Neg は測定されたすべての矛盾を除去し、両モデルの精度を約 95.6% に引き上げる。
• ロバスト性: この失敗は、非標準的な否定言い換え（例：「X の欠如」、「X の証拠なし」）に対しても持続する。元の文字通りの表面検証器はこれらの変種に対してカバレッジを失うが、検証器の言い換え認識拡張版はカバレッジを回復し、パフォーマンスを悪化させることなく矛盾を排除する。

意義と主張
本論文は、CXR-ContraBench が集計精度が臨床的に意味のある推論時の極性失敗を隠蔽する「沈黙の誤り」を露呈すると主張している。主な貢献は、スケーリングや CoT プロンプトでは信頼性高く修正されない、生成型 MVLM における固有の系統的失敗モードとして否定選択肢の誘引を分離することである。

著者らは、自らの発見は範囲は限定的であるが臨床的関連性は高いと強調している。

1. 測定可能性: 制御された回答空間を通じて、この特定の失敗はカウント可能かつ監査可能であることを実証する。
2. 修復可能性: これらのエラーの相当部分をモデルの再学習なしに推論時に決定論的に修復できることを示し、エラーは視覚的理解の根本的な欠如ではなく、回答空間の極性処理にあることを示唆する。
3. 限界: 著者らは QCCV-Neg が展開保証ではなく診断的緩和策であると明確に述べている。これは特定の回答空間の競合を対象としており、モデルが堅牢で転移可能な臨床的否定推論を獲得したことを意味しない。論文は、将来の研究が極性のクロスモーダル表現幾何学を調査すべきであると結論づけているが、現状ではこのベンチマークはこれらの具体的かつ危険なエラーを可視化する役割を果たす。