An Automated, Contamination-Controlled VQA Benchmark for Evaluating Vision-Language Models on 3D Oncology Imaging

技術要約：3D腫瘍学用画像における視覚・言語モデルの評価のための、自動化された汚染制御型VQAベンチマーク

問題提起
視覚・言語モデル（VLM）は医療画像への応用が進んでいるが、臨床現場におけるその信頼性は依然として十分に特性化されていない。既存の公開ベンチマークには、以下の2つの決定的な欠陥がある：

1. データの汚染（Data Contamination）： 大規模なデータセットがVLMの事前学習コーパスに入り込んでいることが多く、高いスコアは真の視覚的知覚ではなく、画像と質問のペアの記憶（暗記）を反映している可能性がある。
2. テキストのみによる解決可能性（Text-Only Solvability）： 多くのベンチマーク項目は、画像を分析する必要がなく、質問のテキストと言語的バイアス（言語的先入観）のみを用いて正解を導き出すことができる。

さらに、腫瘍学の画像診断には特有の課題がある。研究対象は体積的（3D）であり、複数のスライスやシーケンスにわたる解釈を必要とするが、現在のほとんどのVLMは2D入力しか受け付けない。既存のベンチマークは、画像依存のパフォーマンスと、データセットへの習熟度や質問テキストによるパフォーマンスを区別できていない。

手法
著者らは、プライベートな放射線科レポートと3D腫瘍学画像から、汚染制御された多肢選択式VQAベンチマークを直接生成するために設計された、自動化されたエージェント駆動型のパイプラインを提示する。

• データソース： パイプラインは、4つの腫瘍学コホート（肝臓CT、肝臓MRI、肺CT、脳MRI、計2,509症例）からのプライベートな単一施設放射線科レポートと3D画像を利用している。第5の、完全にプライベートなインハウスの脳MRIコホートも同様に生成され、公開/プライベートの汚染アブレーション研究（表3）のために特別に確保され、メインのベンチマーク合計からは除外されている。これらのソースレポートはプライベートであり、公開されている事前学習データの一部ではないため、生成された質問はインスタンスレベルの汚染がないことが保証されている。
• 質問生成： システムは2つの補完的な質問タイプを生成する：
  1. スキーマ駆動型（RADSスタイル）： 確立された報告フレームワーク（LI-RADS、Lung-RADS、およびRANOに準拠した脳スキーマ）に基づいた、臨床医がレビューしたスキーマから決定論的に質問が作成される。これにより、標準化された、視覚的に回答可能な質問が保証される。
  2. レポート由来型： ラングリッジモデルが放射線科医の所見と印象に基づいて生成し、その後、回答がソーステキストによって明示的に支持されていることを確認するための「レポートに基づくチェック」によってフィルタリングされる。
• 画像処理： 2D入力モデルの場合、3Dボリュームは144枚の軸方向スライス（約128×128ピクセル/スライス）の12×12コンポジット・モンタージュとしてレンダリングされる。
• 評価プロトコル： 5つの現代的なVLMをゼロショット設定で評価した：2つの最先端のクローズドモデル（Claude Opus 4.6, GPT-5.2）、1つのオープンウェイトの最先端モデル（Qwen3-VL-30B）、および2つの医学専門モデル（MedGemma1.0-27B, MedGemma1.5-4B）。
• アブレーション研究： 視覚への依存度を分離するため、画像を空白入力に置き換えた状態（ブラインド条件）でモデルを再評価した。さらに、公開されている脳コホート（PDGM）を、一致させたプライベートなインハウスの脳コホートと比較し、画像分布への習熟度をテストした。
• 統計的厳密性： 本研究では、信頼区間のためのケース・クラスター化ブートストラップ法、および、真の効果とノイズを区別するための多重性制御テスト（ベンジャミーニ・ホッホバーグFDR補正および、等価性を判定するための二つの片側検定［TOST］）を採用している。

主な結果

• 変動するパフォーマンス： 単一のモデルがすべてのコホートにおいて信頼できるということはなかった。精度は、ランダムなベースライン（0.28）から0.81まで幅があった。モデルのランキングは、コホートや質問の種類によって大きく変動した。
• 画像独立性： いくつかの高性能な構成において、画像を取り除いても精度への影響はほとんどなかった。
  • 脳MRI（公開およびプライベートの両方）および肺CTにおいて、最先端モデル（例：Claude Opus 4.6）は、画像を取り除いた際の精度の低下が最小限であり、そのパフォーマンスが視覚的証拠よりも、言語的バイアスや質問テキストの信号に強く依存していることを示唆している。
  • 対照的に、MedGemma1.0-27Bは、ブラインド状態の肝臓CTおよびMRIにおいて大幅な低下を示し、特定の文脈においてより強い視覚的依存性があることを示した。
• 公開 vs プライベート脳画像： RADSスタイルの質問において、最先端モデルは、一致させたプライベートな画像と比較して、公開（PDGM）脳画像で0.17〜0.19高いスコアを示した。これは、公開データセットへの習熟度の可能性を示唆している。しかし、レポート由来の質問については、公開コホートとプライベートコホートの間でパフォーマンスに差は見られなかった。
• タスクの難易度： モデルは、定量的または段階的な判断（例：病変のサイズ、Lung-RADSカテゴリー、マスエフェクトのグレード）において著しく苦戦し、精度は偶然レベルをかろうじて上回る程度であった。対照的に、定性的な認識タスク（例：所見の有無）は、より高い精度で実行された。
• 統計的知見： FDR補正後、40の精度測定値のうち37が偶然レベルを超えていた。しかし、等価性テストにより、特定のタスク（例：脳MRIのレポート由来の質問）における高スコアモデルについて、視覚ありとブラインドのパフォーマンスの差は、±0.05の範囲内で統計的にゼロと等価であることが明らかになった。

意義と主張
本論文は、決定的なモデルのリーダーボードを提供することを目的としているのではなく、再生可能なプライベート生成ベンチマークが、画像依存のパフォーマンスと、質問テキストおよびデータセットの習熟度の効果を効果的に分離できることを実証することを目指している。

• 臨床的意義： 医学専門モデルを含む現在のVLMは、縮小された2D形式で提示された場合、体積的な腫瘍学研究の信頼できる読者にはまだなっていない。見出し上の精度は、特に言語的バイアスによって解決可能なタスク（例：肺CT、脳MRI）において、視覚的能力を過大評価している可能性がある。
• タスクの限界： 空間的な測定（サイズ、重症度判定）を扱う能力が単純な認識と比較して欠けていることは、精密な定量化に依存する管理主導のタスクに対して、現在の2D入力システムが不適切であることを示唆している。
• 方法論的貢献： 著者らは、このパイプラインをオープンなエージェント・スキルとして公開しており、各機関が自身のプライベートなデータを用いて、汚染制御されたベンチマークを再生成できるようにしている。これは、評価を静的な公開アーティファクトから、プライベートで再生可能なインハウスのテストへと移行させ、医療AI評価におけるデータ漏洩の問題に対処するものである。

本研究は、VLMは有望ではあるものの、複雑な体積的腫瘍学の設定における視覚的推論能力は依然として限定的であり、使用される画像モダリティや質問の種類に強く依存していると結論付けている。提案されたベンチマークは、これらの限界を特定し、知覚ではなく記憶に依存したモデルの展開を防ぐための厳格な枠組みを提供するものである。