🤖 AI

Contextualized Evaluation of Vision Language Models through Dynamic, Multi-turn Interactions

本論文は、従来の評価手法と比較して、マルチモーダル大規模言語モデルにおけるより顕著かつ現実的な視覚的ハルシネーションを明らかにすることによって、静的なベンチマークと実世界のアプリケーションとの間の溝を埋める、動的なマルチターン・インタラクション・フレームワークであるCEDIを導入するものである。

原著者： Yijiang Li, Huiqi Zou, Bingyang Wang, Ziang Xiao

公開日 2026-07-17

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yijiang Li, Huiqi Zou, Bingyang Wang, Ziang Xiao

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ロボットに世界の「見え方」を教えようとしている場面を想像してみてください。長い間、科学者たちはロボットに一枚の画像を見せ、「何が見えますか？」と問いかけることで、彼らのテストを行ってきました。それは、ロボットが写真について短いエッセイを書かなければならない「抜き打ちテスト」のようなものです。もしロボットが主要な要素を正しく捉えていれば、成績は「A」になります。しかし、現実の世界では、私たちはただ写真をじっと見つめてエッセイを書くわけではありません。私たちはデバイスと会話をします。「あれは犬ですか？」と聞き、次に「首輪は何色ですか？」と聞き、さらに「待って、あれは犬ですか、それともキツネですか？」と続けます。私たちは会話をし、考えを変え、混乱します。問題は、従来の「抜き打ちテスト」形式では、ロボットが実際に私たちとチャットをしている時に犯してしまうミスを捉えられないことです。ロボットはテストには合格しても、会話においては失敗することがあり、チャットを継続させるためだけに、そこに存在しない事実をでっち上げることがあります。これは、ロボットが車を運転したり、医師を助けたりする場合、事実を捏造することは非常に危険なことなので、大きな問題となります。私たちは、実際に使われている方法、つまり、乱雑でやり取りのあるチャットの中で彼らをテストする方法を必要としています。

この論文は、これらの「視覚言語モデル（VLM）」をテストするための新しい方法であるCEDIを紹介しています。CEDIを、単なるテストではなく、「三人による劇」と考えてみてください。まず、ロボット（テストされるモデル）がいます。次に、探偵（自動化された試験官）がいます。そして、裁判官（採点者）がいます。探偵は単にロボットに写真を見せて立ち去るわけではありません。探偵には、その写真の秘密の地図（「シーングラフ」と呼ばれます）と、「駐車場を見つける」といった特定の目標が与えられます。そして、探偵はロボットとの会話を開始し、チャットが進むにつれて、より難解で具体的な質問を投げかけていきます。探偵は「赤い車はありますか？」と尋ね、もしロボットが「はい」と答えたら、探偵は「そのモデルは何ですか？」と追及したり、あるいは、青い車が存在しない場合に「なぜ青い車がそこに停まっているのですのか？」と問いかけることで、ロボットを騙そうとしたりします。目的は、ロボットが会話を維持するために、嘘をつき始める（ハルシネーションを起こす）かどうかを見極めることです。

著者らは、この「探偵」方式が、従来の「抜き打ちテスト」形式よりも嘘を見抜くのにずっと優れていることを発見しました。彼らがいくつかの異なるロボットに対してCEDIを使用したところ、ロボットは従来のテストが示したよりも大幅に多くの架空の詳細をでっち上げていることが判明しました。例えば、あるデータセットでは、この新しい手法を用いることで、ロボットの「ハルシネーション率」が従来の方法と比較して5〜23パーセントポイントも跳ね上がりました。また、会話が長くなるほど、ロボットは嘘をつく傾向がはるかに強くなりました。チャットが進むにつれて、ロボットは自分自身の以前の回答に混乱し、まるでメッセージがどんどん間違っていく「伝言ゲーム」のように、自分自身の間違いを強化し始めてしまうようです。

また、論文では、ロボットが「分かりません」と言うのが非常に苦手であることも示されました。探偵が、偽の前提（例えば、人がいないのに「その男性は何を持っていますか？」と問うなど）に基づいた質問をしたとき、ロボットはしばなしっかりと答えようとし、架空の人物や帽子を捏造してしまいました。彼らは、誤った考えを拒絶すべき場面で最も苦戦しました。このシステムにおける新しい「裁判官」は、特殊なグラフ照合スコアを使用しており、従来のツールよりも一貫してこれらの嘘を捉えることができ、人間の裁判官の意見とも従来の方法より高い精度で一致しました。

要約すると、この論文は、ロボットを単一の質問でテストする従来の方法が、彼らの問題の大部分を見逃していることを示唆しています。動的で多段階の会話へと切り替えることで、これらのロボットは、特に会話を続けようとしたり、誤った前提に騙されたりした際に、はるかに嘘をつきやすいことが分かります。著者らは、ロボットが壊れていると言っているのではなく、彼らを静かな試験を受けているようにテストするのをやめ、会話をしている時のようにテストする必要があると主張しています。なぜなら、そこにこそ本当の問題が隠されているからです。

技術要約：CEDI – 動的なマルチターン相互作用を通じたMLLMの文脈化された評価

問題提起

マルチモーダル大規模言語モデル（MLLM）は、静的なベンチマークにおいて大幅な進歩を遂げているものの、実世界のアプリケーションにおけるその有効性は依然として不透明である。核心となる問題は、現在の評価パラダイムと実際の使用法との間にある根本的な乖離である。既存のベンチマークは通常、静的でシングルターンのものであり、制御された環境下で行われるが、実世界のMLLMとの相互作用は本質的に動的であり、マルチターンかつ文脈依存的である。このギャップにより、複雑でインタラクティブな対話の中で初めて顕在化する失敗モード（特に、画像の内容に忠実でない出力を生成する視覚的ハルシネーション）の検出が妨げられている。さらに、現在の評価手法は、長いコンテキストにおけるエラーの蓄積や、誤った前提を拒絶できないモデルの能力を捉えることに失敗することが多い。

メソドロジー：CEDIフレームワーク

著者らは、評価を三者間相互作用として再構成するCEDI（Contextualized Evaluations of MLLMs through Dynamic, multi-round Interactions）を提案している：

被評価者（Evaluatee）: テスト対象となるMLLM。
試験官（Examiner）: 半構造化されたマルチターン・インタビューを実施する自動エージェント。
採点者（Grader）: 対話の忠実度（faithfulness）と網羅性（coverage）をスコアリングする自動エージェント。

1. 動的かつ文脈化された試験官

人間の評価インタビューに着想を得て、試験官はモデルの応答に基づいて質問戦略を適応させる。

シーングラフ表現: 質問が言語的バイアスではなく視覚的根拠に基づいていることを保証するため、試験官はオブジェクト、関係、属性を表すシーングラフ（ $G = (V, E, A)$ ）を利用する。
コンテキスト・モデリング: 試験官は、特定の目標（例：「私は視覚障害があり、トイレを探している」）を持つ一人称視点のユーザーシナリオをシミュレートする。そして、会話を駆動するために、フルサイズのシーングラフから関連するサブグラフ（ $G_s$ ）を選択する。
探索戦略: インタビューは $G_s$ $G_{s}$ 上のトラバーサル（探索）としてモデル化される。各ターンにおいて、試験官はターゲットとなるノードを選択し、以下の4つの質問タイプのうち1つを生成する：
- 通常（Regular）: 観察可能な要素に関する根拠に基づいた問い。
- フォローアップ（Follow-up）:* 前の対話に条件付けられた質問であり、一貫性をテストする。
- 敵対的（Adversarial）: 存在する可能性はあるが実際には存在しないオブジェクトや関係に関する質問であり、視覚的根拠に対する依存度と統計的な共起性のどちらに依存しているかをテストする。
- 回答不能（Unanswerable）: 作成された前提（偽のオブジェクトや関係）に基づく質問であり、誤った情報を拒絶するモデルの能力をテストする。
コンテキスト・スケーリング: 広範な視覚的網羅性を確保するため、試験官は画像ごとに複数の異なるコンテキストを生成し、単一の網羅的なキャプションを必要とせずに、クエリ対象となるサブグラフの和集合を拡大させる。

2. シーングラフに基づく採点者

採点者は、シングルターンの応答ではなく、蓄積された対話のトランスクリプトを評価する。

パース: LLMがトランスクリプトを解析し、物理的なエンティティをフィルタリングした予測シーングラフ（ $\hat{G}$ ）を生成する。
指標: 採点者は、 $\hat{G}$ $\hat{G}$ をグラウンドトゥルースのシーングラフ（ $G^*$ $G^{*}$ ）と比較するために以下を用いる：
- グラフ編集距離（Graph Edit Distance, GED）: $\hat{G}$ を $G^*$ に変形するための編集操作（挿入、削除、置換）のコストを測定する。挿入はハルシネーションを、削除は内容の欠落をペナルティとして課す。
- $\Delta$ Con: ノード親和性行列を通じて構造的類似性を測定する。
- 分解: 著者らは、精度（precision）と再現率（recall）を分離するために、 $GED_{hal}$ （ハルシネーション内容を特定）と $GED_{cov}$ （欠落した内容を特定）を定義している。

主な貢献

フレームワークの提案: シーングラフに導かれた動的な三者間相互作用へと、MLLMの評価を転換するCEDIの導入。
質問戦略の開発: 特定のハルシネーション挙動を引き出すために設計された、4つの異なる質問タイプ（敵対的および回答不能な質問を含む）を備えた半構造化インタビュー・プロトコルの開発。
評価指標: トランスクリプトレベルでハルシネーションの深刻度と視覚的網羅性の両方を定量化する、シーングラフベースの採点手法。これはCHAIRやMMHalといった既存の指標よりも高い人間との整合性を提供する。
実証的検証: 多様なモデル（オープンソースおよびプロプライエタリ）、データセット（VG, COCO, ADE20K）、およびドメインにわたる包括的な評価。

結果

ハルシネーションの誘発増加: CEDIは、キャプションベースやバイナリ形式の質問（例：POPE）、およびプロンプトのみのベースラインよりも、一貫して有意に多くのハルシネーションを露呈させた。Synthetic Visual Genome (SVG) データセットにおいて、CEDIはキャプションベースのベースラインと比較して、網羅性を3〜19パーセントポイント、ターンあたりのハルシネーション率（VALOR）を5〜23パーセントポイント向上させた。
人間との整合性: $GED_{hal}$ 指標は、すべてのモデルにおいて、人間がアノテーションしたハルシネーション数と一貫したピアソン相関（ $\rho = 0.22–0.33$ ）を示し、変動したり特定のモデルに対して負の相関を示したりするCHAIRやMMHalを上回った。
コンテキストおよび履歴の影響:
- コンテキスト・スケーリング: 画像あたりのコンテキスト数を増やすことは、ハルシネーション検出と網羅性を単調に改善させる。
- 対話履歴: モデルは自身の会話履歴を見ることが許されると、より頻繁にハルシネーションを起こし、しばしば以前の根拠のない主張を強化してしまう。
- 質問タイプ: モデルは、前提の拒絶を必要とする「回答不能」および「敵対的」な質問に対して特に脆弱である。
エラーパターン: 定性的分析により、ハルシネーションは存在しないオブジェクト（62%）が支配的であり、次いで誤った属性（20%）、誤った関係（15%）であることが明らかになった。

意義と主張

本論文は、CEDIがMLLMの**生態学的妥当性のある評価（ecologically valid assessments）**への一歩であると主張している。目標指向型のリアルなマルチターン相互作用をシミュレートすることで、CEDIは、長いコンテキストにおけるハルシネーションの蓄積や、誤った前提を拒絶できないといった、静的なベンチマークが見逃してしまう失敗モードを明らかにする。著者らは、このフレームワークが、モデルの失敗を診断し、実世界の展開に向けた信頼性の高いVLMの開発を導くための、より忠実な基盤を提供すると論じている。現在の実装は視覚的ハルシネーションに焦点を当てているが、基礎となる定式化は、より広範なタスクやアプリケーションにも汎用可能であると述べている。