VIRTUE: Visual-Interactive Text-Image Universal Embedder

本論文は、ユーザーの視覚的指示（点、バウンディングボックス、マスクなど）に基づいて画像内の特定領域を処理し、従来のタスクで最先端のパフォーマンスを達成するとともに、新しい視覚的インタラクティブな検索タスクでも大幅な改善を実現する新しいマルチモーダル埋め込みモデル「VIRTUE」を提案し、その評価のために大規模な SCaR ベンチマークを導入したものである。

要約

この論文は、**「VIRTUE（ヴァーチュ）」**という新しい AI 技術について紹介しています。

一言で言うと、**「画像の『全体』だけでなく、ユーザーが指差した『特定の場所』も理解して検索できる、超賢い写真の翻訳機」**を作ったという話です。

これまでの AI と何が違うのか、わかりやすい例え話で解説します。

---

1. 従来の AI との決定的な違い：「全体」だけ見るか、「指差す」か

📸 従来の AI（CLIP など）：「全体像」しか見えないカメラ

これまでの画像検索 AI は、まるで**「遠くから全体を眺める観光客」のようでした。
「この写真には『犬』がいますね」と言えるのですが、「写真の左下にいる茶色い犬」だけを指定して検索しようとすると、「あ、写真全体に『公園』と『犬』がいるから、これも合ってるよ！」**と、違う犬や違う場所を勝手に選んでしまいます。

ユーザーが「この犬だけ！」と指差しても、AI は「全体」しか見ていないので、「指差した場所」を無視して、写真全体の雰囲気で検索してしまいます。

🎯 新しい AI「VIRTUE」：「指差す」ことができるガイド

VIRTUE は、**「写真に指を差せるガイド」のような存在です。
ユーザーが写真の「犬」の部分に枠（バウンディングボックス）を描いたり、クリックしたりすると、AI は「あ、この犬に注目してほしいんだね。でも、その犬がいる『公園』の雰囲気も忘れちゃいけないね」**と理解します。

これにより、**「公園にいる茶色い犬」と「公園にいる黒い猫」**を、同じ公園の写真の中から見事に区別して検索できるようになります。

---

2. どうやって実現したの？（仕組みのイメージ）

VIRTUE は、2 つの得意な AI を組み合わせて作られました。

1. 「切り抜き名人」の AI（セグメンテーションモデル）
   • これは、写真の中から「指差した場所」をピタッと切り取るのが得意な AI です。
   • 従来の AI は「切り抜く」のが下手で、犬の足まで切り落としたり、背景の草まで一緒に切り取ってしまったりしていました。でも、この「切り抜き名人」は、「犬の形」を正確に理解して切り取ることができます。
2. 「物語を作る」AI（大規模言語モデル）
   • これは、写真を見て「これは公園で犬が走っているね」と文章にするのが得意な AI です。

VIRTUE のすごいところは、この 2 つを**「チームワーク」**で動かしている点です。
「切り抜き名人」が「ここ（犬）を見て」と情報を渡し、「物語を作る AI」が「公園という背景も一緒に考えて」と全体像を補います。
「部分（犬）」と「全体（公園）」の両方を同時に理解することで、今までできなかった「指差し検索」が可能になりました。

---

3. 検証実験：「SCaR（スカー）」という新しいテスト

「本当に指差しができるのか？」を確認するために、研究チームは**「SCaR（スカー）」**という新しいテスト問題を作りました。

• テストの内容：
  • 写真に「犬」の枠を描きます。
  • 選択肢として、10 個の文章（キャプション）が出ます。
  • 正解例： 「芝生の上で座っている犬」
  • ひっかけ例： 「芝生の上で座っている猫」や「ベランダで座っている犬」
  • これらの中から、**「枠で囲んだ犬」**が正しく描写されている文章を選ぶテストです。

これまでの AI は、このテストで「犬」という単語だけを見て「猫」や「ベランダ」の文章を選んでしまい、大失敗していました。しかし、VIRTUE は**「枠の中の犬」と「枠外の芝生」の両方を理解**して、正解を導き出しました。

---

4. なぜこれが重要なの？（日常生活での活用例）

この技術が実用化されると、こんなことが可能になります。

• 写真整理アプリ：
  • 「この写真の左側の赤い車だけを探して」と言えるようになります。
  • 「この写真の右側の猫だけを探して」と言えるようになります。
• 買い物サイト：
  • 写真の「バッグ」だけを指差して、「このバッグと同じようなものを探して」と検索できます。
• 間違いの修正：
  • AI が「これは犬だ」と間違った認識をしたとき、ユーザーが「違う、これは猫だ」と指差しで修正すると、AI がすぐに学習して正しく認識し直すことができます。

---

まとめ

この論文は、**「AI に『全体』を見る目だけでなく、『指差し』で特定の場所を見る目も与えた」**という画期的な成果を発表しています。

これまでの AI が「遠くから眺める観光客」だったのに対し、VIRTUE は**「ユーザーの指差した場所を一緒に見てくれる、頼れるガイド」**になったのです。これにより、画像検索や写真の理解が、より人間らしく、便利になることが期待されています。

技術概要

VIRTUE: Visual-Interactive Text-Image Universal Embedder の技術的サマリー

本論文は、ICLR 2026 で発表された「VIRTUE (Visual-InteRactive Text-Image Universal Embedder)」という新しいマルチモーダル埋め込みモデルと、それを評価するための大規模ベンチマーク「SCaR」を提案する研究です。

1. 背景と課題 (Problem)

近年、視覚言語モデル（VLM）をベースとした埋め込みモデルは、テキスト指令に従う能力（Instruction-following）を備え、ゼロショット推論や検索タスクで高い性能を示しています。しかし、既存の埋め込みモデルには以下の重大な限界があります。

• 視覚的インタラクションの欠如: ユーザーが画像内の特定の領域（点、バウンディングボックス、マスクなど）を指定して「どの部分について検索したいか」を指示する「視覚的プロンプト」への対応が不足しています。
• グローバル表現への依存: 現在のモデルは画像全体を一つのベクトルとして扱うため、ユーザーが指定した特定のエンティティ（物体）と、その物体が存在する広範なシーン文脈（背景や関係性）を同時に考慮した検索が困難です。
• 既存アプローチの限界: 視覚プロンプトをテキストに変換して処理する方法は、空間的な正確性を失う傾向があり、単に画像を切り抜く（Cropping）方法は、物体とシーンの関係性（例：「テーブルの上にある」）といった構成的推論に必要な文脈情報を失ってしまいます。

2. 提案手法：VIRTUE (Methodology)

VIRTUE は、セグメンテーションモデルと事前学習済み VLM を統合し、視覚的インタラクションを可能にするユニバーサル埋め込みモデルです。

2.1 アーキテクチャ

VIRTUE は以下の主要コンポーネントで構成されます。

1. セグメンテーションモデル (SAM2):
   • 事前学習済みの SAM2 (Segment Anything Model 2) を使用します。
   • ユーザーからの視覚プロンプト（バウンディングボックス、クリック、マスク）を受け取り、画像から対象領域のセグメンテーション特徴マップを生成します。
   • インタラクティブでない場合: ユーザープロンプトがない場合でも、画像から均一にサンプリングした N 個の点をプロンプトとして入力し、画像内のエンティティレベルの情報を自動的に抽出します。これにより、グローバル文脈だけでなく、物体レベルの詳細も埋め込みベクトルに組み込まれます。
2. セグメンテーション・ランゲージ・コネクタ:
   • セグメンテーションモデルから得られた 64x64 の特徴マップを、LLM の入力次元に適合させるために、2D 畳み込み層と MLP（多層パーセプトロン）で圧縮・変換します。
3. VLM (Vision-Language Model):
   • Qwen2-VL をベースに使用します。
   • 入力として、以下の 3 つのベクトルを結合して処理します：
     • セグメンテーション埋め込み ($H_s$): 視覚プロンプトに基づくエンティティ情報。
     • ビジョン埋め込み ($H_v$): 画像全体のグローバル文脈。
     • テキスト埋め込み ($H_t$): 自然言語の指示やクエリ。
   • これらを結合し、最終トークンの隠れ状態から単一のユニファイド埋め込みを生成します。

2.2 学習スキーマ

• コントラスト学習: InfoNCE 損失を用いて、クエリ埋め込みとターゲット埋め込みの類似度を最大化し、負のサンプルとの距離を最大化します。
• データ: MMEB（汎用タスク用）と、後述する SCaR（視覚インタラクティブ用）の両方で学習・評価を行います。
• パラメータ効率: VLM の LLM 部分には LoRA を適用し、セグメンテーション・コネクタはゼロから学習します。画像エンコーダとセグメンテーションモデルは凍結（Frozen）して事前学習知識を保持します。

3. 新規ベンチマーク：SCaR (Benchmark)

視覚的インタラクション能力を評価するための大規模ベンチマーク「SCaR (Segmentation-and-Scene Caption Retrieval)」を提案しました。

• タスク定義: 画像と、その中の特定の領域（バウンディングボックス）をクエリとして受け取り、その物体とシーン文脈を正確に記述したキャプションを、候補リストから選択するタスクです。
• データセット: RefCOCO+, RefCOCOg, VisualGenome, COCO-Stuff, ADE20k の 5 つの公開データセットを統合し、合計 100 万サンプルを構築しました。
• 難易度の向上: 正解のキャプションから「物体」「関係性」「シーン」の 3 要素のいずれかを GPT-4V を用いて置換し、難易度の高いダミー候補（ネガティブサンプル）を生成しています。これにより、単なる物体認識ではなく、文脈を考慮した構成的推論能力が試されます。

4. 実験結果 (Results)

VIRTUE は、汎用タスクと視覚的インタラクティブタスクの両方で最先端（SOTA）の性能を達成しました。

4.1 汎用埋め込みタスク (MMEB)

• 36 種類の MMEB タスク（分類、VQA、検索、グラウンディング）において、VIRTUE は既存の CLIP ベースおよび VLM ベースのモデルを凌駕しました。
• 性能向上: 2B モデルで +5.1%、7B モデルで +2.0% の平均スコア向上を達成しました。特に、同じベースモデル（Qwen2-VL）を使用する他の手法と比較しても優れており、エンティティレベル情報の重要性を示しています。

4.2 視覚的インタラクティブタスク (SCaR)

• 5 つの SCaR データセットにおいて、VIRTUE は大幅な性能向上を示しました。
• 性能向上: 2B モデルで +6.3%、7B モデルで +1.5% の向上（ファインチューニングなし）。さらに SCaR 用データで追加学習（+SCaR-train）を行った場合、2B モデルで +9.5%、7B モデルで +7.5% の劇的な向上を記録しました。
• 比較: 単に画像を切り抜く（Cropping）手法や、テキスト化されたバウンディングボックスを提示する既存の VLM 手法と比較しても、VIRTUE は圧倒的に優れており、視覚プロンプトを直接処理するアーキテクチャの有効性が証明されました。

4.3 頑健性

• ノイズのあるバウンディングボックスや、部分的なマスク、位置のズレに対して、VIRTUE は高い頑健性を示しました。
• 均一サンプリングされた点（インタラクティブでない場合の代替手段）を除去すると性能が低下することから、エンティティレベルの情報が汎用タスクにも寄与していることが確認されました。

5. 貢献と意義 (Contributions & Significance)

1. 方法論的革新: 埋め込みモデルに視覚的インタラクション機能を組み込んだ初の汎用フレームワーク「VIRTUE」を提案しました。これにより、ユーザーは画像内の特定領域を指し示すことで、より精度の高い検索や推論が可能になります。
2. ベンチマークの創出: 視覚的インタラクションを評価する大規模ベンチマーク「SCaR」を公開しました。これにより、マルチモーダルモデルの「文脈を考慮したエンティティ理解」能力を体系的に評価できるようになりました。
3. 実用的価値: 従来の「画像全体」ベースの検索から、「特定の物体と文脈」を指定する検索へとパラダイムシフトを促します。これは、リトリエーブル・アグメンテッド・ジェネレーション（RAG）や、複雑なマルチモーダル検索システムにおけるユーザー体験の向上に寄与します。

結論:
VIRTUE は、視覚的プロンプトをネイティブにサポートすることで、埋め込みモデルの表現力を「グローバル文脈」と「エンティティレベルの詳細」の両方に拡張しました。このアプローチは、より直感的で精密な人間-AI 相互作用の実現に向けた重要な一歩です。