UGround: Towards Unified Visual Grounding with Unrolled Transformers

本論文は、累積誤差の蓄積と空間的手がかりの欠如という既存の課題を克服するため、強化学習に基づく動的な層選択と「マスクをプロンプト」として活用する手法を統合し、従来の参照表現セグメンテーションから推論セグメンテーションや空のターゲットに至るまで、単一のフレームワークで多様な視覚的グラウンディングタスクを統一する「UGround」を提案するものです。

要約

この論文は、**「UGround（ユーグラウンド）」という新しい AI 技術について書かれています。一言で言うと、「画像の中の『どこ』を指しているかを、より正確に、そして柔軟に理解する AI」**です。

従来の AI は少し「硬直した」動きをしていましたが、UGround はまるで**「賢い探偵」**のように、状況に応じて最適な場所から情報を引き出します。

以下に、専門用語を避け、身近な例え話を使って解説します。

---

1. 従来の AI の問題点：「電話ゲーム」の罠

まず、これまでの AI（特に大規模な言語モデル）が画像をどう見ていたかを見てみましょう。

• 従来の仕組み：
  AI は画像を何十層もの「フィルター」を通して分析します。まるで**「電話ゲーム（伝言ゲーム）」**のように、情報が層から層へと受け継がれていきます。

  • 1 番目の層：「これは鳥かも」
  • 2 番目の層：「鳥の羽根かな？」
  • ...
  • 最後の層（40 番目など）：「よし、これが鳥だ！」

  従来の AI は、**「最後の層（一番奥の部屋）」**で出た答えだけを信じて、画像のどの部分を切り取るか（セグメンテーション）を指示していました。

• 問題点：
  電話ゲームでは、メッセージが最後の人に届く頃には、「鳥」が「猫」に変わっていたり、情報が歪んでいたりすることがあります。
  層を渡るたびに誤差が積み重なり、最後の層では「どこに鳥がいるか」の位置情報がぼやけてしまっているのです。また、AI は「鳥」という言葉（テキスト）だけを見て、「鳥」の場所を推測しようとしていましたが、「鳥の具体的な座標（どこにあるか）」というヒントが欠けていました。

2. UGround の解決策：「中間層」を直接使う

UGround は、この「電話ゲーム」のルールを破ります。

• 新しい仕組み（Policy-Prompted Masking）：
  UGround は、「最後の層」だけでなく、**「途中の層（中間の部屋）」**も自由に選んで使います。

  • 「スリッパ・コネクション（Stochastic Skip Connection）」：
    AI は、ある質問に対して「どの層の情報が一番役立つか」をランダムに選びます。例えば、「鳥の羽根」を探すなら 10 層目、「鳥の形」を探すなら 30 層目、といった具合に、**「一番近い部屋から直接情報を引き出す」**ことができます。
    これにより、情報が歪む前に、最も鮮明な情報を直接「画像を切り取る担当（SAM という AI）」に渡すことができます。

• 「マスクをプロンプトにする」：
  従来の AI は「鳥」という言葉だけを渡していましたが、UGround は**「鳥の熱画像（どこが熱い＝重要かを示すマップ）」を直接渡します。
  これを「マスク・アズ・プロンプト（Mask as Prompt）」**と呼びます。

  • 例え：
    • 従来：「鳥を切り取って」と言うだけ。
    • UGround：「鳥の形をしたシール（熱画像）」を貼って、「ここを切り取って」と指示する。
      これにより、AI は「言葉」だけでなく、「視覚的な位置情報」を明確に理解できるようになります。

3. 何がすごいのか？「万能選手」への進化

UGround の最大の特徴は、**「一つの枠組みで、あらゆる種類の質問に答えられる」**ことです。

これまでの AI は、質問の種類によって使い分ける必要がありました。

• 「赤いリンゴを指して」→ 答えられる
• 「なぜリンゴが落ちたのか？」→ 答えられない（推論が必要）
• 「リンゴとバナナを両方指して」→ 答えられない（複数対象）
• 「空に飛んでいる車はどこ？」→ 答えられない（存在しないものを指す質問）

UGround はこれらを**「属性（アトリビュート）」**という視点で統一しました。

• 推論： 「鳥が休むのに良い場所はどこ？」→ 論理的に考えて答えられる。
• 複数対象： 「鳥と枝を両方切り取って」→ 一度に複数選べる。
• 嘘の前提への対応： 「空に飛んでいる車はどこ？」→ 「車は飛んでいませんよ（存在しません）」と、**「存在しないものには切り取りを拒否する」**ことができます。

まるで、**「何でも屋の探偵」**が、単純な「犯人はどこ？」という質問から、「なぜ犯人がそこにいたのか？」という推理、さらには「犯人は実はいなかった」という否定まで、すべて同じ頭脳で処理できるようなものです。

4. まとめ：なぜこれが重要なのか？

UGround は、AI が画像を理解する際の「誤差の積み重ね」を解消し、「言葉」と「場所」をより直感的に結びつけることに成功しました。

• 従来の AI： 最後の答えだけを信じる、硬直した生徒。
• UGround： 状況に応じて一番良い情報源を選び、視覚的なヒント（熱画像）を使って正確に指示する、賢く柔軟な探偵。

これにより、AI はより複雑な指示（「理由を説明して切り取って」「存在しないものを指摘して」など）にも対応できるようになり、画像編集やデータ分析、人間と AI のコミュニケーションが、より自然で安全なものになることが期待されています。

---

一言で言うと：
「UGround は、AI に『最後の答え』だけでなく『途中のヒント』も使わせて、画像の『どこ』を指すかを、言葉だけでなく『視覚的な地図』で正確に教える新しい技術です。」

技術概要

UGround: 展開型トランスフォーマーを用いた統合的視覚グラウンディングへの挑戦

本論文は、UGround（Unified visual Grounding）という新しい視覚グラウンディングのパラダイムを提案する研究です。従来の大規模マルチモーダルモデル（LMM）に基づく視覚グラウンディング手法が抱える限界を克服し、単一のフレームワークで多様なタスク（推論、単一/複数ターゲット、誤った前提への対応など）を統一的に処理することを可能にします。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細にまとめます。

---

1. 背景と課題 (Problem)

近年の視覚グラウンディング（画像内の特定領域をテキスト指示に基づいて特定・セグメント化するタスク）は、単純な物体指定から複雑な推論、複数対象の処理、そして存在しない対象への拒否（誤った前提の検出）へと進化しています。しかし、既存の手法には以下の 2 つの根本的な課題がありました。

1. 固定された最終隠れ層への依存:
   • 従来の手法（LISA, SESAME など）は、LMM のスタックされたトランスフォーマー層の最終層（Last Hidden Layer）からの <SEG> トークンの埋め込みのみを視覚モデル（例：SAM）へのプロンプトとして使用しています。
   • これにより、層ごとの伝播に伴う累積誤差が中間層での修正なしに増幅され、最終的な出力の品質が低下する「電話ゲーム」のような問題が発生します。
2. 空間的ヒントの欠如:
   • <SEG> トークンはテキストのプレースホルダーであり、座標などの明示的な空間情報を持っていません。テキストから視覚空間への投影は暗黙的に行われるため、モデルが「どこ」に注目すべきかを正確に捉えるのが困難です。

2. 提案手法: UGround (Methodology)

UGround は、これらの課題を解決するために**「Unrolled Transformers**（展開型トランスフォーマー）と**「Mask as Prompt**（マスクをプロンプトとして）の概念を導入し、**Policy-Prompted Masking **(PPM) という新しいメカニズムを中核に据えています。

2.1. Policy-Prompted Masking (PPM)

PPM は以下の 2 つの主要コンポーネントで構成されます。

• **Stochastic Skip Connection **(SSC: 確率的スキップ接続)

  • 従来の「最終層のみ」ではなく、トランスフォーマーの中間層（1 層目から最終層までの任意の層）から <SEG> トークンの埋め込みを選択的に利用します。
  • これは強化学習（REINFORCE アルゴリズム）に基づく方策（Policy）によって制御されます。各 <SEG> トークンがどの層から視覚モデル（SAM）に接続するかを、確率的にサンプリングして決定します。
  • 効果: 各層が SAM に直接接続できるため、累積誤差を回避し、中間層の情報を活用してより判別性の高い表現を得られます。また、複数のフォワードパスで異なる層を選択することで、モンテカルロドロップアウトのようなアンサンブル効果を生み出し、モデルの頑健性を高めます。

• **Mask as Prompt **(MasP: プロンプトとしてのマスク)

  • 従来の <SEG> トークン埋め込みの代わりに、選択された層における <SEG> トークンと画像トークン間の類似度マップ（Similarity Map）を生成し、これを SAM へのプロンプトとして使用します。
  • この類似度マップは、アクティベーション領域を通じて明示的な空間的ヒント（座標情報に相当）を提供します。
  • さらに、このマップをGround Truth マスクに対して微分可能な損失関数（BCE や Dice Loss）で直接教師信号として与えることで、モデルが「どこに注目すべきか」を明示的に学習させます。

2.2. 統合的アプローチ (Unified Framework)

UGround は、以下の「属性変化（Attribute Variation）」を単一フレームワーク内で統一的に扱います。

• 明示的表現（Referring Expression）
• 単一ターゲット ↔ 複数ターゲット
• 肯定クエリ ↔ 誤った前提（Empty Target/False Premise）

3. 主要な貢献 (Key Contributions)

1. 属性視点からの視覚グラウンディングの統合:
   • 既存の研究が「汎用性」に焦点を当てていたのに対し、UGround はタスクの「属性（推論の有無、ターゲット数、前提の真偽）」に基づき、これら全てを単一モデルで処理可能にしました。
2. 展開型トランスフォーマーと「Mask as Prompt」の導入:
   • 中間層を確率的にスキップ接続し、類似度マップを明示的な空間プロンプトとして利用する新しいアーキテクチャを提案しました。
   • 類似度マップに対して Ground Truth による明示的な教師信号を与えることで、空間的アテンションの精度を向上させました。
3. SOTA 性能の達成:
   • 複数のベンチマーク（ReasonSeg, RefCOCO, gRefCOCO）において、既存の最先端モデルを上回る性能を達成しました。

4. 実験結果 (Results)

UGround は、ReasonSeg（推論セグメンテーション）、RefCOCO（参照表現セグメンテーション）、gRefCOCO（一般化参照表現セグメンテーション）の 3 つの主要データセットで評価されました。

• ReasonSeg データセット:
  • 推論タスクにおいて、既存の最上位モデル（RSVP-GPT など）を大きく上回る性能を示しました。
  • 検証セットでは cIoU で +9.0%、テストセットでは +5.4% の改善を達成（UGround-7B）。
  • 13B モデルでは、READ-13B を上回る +2.7% の cIoU 改善を記録しました。
• RefCOCO データセット:
  • 古典的な参照表現タスクにおいても、GLaMM-7B を凌駕する性能を示し、RefCOCOg テストセットで +1.2% 改善しました。
• gRefCOCO データセット:
  • 複数ターゲットおよび「存在しない対象（Empty Target）」の検出において顕著な成果を上げました。
  • 検証セットにおいて、GSVA-7B（ft）と比較して N-acc（空ターゲットの正解率）で +12.1%、cIoU で +2.27% の大幅な改善を達成しました。

5. 意義と将来展望 (Significance)

• 技術的意義:
  • LMM の中間層が視覚タスクにおいて重要な役割を果たすことを実証し、単に最終層を使うだけでなく、動的に最適な層を選択するアプローチの有効性を示しました。
  • 「テキスト埋め込み」から「空間的類似度マップ」へのプロンプトの転換は、視覚グラウンディングにおける空間的整合性の問題を解決する新たな方向性を示唆しています。
• 応用可能性:
  • 単一のモデルで、複雑な推論、複数物体の処理、そして誤った前提への安全な拒否（False Premise Handling）を可能にするため、実世界の AI システムにおける信頼性と汎用性が大幅に向上します。
  • 画像理解、データ注釈、コンテンツ編集などの分野での応用が期待されます。

結論:
UGround は、視覚グラウンディングの課題を「属性」の観点から再定義し、展開型トランスフォーマーと確率的なスキップ接続、そして明示的な空間プロンプトを組み合わせることで、多様なタスクを統一的かつ高精度に解決する画期的なフレームワークです。すべてのコードとモデルは公開されており、今後の研究の基盤となることが期待されます。