💻 computer science

What-Where Transformer: A Slot-Centric Visual Backbone for Concurrent Representation and Localization

What-Where Transformer（WWT）は、物体の外観と空間的位置を並行するトークンストリームとアテンションマップストリームに明示的に解離する新しいスロットベースのビジョントランスフォーマーアーキテクチャを導入し、追加のポストプロセッシングを必要とせずに出現する局所化能力を通じて、優れたゼロショット物体発見と弱教師ありセグメンテーションを可能にします。

原著者： Ryota Yoshihashi, Masahiro Kada, Satoshi Ikehata, Rei Kawakami, Ikuro Sato

公開日 2026-05-13

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Ryota Yoshihashi, Masahiro Kada, Satoshi Ikehata, Rei Kawakami, Ikuro Sato

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

忙しい街の風景を想像してみてください。あなたの脳は瞬時に二つのことを実行します。それは、物事が「何であるか」（赤いバス、犬、人）を特定することと、それらが画像の「どこに」位置しているかを特定することです。

長らく、コンピュータビジョンモデル（有名な「ビジョントランスフォーマー」や ViT など）は、「これは何ですか？」という問いには優れていましたが、「正確にどこにあるのか？」という問いには苦労していました。それらはこの二つの概念を混同する傾向があり、追加の複雑な手順なしに特定の物体を特定することが困難でした。

この論文は、What-Where Transformer（WWT） と呼ばれる新しいモデルを導入します。これは、コンピュータが画像を見るためのより賢い方法であり、「何」と「どこ」を分離しつつ、互いに連携して働くようにゼロから設計されています。

以下は、簡単なアナロジーを用いたその仕組みです。

1. 従来の方法：「スイスアーミーナイフ」トークン

従来のモデル（ViT など）では、画像は「パッチ」と呼ばれる小さな正方形に切り分けられます。各パッチは「トークン」（デジタルなメモ）になります。これらのトークンは互いに会話して、全体の画像を理解します。

問題点： 混雑した部屋にいる全員に、名前と場所の両方を含む一枚のメモを渡すようなものです。彼らが情報を共有しようとするとき、名前と場所がごちゃ混ぜになってしまいます。後で単に「場所」の部分だけを見つけたい場合、それは散漫で、解きほぐすために多くの追加作業が必要になります。

2. 新しい方法：「何とどこ」のチーム

WWT モデルは、チームを並行して働く二つの専門グループに分割することでゲームを変えます。

「何」チーム（スロット）： これらは探偵のようなものです。これらは物体の正体（例：「これは犬だ」）を運搬します。正確な座標には関心せず、自分が何を見ているかを知りたいだけです。
「どこ」チーム（マスク）： これらはスポットライト操作者のようなものです。これらは位置情報（例：「犬は左上隅にある」）を運搬します。名前には関心せず、光を向ける場所を知りたいだけです。

3. 彼らがどう話すか：「相互アテンション」のダンス

従来のモデルでは、メモは他のすべてのメモと会話していました。WWT では、探偵とスポットライト操作者が特定のダンスを通じて互いに会話します。

探偵はスポットライトに尋ねます：「ねえ、どこを見ているの？そこで何が見えるか教えてあげる。」
スポットライトは探偵に尋ねます：「ねえ、何が見えているの？光を向ける場所を教えてあげる。」
画像が処理されるにつれて、彼らはこれを繰り返し行います。これにより、「何」は清潔に保たれ、「どこ」は正確に保たれます。

4. 魔法の結果：「創発的」発見

この論文で最もエキサイティングな部分は、物体を特定する（「これは犬だ」と言う）ことだけをモデルに学習させ、物体の周りに枠を描く方法を教えない場合に何が起こるかです。

驚き： 「犬」と言うことだけを求められたにもかかわらず、「スポットライト操作者」（マスク）は自然と犬の周りに完璧な輪郭を描くことを学びました。
アナロジー： 料理人にケーキを作るよう雇うようなものです。レシピ（「何」）だけを伝えれば、厨房の仕組みのおかげで、ケーキを完璧に切る方法（「どこ」）も偶然に学び、それを指示されたこともないのに実行します。
重要性： 通常、物体を見つけるには、結果を解釈するための第二の複雑な機械（デコーダ）が必要です。WWT はこれを自動的に実行します。「スポットライト」マップを見るだけで、物体がどこにあるかが文字通り示されます。

5. 彼らがテストしたもの

研究者たちはこのモデルを膨大な画像データセット（ImageNet）でテストし、以下の結果を得ました。

精度： 物体の識別において、既存の最高モデルと同等の性能を発揮します。
位置特定： 追加の学習なしに、物体が「どこ」にあるかを示す能力がはるかに優れています。
汎用性： 「どこ」の情報が組み込まれているため、このモデルを車の周りに枠を描いたり、背景から人を切り抜いたりするタスクに容易に適用できました。これは単にモデルに小さな「ヘッド」（小さな追加部品）を追加するだけで実現します。

まとめ

What-Where Transformer は、「何であるか」と「どこにあるか」を混同しない新しいタイプの AI 視覚システムです。これらを分離しつつ協力する二つのチームとして扱うことで、このモデルは物体を名前を覚えるだけで、画像内の物体を指し示すことを自然に学びます。これは、コンピュータに世界を見ることを教えるよりシンプルで効率的な方法であり、失われた物品の発見、自動運転、医療画像の分析などのタスクでそれらを利用しやすくします（ただし、この論文は特定の医療応用ではなく、一般的な物体発見に焦点を当てています）。

技術概要：What-Where Transformer（WWT）

問題定義
現在の画像理解タスクでは、「何が」存在するか（分類）と「どこに」現れるか（局所化）の特定が求められます。Vision Transformer（ViT）は分類において優れていますが、局所化能力はしばしば限定的です。標準的な ViT において、アテンションマップはトークン表現と暗黙的に絡み合っており、ブロック内でトークンを更新するためだけに機能し、直ちに吸収されてしまいます。その結果、持続的な空間構造を欠いています。したがって、エンコーダのアテンションマップは、ノイズの多い活性化、不明瞭な境界、限定的な意味論的解釈可能性に悩まされることが多く、複雑な後処理やタスク固有のデコーダなしでは、オブジェクト発見やセグメンテーションなどの下流の局所化タスクへ転用することが困難です。著者らは、ViT のトークン中心の設計が、意味内容と空間位置の明示的な分離を抑制していると仮説を立てています。

手法
著者らは、ネットワーク全体に「what-where」の分離という帰納的バイアスを明示的に強制する、ViT スタイルの視覚バックボーンである**What-Where Transformer（WWT）**を提案します。

デュアルストリームアーキテクチャ: 単一のトークンストリームを処理する標準的な ViT と異なり、WWT は 2 つの並行ストリームを維持します。
1. What ストリーム: オブジェクトの意味論を表す特徴ベクトル（スロット）のシーケンス。
2. Where ストリーム: 空間的位置を表すアテンションマップ（マスク）のシーケンス。
相互アテンション（µAttn）: 中核となる構成要素は、トークンとスロットがドット積メカニズムを通じて相互作用する新規の相互アテンション層です。この層は双方向の通信を促進します。トークンは空間的関連性に基づいてスロットを更新し、スロットは意味論的コンテキストに基づいてトークンを更新します。重要なのは、アテンションマップ（ $A$ ）が破棄されるのではなく、層を超えて伝播・洗練される点です。
スロット - マスク表現: 各視覚的実体は、特徴ベクトル（スロット）とソフトマスクのペアとして表現されます。ネットワークは、MLP（多層パーセプトロン）がトークン、スロット、マスクを処理するスタックされた WWT ブロックで構成されます。特定の「MLP-over-attention」設計（ $MLP_A$ ）が導入され、入力条件付きバイアスを用いてアテンションマップを洗練し、不要な背景活性化を排除するのに役立ちます。
接続性: WWT は、ViT のグローバルなトークン間自己アテンションを、スロットを介した二部グラフ通信に置き換えます。トークンはスロットを通じてのみ通信するため、ネットワークはローカルなパッチを有益なスロットにバインドすることを強制されます。これにより、高解像度入力に対する計算複雑性が低減され、局所化状態が明示的に伝播されます。
トレーニングとヘッド: モデルは、分類ヘッドと補助的な自動符号化ヘッド（マスクが復元可能な領域をグループ化することを促すため）を使用して ImageNet-1k で事前トレーニングされます。下流タスクでは、スロット - マスクのペアが画像表現として機能します。
- 分類: スロットが分類され、グローバルなクラス予測が平均化されます。
- セグメンテーション: マスクがアップサンプリングされ、スロットの分類と組み合わされてラベルマップを生成します。
- オブジェクト発見/検出: マスクは二値化されるか、ボックス回帰のための座標を集約するために使用され、追加トレーニングを最小限または不要とすることが多いです。

主な貢献

設計原則: 本論文は、「what-where 分離」を重要な帰納的バイアスとして位置づけ、トークンが意味論（what）を表し、アテンションマップが局所化（where）を表すような設計を確立します。
アーキテクチャ: 著者らは、密なトークン間自己アテンションをスロットを介した相互アテンションに置き換え、別個のデコーダなしで層を超えて局所化状態を明示的に伝播するバックボーンである WWT を開発しました。
創発的なマルチオブジェクト発見: 単一ラベル分類の監督下において、WWT はアテンションマップが自然に複数のオブジェクト領域に分解される創発的行動を示します。これにより、トークンクラスタリングによる後処理を必要とせず、生のアテンションマップからゼロショットのオブジェクト発見が可能になります。
下流タスクへの汎用性: 埋め込まれた局所化メカニズムにより、WWT は最小限のアーキテクチャ変更でさまざまなタスク（セグメンテーション、検出、発見）に適応でき、コンパクトな汎用モデルの基盤として機能します。

結果

分類と説明可能性: ImageNet-1k において、WWT は DeiT と同等の Top-1 精度を達成します（例：Tiny モデルで 71.3% 対 72.2%）。しかし、説明可能性指標（Drop および Increase）において DeiT を大幅に上回り、そのアテンションマップが分類帰属に対してより妥当であることを示しています。
弱教師ありセグメンテーション: ImageNet-S 50 において、WWT は生マスク出力を使用して平均交差率（mIoU）49.1% を達成し、Rollout を用いた DeiT（35.9%）や ResNet ベースの手法（45.2%）を上回りました。
ゼロショットオブジェクト発見: 単一オブジェクト発見（VOC12）において、WWT は CorLoc 41.4% を達成し、DeiT のバリエーションを上回り、DINOv2 などの強力な自己教師あり手法に迫ります。マルチオブジェクト発見において、WWT はより高いリコールを示し、クラスタリングベースのアプローチで一般的な失敗モードである過剰セグメンテーションなしに複数のオブジェクトを検出する能力を証明しました。
教師なし発見: DINOSAUR スタイルの蒸留設定において、WWT は別個のスロットアテンションモジュールを必要とせず、競争力のある結果（VOC12 において mBOi 37.5%）を達成し、バックボーン自体がオブジェクトバインディングを内部化していることを示唆しました。
教師あり微調整: 最小限のタスクヘッドを用いて、WWT は VOC07 検出で 63.1% の mAP、VOC12 セグメンテーションで 61.3% の mIoU を達成し、トークンベースのベースラインを上回り、DETR の性能に迫りました。

意義と主張
本論文は、WWT が現代の Transformer アーキテクチャ内で古典的な「what-where 分離」の概念を成功裡に復活させたと主張しています。アテンションマップを「where」を表す一次元の市民として扱い、一時的な中間状態ではなく扱うことで、モデルは分類タスクのみで事前トレーニングされた場合でも明示的な位置表現を学習します。著者らは、このアプローチがタスク固有のデコーダの必要性を簡素化し、視覚バックボーンの転移性を向上させると論じています。彼らは WWT を、注釈への依存を減らしながら空間推論とオブジェクトグラウンディングをサポートできる、オブジェクト中心の視覚バックボーンへの一歩として位置づけています。これは、将来の Vision-Language Models（VLM）や Vision-Language-Action（VLA）システムにとって不可欠です。この研究は自己教師あり設定については控えめな主張にとどまっており、創発的なオブジェクト分解特性は主に教師あり事前トレーニング下で実証されたことに言及しています。