あなたは、ロボットに写真と単語のリストだけを与えて、世界を理解させる方法を教えようとしているところだと想像してください。あなたは、そのロボットがたとえ見たこともない種類の犬であっても、写真の中にあるすべての「犬」、「木」、あるいは「ピザ」を指し示せるようにしたいと考えています。これは**オープン・ボキャブラリー・セマンティック・セグメンテーション（Open-Vocabulary Semantic Segmentation）という課題です。それは、ロボットに辞書とカメラを与え、目に見えるあらゆる部分に対して正確にラベルを付けながら、地図を描くよう頼むようなものです。これを行うために、科学者たちは2つの強力なツールを使用してきました。1つ目は、言葉と画像がどのように結びついているかを知っている超賢い司書のようなものですが、正確な輪郭を描くのはあまり得意ではないビジョン・ランゲージ・モデル（VLM）です。2つ目は、10億枚もの画像で訓練されたロボット・アーティストであるSAM（Segment Anything Model）**です。これは、あなたが指し示したあらゆるものの周りに完璧な輪郭を描くことができますが、あなたが名前を教えない限り、それらが何であるかを知りません。

これら2つを組み合わせようとすると、しばしば互いに足の引っ張り合いになってしまうことが問題となります。アーティスト（SAM）は興奮しすぎて、葉っぱ一枚や影一つに対しても、不要なほど小さな輪郭を描いてしまいます。一方で、司書（VLM）は、たとえ描かれたものが間違っていても、その乱れた図に対して無理やりラベルを押し付けようとします。それは、パズルのピースが常に形を変え続け、箱に描かれた絵と手元のピースが一致しないパズルを組み立てようとしているようなものです。この論文、SAM-MIは、この混乱を招かずに、これら2つをチームとして機能させる新しい方法を紹介しています。

問題点：熱狂的なアーティストと融通の利かない司書

研究者たちは、SAMと司書を組み合わせようとするこれまでの試みには、2つの大きな欠陥があることに気づきました。第一に、SAMは**過剰セグメンテーション（over-segment）をする傾向があります。例えば「猫」を探すように頼むと、猫のひげや尻尾、さらにはそれが落とす影に対しても別々の輪郭を描いてしまい、それらをすべて別々の物体として扱ってしまうことがあります。これにより、小さくて混乱を招く破片の山ができてしまいます。第二に、古い手法は「ハードな結合（hard combination）」**を用いていました。彼らはSAMから得られた固定の輪郭を取り出し、たとえその輪郭がどれほどひどいものであっても、そこにラベルを貼り付けていました。もしSAMが雲の周りに円を描き、司書がそれを「猫」と言ったとしても、システムはそれをそのまま受け入れてしまったのです。これは、間違いを無視した、硬直的で「あるがままを受け入れるしかない」というアプローチでした。

解決策：新しいワークフローを持つスマートなチーム

著者らは、**SAM-MI（Mask-Injected）**と呼ばれる新しいフレームワークを提案しています。アーティストと司書を一直線に働かせるのではなく、アーティストの描画を最終的な命令ではなく、役立つ「ヒント」として使う柔軟なワークフローを作成しました。ここでは、3つの巧妙なトリックを用いています。

1. スマート・スカウト（テキスト誘導型疎なポイント・プロンプター）
昔は、SAMに画像内のすべてを描かせるために、画像全体に塩をまくように、数千個のドットをグリッド状にタップする必要がありました。これは時間がかかり、計算量も膨大でした。SAM-MIは、TSPPと呼ばれる「スマート・スカウト」を導入しました。このスカウトは、あちこちにタップする代わりに、画像と指定された言葉（例：「犬」）を見て、どこをタップすべきかを正確に判断します。オブジェクトが見つかる可能性が最も高い場所にのみ、ドットを配置することを学習します。

• 結果： 1,024個のドット（密なグリッド）をタップする代わりに、このスカウトは平均してわずか41個のドットをタップするだけで済みます。これにより、プロセスが1.6倍高速化され、タップの数は96%削減されましたが、オブジェクトの発見精度は変わりませんでした。

2. フィルター（浅いマスク集約）
タップの数が減ったとしても、SAMは依然として細かすぎる破片を描いてしまう可能性があります。**Shallow Mask Aggregation（SMAgg）**は、フィルターやふるいのような役割を果たします。これは、SAMが作成した乱雑な小さな輪郭の山を見て、「これらの破片は一つにまとまるべきではないか？」と問いかけます。いくつかの小さなパッチがすべて同じ「犬」の一部であるように見える場合、SMAggはそれらを一つのきれいな形へと再び接着します。これにより、司書がそれを見る前に、ノイズや「関心外」のパッチ（ランダムな影など）を取り除きます。

3. 優しいガイド（デカップルされたマスク注入）
これが最も重要な変更点です。悪い輪郭が悪いラベルを強制してしまう「ハードな結合」の代わりに、SAM-MIは**Decoupled Mask Injection（DMI）**を使用します。司書の地図を、ぼやけたスケッチだと考えてください。アーティストの輪郭は、そのスケッチを鮮明にするための「ガイド」として使用されますが、司書はそのガイドが間違っていると感じれば、それを無視することもできます。

• 低周波注入（Low-Frequency Injection）： この部分は、司書が全体像や物事の一般的な形状（「グローバル・コンテキスト」）を理解するのを助けるために、輪郭を使用します。
• 高周波注入（High-Frequency Injection）： この部分は、エッジや詳細を鋭くするために、輪郭を使用します。
  これらを分離することで、システムは、悪い輪郭を受け入れざるを得なくなることなく、司書のぼやけた地図を修正することができます。もしアーティストが雲の周りに円を描いたとしても、司書がそれが「椅子」であることを知っていれば、システムは間違いを受け入れるのではなく、地図を修正することができるのです。

得られた成果

チームは、都市の街並みから医療スキャン、農業までをカバーするMESSと呼ばれる大規模な画像コレクションを含む、いくつかの異なるデータセットでSAM-MIをテストしました。

• 性能： MESSベンチマークにおいて、SAM-MIは以前の最高手法であるGrounded-SAMと比較して、精度（mIoUで測定）を**16.7%**向上させました。
• 速度： また、Grounded-SAMよりも1.6倍高速でした。
• 汎用性： 標準的なデータセットであるADE20KやPASCAL-Contextでも良好に動作し、SAMを使用しない他のトップ手法に対して、それぞれ**4.2%および3.5%**の向上を示しました。

限界と未来

著者らは、自分たちのシステムが完璧ではないことも率直に指摘しています。主に以下の2つの領域で苦戦していることが分かりました。

1. 極小または細長い物体： もし物体が極端に小さい（椅子の脚など）場合や、非常に細い（扇風機の羽根など）場合、「スマート・スカウト」はドットを少なくしか配置しないため、それを見逃してしまう可能性があります。また、司書（CLIP）自体も、たとえ物体が見つけ出されたとしても、極めて小さな物体を認識するのが苦手であることも認めています。
2. 混沌とした背景： 重なり合った家具が詰まった部屋や、絡まり合った木々がある森のように、非常に混雑したシーンでは、システムが混乱して物体を混同してしまうことがあります。

研究者たちはまた、現在のテストには、データセット自体のラベルの欠落やカテゴリの誤りといった欠陥があり、技術の真の限界を知ることを難しくしているという点も指摘しています。彼らは、今後の研究として、これらのベンチマークの修正や、この「マスク注入（mask-injected）」のアイデアを、特定の物体のインスタンス検出や、完全なパノラママップの作成といった他のタスクに適用することに焦点を当てるべきだと示唆しています。

要約すると、SAM-MIは、強力な「Segment Anything」モデルを、厳格なボスとしてではなく、役立つガイドとして扱うことで、ロボットが視覚的な世界をより良く、より速く、そしてより少ない間違いで理解し、マッピングできることを示しています。