技術要約：参照表現計数（Referring Expression Counting）のためのC-REX

問題提起

参照表現計数（REC）は、画像内の特定のオブジェクトのサブセットを、きめ細かなテキスト記述（例：「オートバイに乗っている人」と「歩いている人」の違いなど）に基づいて数えることをモデルに要求します。核心となる課題は、文脈や属性レベルの微細な手がかりのみが異なる、視覚的に類似したオブジェクトを識別することにあります。

既存の最先端のREC手法は、これを**画像・テキスト対照学習（CL）**によって解決しようとしています。これらのアプローチは、視覚的トークンを正のテキストプロンプトに整合させ、負のテキストプロンプトから遠ざけるようにモデルを訓練します。しかし、著者らはこの戦略における2つの決定的な限界を指摘しています。

1. 負例の不足： 単一の画像に対して利用可能な負の参照表現の数は限られており（通常5つ未満）、対照学習は理論的には多様な負のサンプルを含む大きなバッチによって堅牢な表現を学習することから恩恵を受けますが、現状は不十分です。
2. 埋め込みの不整合： 画像・テキストCLの有効性は、画像とテキストの埋め込み空間間の整合性に大きく依存しています。著者らは、この整合性がしばしば不完全であり、その結果、視覚的埋め込みが意味論的に異なるが視覚的に類似したオブジェクトを絡み合わせてしまい、微細な識別を妨げていると主張しています。

手法：C-REX

これらの限界を克服するために、著者らはC-REX（Contrastive Learning for Referring Expression Counting）を提案します。これは、対照目的関数におけるテキスト埋め込みへの依存を排除し、対照学習を完全に視覚埋め込み空間へと移行させるフレームワークです。

コアメカニズム

C-REXは、画像トークンをテキストトークンと対照させるのではなく、同じ画像内の他の画像トークンと対照させます。

1. サンプルの定義： 与えられた画像と参照表現（RE）に対して、モデルはオブジェクトの位置を予測します。**二部マッチング（Bipartite Matching）**を用いて、予測されたトークンをグランドトゥルース（正解）の点にマッチングさせます。
   • 正例 ($I^+$)： 特定のREに対応するグランドトゥルースのオブジェクトにマッチした画像トークン。
   • 負例 ($I^-$)： 画像内の他のすべての画像トークン（異なる属性を持つ同クラスのオブジェクト、異なるクラス、または背景トークンを含む）。
2. 損失関数の修正： 著者らは標準的な教師あり対照損失（Supervised Contrastive Loss）[35]を適応させています。重要な修正点は、正例のみをアンカーとして使用することです。
   • 標準的な教師ありCLでは、通常、同じクラスのすべてのサンプルを引き寄せ合います。しかし、C-REXにおいて、負の集合（$I^-$）は不均質（車、歩行者、背景などが含まれる）です。これら多様な負例をクラスタリングすることは逆効果となります。
   • したがって、損失関数は、正のトークン同士を近づける一方で、それらをすべての負のトークンから遠ざけるように定式化されており、負例同士を強制的にクラスタリングさせることはしません。
   • 目的関数は以下のように定義されます：
     $$\mathcal{L}^*_{\text{sup}} = \sum_{i \in I^+} -\log \left( \frac{1}{|I^+|-1} \sum_{p \in I^+ - \{i\}} \frac{\exp(z_i \cdot z_p / \tau)}{\sum_{\alpha \in I - \{i\}} \exp(z_i \cdot z_\alpha / \tau)} \right)$$
3. 統合： C-REXはプラグインモジュールとして機能します。これは、既存のRECアーキテクチャ（GroundingREC, CAD-GD）における画像・テキスト対照損失を置き換えるか、あるいは検出ベースのベースライン（GroundingDINO）における標準的な計数損失に付加されます。テキスト入力は、クロスアテンションを介して視覚バックボーンを条件付けるために依然として使用されますが、識別のための監督信号は視覚空間のみから得られます。

クラス非依存計数への拡張

このフレームワークは、特定のREではなくターゲットクラスに基づいて正例を定義することで、クラス非依存の計数にも適応可能です。クラスレベルの区別はすでに学習が容易であるため、RECほど顕著な改善は見られませんが、依然として性能向上をもたらします。

主な貢献

1. 画像空間へのCLの移行： 画像・テキストCLよりも、対照学習を完全に画像埋め込み空間内で行う方が、より安定した信号を提供し、整合性の問題を回避できることを示しました。
2. スケーラブルな負例サンプリング： マッチングされなかった視覚トークンを負例として活用することで、負例のプールを少数のテキストプロンプトから、画像あたり数百の視覚トークンへと大幅に増加させ、監督の安定性を大幅に向上させました。
3. プラグアンドプレイのフレームワーク： C-REXはアーキテクチャに依存しない設計となっており、構造的な変更なしに既存のRECモデルにシームレスに統合できます。
4. 最先端の性能： 本手法は、複数のバックボーンおよびアーキテクチャを用いて、REC-8Kデータセットにおいて新たなSOTA（State-of-the-Art）の結果を達成しました。

実験結果

著者らは、GroundingREC、CAD-GD、GroundingDINOの3つのアーキテクチャを用いて、REC-8KおよびFSC-147データセットでC-REXを評価しました。

• 性能向上： REC-8Kデータセットにおいて、C-REXはベースラインと比較して、平均絶対誤差（MAE）で最大28%（GroundingREC、Swin-Tバックボーンの検証セットで観察）、平方根平均二乗誤差（RMSE）で最大24.5%（GroundingDINO、Swin-Tバックボーンのテストセットで観察）向上しました。
• 一貫性： すべてのオブジェクト密度範囲（0–20, 21–50, 51–100, 100+）で改善が見られ、特に微細な識別タスク（例：「青い車」と「黒い車」や、「自転車に乗っている人」と「オートバイに乗っている人」の区別）において顕著な利点がありました。
• アブレーション研究：
  • 画像空間 vs. 画像・テキスト： 純粋な画像空間CLは、画像・テキストCLおよびその組み合わせの両方を上回る性能を示し、画像・テキスト信号は、画像空間信号が最適化されている場合には不適切または冗長であることを示唆しています。
  • 正例の選択： 二部マッチングを用いて正例を選択する手法は、テキストプロンプトへのトークンの類似性に基づく戦略よりも優れた結果を示しました。
  • 損失関数の修正： （正例のみをアンカーとする）修正された損失関数は、標準的な教師あり対照損失の定式化を大幅に上回りました。
• 堅牢性： C-REXは、ベースラインと比較して、言い換えられた参照表現に対する堅牢性の向上を示しました。
• VLMとの比較： C-REXを装備した特化したRECモデルは、ゼロショットおよびフューショット設定において、汎用的な視覚言語モデル（Molmo2-4B）を大幅に上回り、計数のためのタスク固有の訓練の必要性を浮き彫りにしました。

重要性と主張

本論文は、RECにおける対照学習の「正しい埋め込み空間」は、画像・テキスト空間ではなく、視覚埋め込み空間であると主張しています。対照目的関数をテキストモダリティから切り離すことで、モデルはより豊かで安定した微細な視覚表現を学習します。著者らは、このアプローチが負例の不足とクロスモーダル整合の不安定性を解決し、オープンワールドの計数シナリオにおける優れた汎用化につながると強調しています。このフレームワークは、RECだけでなく、クラス非依存の計数のような、微細な識別を必要とする他の計数タスクをも強化できる多用途なツールとして提示されています。