Object Counting Across Modalities: Taxonomies, Benchmarks, Applications, and Open Challenges

技術要約：モダリティを横断したオブジェクト計数

問題定義と動機
オブジェクト計数は、クラス固有の密度回帰問題から、オープンボキャブラリかつマルチモーダルな推論タスクへと進化してきた。近年の基盤モデルやオープンボキャブラリ・プロンプティングへの移行は、普遍的な汎用化への動きを示唆しているが、本サーベイは、この分野の評価インフラがその進歩に追いついていないことを主張する。現在の進捗指標は、モデルが真の推論ではなく統計的な規則性を利用してベンチマーク（特に飽和状態にあるFSC-147）を攻略することに依存している。診断用データセットは、意味的グラウンディング（Semantic Grounding）、時間的なアイデンティティ保持、および遮蔽下での空間推論における系統的な失敗を明らかにしている。中心的な問題は「意味的グラウンディングの錯覚（Semantic Grounding Illusion）」である。これは、モデルが誤検出（False Positive）を誤消去（False Negative）で相殺することで、スカラー値としての誤差（例：MAE = 0）を達成してしまう現象であり、実質的には、集計指標を満たしながらも、間違ったインスタンスやディストラクタ（妨害要素）をカウントしている状態を指す。

方法論的フレームワークとタクソノミー
本論文は、ドメイン固有のサイロ化を超え、計数手法の構造的構成要素を解明するために、統一された5軸のタクソノミーを導入する。各軸は以下の通りである：

1. モダリティ（Modality）： 静止RGB画像から、ビデオ、3Dポイントクラウド、深度対応（RGB-D）、熱赤外、オーディオビジュアル入力まで多岐にわたる。
2. 計数メカニズム（Counting Mechanism）： 4つの明確なアルゴリズム・パラダイム：
   • 密度マップ回帰 (P1): 密度マップの直接的な空間積分（第1世代）。
   • クロスアテンション類似性マッピング (P2): 例示（Exemplar）トークンをキー/バリューとして用い、画像特徴量をマッピングする（第2世代）。
   • プロンプト可能な概念局在化 (P3): 基盤モデルを介して、テキストまたはポイントのプロンプトを離散的なボックスやマスクへとグラウンディングする（第3世代）。
   • マルチモーダル言語推論 (P4): 計数を視覚言語推論タスクとして扱い、オートレグレッシブ・デコーダを介して思考の連鎖（Chain-of-Thought）のトレースや直接的なスカラー出力を生成する（第4世代）。
3. プロンプティング技術（Prompting Technique）： 固定クラスラベル、視覚的例示、テキストベースのクエリ、マルチモーダル入力、参照なしの事前知識、およびインタラクティブな修正。
4. 教師あり学習のレベル（Supervision Level）： インスタンスレベルの空間的教師あり学習（ポイント、ボックス、マスク）から、集計レベルの弱教師あり学習、自己教師あり学習、およびアノテーションフリーの学習まで。
5. 汎化設定（Generalization Setting）： クラス固有（クローズドセット）とクラス非依存（オープンボキャブラリ／オープンワールド）の設定を区別し、プロンプティング・メカニズムと汎化の主張との混同を明確にする。

主な貢献

• 統一されたタクソノミー： 画像、ビデオ、3D、およびマルチモーダル・ドメインにわたる手法のクロスパラダイム比較を可能にする、5軸のフレームワークを定式化した。
• ベンチマークの批判的監査： スカラー指標（MAE、RMSE）が現代の計数の多様な出力形式（密度マップ、トラック、離散的なボックス）と互換性がないことを実証し、それらが「意味的グラウンディングの錯覚」を検知できないことを示した。また、レガシーなベンチマークでトップの性能を示すモデルが、ディストラクタの拒絶やプロンプトへの感度を検証する診断用データセットでは頻繁に失敗することを強調している。
• 構造的矛盾： 本サーベイは、汎化と局在化のトレードオフ、スケールの極端な変動（密度の崩壊）、時間的なアイデンティティの再突入の失敗、および例示の脆弱性とテキストプロンプトの意味的曖昧さを含む、この分野に内在する6つの構造的矛盾を定式化した。
• クロスドメインの統合： 600以上のレコードをレビューすることで、本論文は断片化されたコミュニティ（群衆計数、顕微鏡、リモートセンシング、農業）を橋渡しし、汎用的なアーキテクチャがドメイン固有のチューニングなしには専門領域への転移に苦戦することを示している。

結果と知見

• ベンチマークの飽和： FSC-147の分析により、平均絶対誤差（MAE）の改善は統計的ノイズの範囲まで縮小しているが、依然としてこのベンチマークが唯一の進捗尺度となっている。新しい診断用ベンチマーク（例：PrACo、CAPTURe）は、最先端のモデルが、正しい意味的インスタンスに計数をグラウンディングできていないことが頻繁にあることを明らかにしている。
• モダリティのギャップ： 3D、深度対応、およびマルチビューの手法は、深度順序による遮蔽の解決策を提供するが、これらは非互換またはプライベートなデータセットに依存しており、統一的な評価を妨げている。同様に、ビデオ計数は、フレーム可視のカウント、ユニーク・インスタンスのカウント、およびイベント・カウントを区別するための標準化されたプロトコルを欠いている。
• アプリケーションの乖離： 医学顕微鏡やリモートセンシングのような専門領域では、ドメイン固有のシステムが汎用基盤モデルを凌駕することが多い。これは、汎用モデルが無視する物理的制約（細胞の形態、センサーノイズなど）に適合しているためである。
• 評価の欠陥： 本論文は、現在の評価プロトコルが「補償誤差（ミスしたオブジェクトが誤検出によって相殺される現象）」を報酬として与えてしまっており、空間的な完全性、アイデンティティの切り替え、またはディストラクタの拒絶に関する指標が欠如していることを指摘している。

意義と今後の方向性
本論文は、オブジェクト計数における普遍的な汎用性の主張は、それを検証するために必要なインフラストラクチャを追い越してしまったと結論付けている。この分野は現在、根本的な推論の失敗に対処することよりも、飽和したベンチマークに対する漸進的なエンジニアリングのサイクルに陥っている。

著者らは、以下の研究に焦点を当てたロードマップを提案している：

1. 構成的なシーン理解（Compositional Scene Understanding）： 密度回帰を超え、オブジェクト領域を空間的および遮蔽関係を介して連結する、構造化され検証可能なシーン表現を構築すること。
2. 能動的かつインタラクティブなエージェント（Active and Interactive Agents）： 受動的なシングルパスの計数から、曖昧さや再突入イベントを解決するために、ターゲットを絞った情報（ズーム、人間による明確化など）を要求できるエージェントへと移行すること。
3. 統一されたマルチモーダル・アーキテクチャ（Unified Multimodal Architectures）： 感知モダリティ（RGB、深度、熱、オーディオ）を、アーキテクチャ上の境界としてではなく、条件付け入力として扱う共有エンコーダおよびデコーダを開発すること。
4. 堅牢な評価プロトコル（Robust Evaluation Protocols）： 単一のデータセットからの単一のスカラー指標への依存ではなく、多様な診断用ベンチマークや展開制約（レイテンシ、エネルギー、キャリブレーション）を通じて検証を行う、新しい標準を確立すること。

本サーベイは、オープンワールドの汎化とベンチマーク特有の最適化を区別するプロトコルを用いて、多様な実世界の環境で厳格にテストされない限り、真に汎用的なオブジェクトカウンターであるという主張は証明されていないと断じている。