CountFormer: A Transformer Framework for Learning Visual Repetition and Structure in Class-Agnostic Object Counting

本論文は、自己教師あり学習に基づくビジョン基盤モデル DINOv2 を用いたトランスフォーマーフレームワーク「CountFormer」を提案し、例示なしの物体数え上げにおいて視覚的反復や構造の学習がどのように改善されるかを検証し、FSC-147 ベンチマークで競争力のある性能を示すとともに、表現の質が数え上げ精度に重要であることを明らかにしています。

要約

この論文は、**「CountFormer（カウント・フォーマー）」**という新しい AI 技術について書かれています。

一言で言うと、**「AI に『何の物体か』を教えずに、ただ『形や繰り返しのパターン』を見て数を数えさせる」**という、とても人間らしいアプローチを試みた研究です。

難しい専門用語を使わず、日常の例え話を使って解説しますね。

1. 従来の AI と人間の違い：「名前」vs「形」

まず、今の AI が数を数えるときの問題点から説明します。

• 従来の AI（名前探しの探偵）：
  従来の AI は、「これは『犬』だ」「これは『車』だ」と名前（カテゴリ）を知っているものしか数えられません。もし、AI が見たことのない奇妙な「光る石」や「複雑なメガネ」を見せられても、「何だこれ？名前がわからないから数えられない！」とパニックになってしまいます。
  また、名前を知っていても、「構造」を理解していないことがあります。例えば、メガネを数えるとき、「レンズが 2 つあるから、これは 2 個の物体だ！」と勘違いして、1 個のメガネを 2 個と数えてしまうのです。

• 人間の能力（パズル解き名人）：
  私たちは、初めて見る物体でも、「あ、同じ形が並んでいるな」「これが 1 つのまとまりだ」という**「繰り返しのパターン」や「部品がどう組み合わさっているか」**を見て、自然と数を数えられます。名前がわからなくても、形が同じなら「1 つ、2 つ…」と数えられます。

この論文のチームは、**「AI も人間みたいに、名前じゃなくて『形と構造』で数えられないか？」**と考えました。

2. CountFormer の仕組み：「天才画家」の絵を借りてくる

彼らが考えたのが**「CountFormer」**という仕組みです。

• DINOv2（天才画家）：
  この AI は、**「DINOv2」**という、すでに世界中の画像を無数に学習して「形や構造」を完璧に理解している天才画家（基礎モデル）を雇います。この画家は、物体の名前よりも「輪郭」や「パーツのつながり」を非常に鋭く見ています。
• 位置のメモ（座標）：
  天才画家は「形」は上手ですが、「どこに何があるか」の位置関係が少し曖昧になることがあります。そこで、AI は**「位置のメモ（位置埋め込み）」**を画家に渡します。「ここが左、ここが右」という地図のようなものです。
• 密度マップ（砂の絵）：
  最終的に、AI は画像全体に「物体がここにあるよ」という**「砂の粒（密度マップ）」**を描き出します。砂の粒の総量を測れば、物体の数がわかるという仕組みです。

3. 何がすごかったのか？（メガネの例）

実験で面白い結果が出ました。

• 他の AI（CounTX など）：
  「メガネ」の画像を見ると、AI は「左のレンズ」「右のレンズ」と別々に反応して、**「2 個の物体」**と勘違いして数えてしまいがちでした。
• CountFormer：
  この AI は、DINOv2 の「構造理解力」のおかげで、「あ、これ 2 つのレンズがつながって 1 つのメガネだ」と理解できました。結果として、**「1 個のメガネ」**として正しく数えることができました。

これは、「部品（レンズ）」ではなく「全体（メガネ）」として捉える力が向上したことを意味します。

4. 弱点と「極端なケース」の話

もちろん、完璧ではありませんでした。

• レゴの山（密度が高すぎる場合）：
  画像の中に、レゴブロックが山のようにぎっしりと詰まっているような画像では、AI も混乱しました。「どこまでが 1 つで、どこからが別？」という境界線が見えにくいため、数を過小評価してしまいました。
• 統計のトリック：
  論文の面白い点は、**「たった 4 枚の、ものすごく物体が多い画像（極端なケース）」**が、全体の評価スコアを大きく歪めていたことを指摘したことです。
  これらの「難問画像」を一旦除外して計算し直すと、AI の性能は驚くほど良くなりました。これは、「AI が悪いわけではなく、テスト問題が極端に難しすぎたから」ということを示しています。

まとめ：この研究の意義

この研究は、「もっと新しい数え方」を提案したというよりは、**「AI に『名前』ではなく『構造』を教えることで、どんな物体でも数えられるようになる可能性」**を実証したものです。

• 従来の AI： 「名前帳」で検索して数える。
• CountFormer： 「パズルのピース」のつながりを見て数える。

これにより、AI は未知の物体に対しても、人間のように「形」から論理的に数を推測できるようになりつつあります。特に、複雑な形をしたものを数える際、AI の「勘違い（1 つを 2 つと数えるなど）」が減る可能性が示されたのが、この論文の最大の成果です。

技術概要

以下は、提示された論文「CountFormer: A Transformer Framework for Learning Visual Repetition and Structure in Class-Agnostic Object Counting」の技術的な要約です。

1. 研究の背景と課題 (Problem)

従来の物体カウントモデルは、特定のクラス（人、車など）に特化して訓練されるか、テスト時に例示画像（Exemplar）を必要とするケースが多い。しかし、人間は例示がなくても「視覚的な反復パターン」や「部分と全体の構成関係」を観察することで、未知の物体を数えることができる。

現在の「例示不要（Exemplar-free）」かつ「クラス非依存（Class-agnostic）」なモデルは、以下の課題に直面している：

• 構造的な欠如: 物体の「部分（パーツ）」と「全体（オブジェクト）」の関係を理解できず、対称的な部品（例：サングラスの両方のレンズ）や反復するサブ構造を個別の物体として誤ってカウントしてしまう（過剰カウント）。
• 表現の限界: CLIP などの視覚言語モデルは意味的（セマンティック）な理解に優れるが、空間的な構造や幾何学的な関係性の把握が弱く、複雑な形状の物体のカウント精度が低下する。

2. 提案手法 (Methodology)

著者らは、既存の密度回帰フレームワーク（CounTR にアーキテクチャ的に近い）をベースに、自己教師あり学習のビジョン基盤モデル（Foundation Model）であるDINOv2を画像エンコーダとして統合した「CountFormer」を提案する。

• アーキテクチャの概要:

  1. 視覚エンコーダ: 事前学習済みの DINOv2 を使用。DINOv2 はラベルなしで学習されており、意味情報だけでなく**空間的な構造と一貫性（Spatial Coherence）**を強く保持する特徴量を提供する。
  2. 位置埋め込みの融合: 抽出されたトランスフォーマーのトークン特徴量に、明示的な**2 次元位置埋め込み（Positional Embeddings）**を付加する。これにより、トランスフォーマー特徴量に空間的な座標情報を補強し、幾何学的な整合性を保つ。
  3. デコーダ: 融合された特徴量を、軽量な畳み込みネットワーク（ConvNet）を用いてアップサンプリングし、連続的な密度マップを生成する。
  4. 推論: 密度マップの積分値を物体数とする。このプロセスはテスト時に例示画像やテキストプロンプトを一切必要としない（ゼロショット）。

• 設計思想:
  新しい損失関数や推論プロトコルを導入するのではなく、既存の密度回帰フレームワーク内で「基盤モデルの表現（Representation）が構造的な頑健性にどのような影響を与えるか」を厳密に検証することを目的としている。

3. 主な貢献 (Key Contributions)

1. DINOv2 の制御された統合: 標準的な例示不要の密度回帰フレームワークに DINOv2 を統合し、損失関数やプロトコルを変更せずに、自己教師あり学習特徴量が構造的頑健性に与える影響を焦点を絞って研究した。
2. 位置埋め込みの明示的融合: 密度復号化前に 2 次元位置埋め込みを融合するシンプルなステップを導入し、トランスフォーマートークン表現に空間的な根拠（Spatial Grounding）を与えた。
3. 定性的・診断的分析: FSC-147 データセットにおける標準的な MAE/RMSE だけでなく、構造的に複雑な物体（例：サングラス）における「部分レベルの過剰カウント」の減少を定性的に示した。また、極端に高密度なシーンが評価指標に与える影響を診断分析した。
4. 失敗モードの明確化: 物体間の境界が不明瞭な高密度シーンにおけるモデルの限界と、評価指標（特に RMSE）が少数の極端なケースに敏感であることを明らかにした。

4. 実験結果 (Results)

評価データセットは「FSC-147（Few-Shot Counting 147）」を使用した。

• 定量的結果:
  • テストセットでの MAE は 19.06、RMSE は 118.45 となり、既存の例示不要手法（CounTR, RCC など）と比較して競争力のある性能を示した。
  • ただし、CounTR や RCC と比較して MAE/RMSE がわずかに高い値となった。これは、モデルが純粋な数値誤差の最小化だけでなく、構造的な整合性の獲得を重視しているためである。
• 定性的結果:
  • サングラスなどの複合物体: 既存手法（CounTX, CounTR）がレンズを別々の物体としてカウントし過剰評価するのに対し、CountFormer は物体全体として捉え、より正確なカウント（例：GT 96 に対して 98）を達成した。
  • 高密度シーンの課題: レゴブロックのように物体が密に詰まり境界が不明瞭な場合、密度マップの重なりにより過少カウントが発生する傾向がある（例：GT 512 に対して 400）。
• 診断的感度分析:
  • データセット内の 4 つの極端に高密度なシーン（アノテーションの曖昧さを含む）を除外して再評価したところ、テストセットの MAE は 13.14、RMSE は 33.05 まで大幅に改善した。
  • これは、評価指標（特に RMSE）が少数の極端な高密度ケースに過度に影響されていることを示唆している。

5. 意義と結論 (Significance)

• 表現の質と構造的整合性: 本研究は、物体カウントタスクにおいて、単なる意味的理解だけでなく、**DINOv2 のような基盤モデルが持つ「空間的・構造的な表現能力」**が、部分と全体の関係を正しく理解する上で重要であることを実証した。
• 評価プロトコルの洞察: 高密度な極端ケースが評価指標を歪める可能性を指摘し、今後のベンチマーク評価における注意点を提供した。
• 将来展望: 本研究は、例示不要のカウントタスクにおける「表現設計（Representation Design）」の重要性を強調し、構造的に意識された視覚カウントシステムのさらなる発展のための制御されたベースラインを提供している。

総じて、CountFormer は、新しいアーキテクチャの提案というよりは、既存のフレームワークに高品質な自己教師あり特徴量を組み込むことで、複雑な物体の構造理解をどのように改善できるかを示した実証的研究である。