Rethinking Multi-Branch and Cross-Backbone Fusion for Vehicle Re-Identification in the Foundation-Model Era

あなたは、何千台もの見た目が同じ車両で溢れる都市の中で、特定の車を探そうとしていると想像してください。これが「車両再識別（Vehicle Re-Identification: Re-ID）」の仕事であり、スマート交通システムにおける「超能力」として、カメラが街角から街角へと車を追跡するのを助けます。長年、性能を向上させるための秘訣は「多様性」であると信じられてきました。エンジニアたちは、もし車の特徴を見るために異なる専門家たちのチームを構築できれば、そのグループは単独の専門家よりも賢くなるはずだと考えてきました。彼らは役割を分担しました。ある専門家はホイールに注目し、別の専門家は屋根に注目し、また第三の専門家は、他の者が逃してしまう詳細を捉えるために、全く異なる思考スタイル（例えば、人間の脳対ロボットの脳のような）を用いる、といった具合です。多くの多様性があれば、ミスが減るという大きなアイデアでした。しかし、もし最初から「天才レベルの脳」を与えられたらどうなるでしょうか？ 助っ人を増やすことは、依然として役に立つのでしょうか？ それとも、単に邪魔になるだけなのでしょうか？

Yu WangとHongyu Yangによって書かれたこの論文は、まさにその問いに深く切り込んでいます。彼らは、現代的で強力なタイプのAIの脳（「基盤モデル」と呼ばれます）を、車の探索タスクにテストしました。多くの異なる専門家による複雑なチームを作る代わりに、彼らはこう問いかけました。「もし、たった一人の本当に、本当に賢い専門家を使い、その人に完璧に教え込むことができたらどうなるだろうか？」 彼らは、2つの有名な車のデータセット（VeRi-WildとVeRi-776）を用いて大規模な実験を行い、結果が公平であることを保証するために厳格なルールを適用しました。彼らは単に推測したのではなく、高精度なツールを用いて、AIの異なる部分が実際に異なるものを見ているのか、それとも単に重複しているだけなのかを測定しました。

彼らが見出した答えは、AIの世界における一種の「どんでん返し」です。彼らは、強力な基盤モデルを使用する場合、従来の「多ければ多いほど良い」というルールが崩壊することを発見しました。同じ脳の上に複数の「ヘッド（異なる専門家）」を組み合わせようとしたとき、専門家たちは多様なチームになるどころか、全員が全く同じことを考え始めてしまったのです。それはまるで、5人の刑事が集まったものの、全員が同じ手がかりを同じ方法で見つめようと決めたようなものでした。二つの全く異なる種類の脳（標準的なものと、洗練された新しいTransformer型）を混合しようと試みたときでさえ、新しい方の脳は有用なものを何も追加できませんでした。実際には、適切に調整された単一の脳は、チーム全体と同じくらい優れており、しかも動作はより速く、コストも低かったのです。論文は、この特定の仕事、この特定の種類の賢い脳に対しては、委員会は必要ない、と結論付けています。必要なのは、ただ一人のスーパースター、適切なトレーニングのレシピ、そして最後に結果をダブルチェックするための巧妙なトリックだけなのです。

単独のスーパー・エキスパートの物語

約10年間にわたり、AIコミュニティは「多様性が王である」という概念に執着してきました。車両再識別の世界において、これはマルチブランチ・アーキテクチャを備えた複雑なシステムを構築することを意味していました。車の検査チームを想像してみてください。ある人はナンバープレートをチェックし、別の人はタイヤの溝をチェックし、第三の人は塗装の状態をチェックします。並列のストリームに作業を分割することで、単独の人間ができるよりも多くの詳細を捉えられるという理論でした。中には、人間のような探偵とロボットのような探偵を共に働かせ、彼らの異なる視点が互いの死角を補い合うことを期待して、Cross-Backbone Fusionを試みるチームもありました。

前提は単純でした。「より多様な表現は、より良い結果をもたらす」というものです。しかし、この論文は極めて重要な問いを投げかけています。「基盤モデルを使用する場合でも、これはまだ機能するのだろうか？」

基盤モデルとは、いわば「事前学習済みの天才」です。彼らはすでにインターネット全体（あるいはこの場合は、何百万もの画像）を読み込み、特定の仕事を与えられる前から、世界の捉え方を学んでいます。著者であるWangとYangは、こう疑問に思いました。「もし、車を見ることにほぼ完璧な脳からスタートする場合、第二の脳が助けとなる余地はあるのだろうか？ それとも、最初の脳がすでに知っておくべきことはすべて知っているのだろうか？」

実験：一つの脳 vs. チーム全体

これを確かめるために、著者らは公平な戦いを設定しました。彼らは強力な事前学習済みAIであるDINOv3-ConvNeXtを取り上げ、それを訓練するための特定の「レシピ」を与えました。このレシピは魔法ではありません。AIにいつ脳を凍結（フリーズ）させ、いつ自由に学習させ、どのように学習速度を調整するかという、注意深いスケジュールのことです。

彼らはこの単一の脳を、2つの主要なデータセットでテストしました：

1. VeRi-Wild: 何千もの異なる車を含む、膨大な車の画像コレクション。
2. VeRi-776: AIが新しい状況に一般化できるかどうかを確認するために使用される、少し小さいが非常にトリッキーな画像セット。

彼らは、この単一のよく訓練された脳を、複数のブランチやメタデータ（カメラの角度などの追加情報）を使用する最強の既存チームと比較しました。

結果： 単一の脳が勝ちました。というか、引き分けでした。
単一のDINOv3-ConvNeXtモデルは、適切なトレーニングレシピを用いることで、VeRi-Wild Smallデータセットにおいて88.19 mAP（検索の良さを測る指標）というスコアに達しました。これは、追加のメタデータに依存する最も複雑なマルチブランチ・システムと同等の性能でした。さらに「リランキング（再ランキング）」ステップ（トップの結果をダブルチェックする巧妙な方法）を追加すると、スコアは92.38 mAPへと跳ね上がりました。

著者らは、単一の脳がチーム全体と同じくらい優れている一方で、2.8倍速く、**3倍少ない計算量（FLOPs）**で済むことを発見しました。

「多様性」の神話の崩壊

この論文の最もエキサイティングな部分は、なぜチームのアプローチが失敗したのかを証明した方法にあります。彼らは単に最終スコアを見たのではなく、AIの脳の内部を覗き込み、異なる「ヘッド」が実際に何をしているのかを確認しました。

1. 同一バックボーンの崩壊（クローン軍団）
同じバックボーン上に4つの異なる「ヘッド」を配置したとき、彼らはそれらが車の異なる部分を見ていることを期待していました。しかし、AIが訓練を進めるにつれて、4つのヘッドはすべて全く同じことを考え始めていることが判明しました。

• 比喩： 4人の刑事が雇われたと想像してください。最初は、一人が靴を見て、一人が帽子を見て、一人がバッグを見て、一人が顔を見ています。しかし、彼らが共に働くうちに、全員が最も明白な手がかりがある場所、つまり「顔」を見始めるのです。最後には、全員が同じ場所を凝視しています。
• データ： 著者らはこれをJaccard類似度というツールを用いて測定しました。異なるヘッドが検索した内容は、**83.5%から84.1%**まで同一であることが分かりました。彼らは本質的にクローンでした。それらを組み合わせても、全員が同じ間違いをし、同じ一致を見つけているため、助けにはなりませんでした。

2. クロス・バックボーンの失敗（噛み合わない二人組）
次に、彼らは「人間 vs. ロボット」のアプローチを試みました。ConvNeXtの脳（「人間」）を取り、それをTransformerの脳（「ロボット」）と融合させようとしました。彼らは、これら2種類の脳は本質的に異なることを知っていました。

• セットアップ： 彼らはConvNeXtの脳を凍結させ、変更できない状態にして「セマンティック・アンカー（安定した参照点）」として機能させ、Transformerと融合モジュールのみを訓練しました。Transformerが怠けていないことを確認するために、3つの異なるトレーニングレシピを試しました。
• 結果： Transformerの脳は苦戦しました。最高の訓練を行っても、約73 mAPにしか達しませんでした。一方、ConvNeXtの脳は88.19 mAPでした。
• 融合： 彼らが両者を組み合わせようとしたとき、システムは改善しませんでした。実際、「オラクル（二つの混合方法として最適な方法を知っている理論上の完璧なシステム）」は、Transformerにゼロの重みを与えるという判断を下しました。Transformerはあまりにも劣っていたため、システムはそれを完全に無視しました。融合によって得られたのは、単一の脳に対するわずか0.11 mAP（統計的に無視できるほど微小な量）の上昇に過ぎませんでした。

なぜこのようなことが起きたのか？

論文は明確な説明を提供しています：**共有された軌跡（Shared Trajectories）**です。
複数のヘッドを同じバックボーンで訓練すると、彼らは同じ経路を辿ります。彼らは数学の世界における同じ「解」へと押し進められます。彼らは多様性を保つことができず、冗長性へと崩壊します。
さらに、**ファインチューニングによる歪み（Fine-Tuning Distortion）**も影響しています。事前学習済みの天才を連れてきて新しい技術を教えるとき、その人の元の「世界の見方」は、新しいタスクに合わせて歪められてしまいます。最初に存在していた差異（CNNとTransformerの捉え方の違いなど）は、両者が同じ方法で車の問題を解決しようとする中で消滅してしまうのです。

効率の限界点

著者らは、基盤モデルの時代における車両再識別における「効率の限界点（最小の労力で最高のパフォーマンスを得られる地点）」は、以下のようになると結論付けています：

• 強力な単一バックボーン： 強力な基盤モデル（DINOv3-ConvNeXtなど）を使用すること。
• 正しいレシピ： 特定のスケジュール（段階的な学習率減衰）を用いて慎重に訓練すること。
• 正確なスパース・リランキング： トップの結果をダブルチェックするための、メモリ効率の良いスマートな手法を使用すること。

この組み合わせは、最も複雑なマルチブランチ・システムと同等の性能を実現しながら、計算能力はごく一部で済みます。

これが将来にとって何を意味するか

この論文は、多様性が決して役に立たないと言っているわけではありません。この特定のタスク、この特定の種類のAI、そしてこの規模のデータにおいては、多様性は報われないということを言っています。「多ければ多いほど良い」というルールは崩れています。

著者らは、自分たちの説を覆す可能性がある要素（「反証可能性」）についても慎重に挙げています：

• もし誰かが、Transformerの性能をConvNextの脳に追いつかせる訓練方法を見つけた場合。
• もし、脳を個別に保つような全く異なるタイプの事前学習を用いた場合。
• もし、単一の脳がまだ「飽和」していない、より小さなデータセットで試した場合。

しかし、今のところメッセージは明確です。雑多な専門家チームを作るのはやめましょう。代わりに、一人の天才を見つけ、彼らをよく教え、その仕事に従事させるのです。その方が速く、安く、そして賢明なのです。