An Open-Source Two-Stage Computer Vision Pipeline for Fine-Grained Vehicle Classification using Vision Transformers

あなたは、大量の郵便物を仕分けようとしているところだと想像してください。中には明らかに「新聞」と書かれたもの、「雑誌」と書かれたもの、「ジャンクメール」と書かれたものもあります。しかし、中には誕生日カード、請求書、チラシ、あるいは弁護士からの手紙かもしれないといった、何にでもなり得る数千通の封筒もあります。ただ推測するだけでは、間違いを犯すかもしれません。

この論文は、街路のビデオ映像を見て、単なる大まかな分類ではなく、非常に具体的なカテゴリーへと車両を仕分けるために設計された、新しいオープンソースの「ロボット仕分け機」について記述しています。

システムの仕組みは、以下の簡単なステップに分解できます。

1. 問題点：なぜより優れた仕分け機が必要なのか

現在、ほとんどの交通カメラや安全調査は、「乗用車」、「トラック」、または「バス」の違いしか認識できません。しかし、サイクリストの安全性にとっては、それだけでは不十分です。

• 例え話： サイクリストが衝突事故に遭う場面を想像してください。もし小型のセダンが衝突した場合、それは非常に悪い状況です。しかし、背の高いSUVや巨大な商用トラックが衝突した場合、車両の前部が高い位置にあるため、サイクリストへの当たり方が異なり、負傷はより深刻になることがよくあります。
• ギャップ： 私たちは、どのような種類の車両がサイクリストの横を通過しているのか（例：ミニバンなのか大型バンなのか？ ピックアップトラックなのか、それとも商用トラックなのか？）を正確に知る必要があります。既存のツールは、現実世界の乱れたビデオの中で、これらの特定のタイプを判別することができません。

2. 解決策：2段階の「探偵チーム」

著者らは、2人の探偵が協力して働くような、2ステップのシステムを構築しました。

探偵 #1：素早い偵察員 (RT-DETR)

• 役割： この探偵は、ビデオを素早くスキャンします。車の正確なモデルを知る必要はありません。ただ「おい、そこに車両がいるぞ！」と言って、その周りに枠を描けばよいのです。
• 専門： これは、乗用車、トラック、バス、またはオートバイのように見えるものを検知することに非常に長けています。学習済みの「脳」を使用しているため、ゼロから車の見分け方を教え込まれる必要はありませんでした。
• フィルター： バスやオートバイを見つけた場合は、そこで作業を停止します。もし「車」または「トラック」を見つけた場合は、その仕事を探偵 #2へとパスします。

探偵 #2：専門の分類器 (Vision Transformer)

• 役割： この探偵は、探偵 #1から受け取った特定の「クロップ（枠内の画像）」を非常に細かく観察します。
• 専門： これは、きめ細かな分類を行うエキスパートです。車両を以下の6つの特定のカテゴリーに分類します。
  1. 乗用車 (Passenger Car)
  2. SUV
  3. ピックアップトラック (Pickup Truck)
  4. ミニバン (Minivan)
  5. 大型バン (Large Van)
  6. 商用トラック (Commercial Truck)
• 「わからない」ボタン： これが最も重要な部分です。もし画像がぼやけていたり、角度が変だったり、車両の一部が隠れていたりして、この探偵が確信を持てない場合、彼は推測して間違える代わりに、次のようなルールに従います。「確信度が60%未満であれば、『不明（Unknown）』と回答する」。
  • なぜ重要か： 安全性の研究においては、それがミニバンであるのに自信満々に「これはピックアップトラックだ」と答えてしまうよりも、「わからない」と言う方が、誤った推測による「サイレントエラー（静かなる誤り）」を防ぐことができます。

3. 学習：どのようにしてロボットに教えたか

「大型バン」と「商用トラック」の違いを教えることは困難です。なぜなら、標準的なデータセットには、これらの特定のトラックの画像が非常に少ないからです。

• 混合手法： 研究者たちは、以下の3つを混ぜ合わせることで、カスタム学習ライブラリを構築しました。
  1. スタジオ写真： 有名なデータセット（Stanford Cars）から収集した高品質な車の写真。
  2. ウェブスクレイピング： インターネットから収集したバンの写真やトラックの写真。
  3. 実際の街路カット： ミシガン州アナーバーの実際のビデオクリップを使用し、車両を切り出しました。これにより、現実の、乱れた街路の状況（ぼやけ、横向き、一部が隠れている状態）をロボットに見せました。
• 不均衡の解消： ロボットは、通常の乗用車やSUVの写真を、大きなトラックよりもはるかに多く見ています。これを修正するために、学習プロセスを調整し、希少なトラックの写真に対して特別な注意を払うようにして、ロボットがそれらを無視しないようにしました。

4. 結果：どの程度うまく機能したか

チームはこのロボットを2つの異なるビデオセットでテストしました。

テスト 1：「ホームグラウンド」（イン・ディストリビューション）

• 設定： 学習用のクリップを撮影したのと同じ場所（アナーバー）のビデオでテストしました。
• スコア： 正解率は 94% でした。
• 詳細： SUVの検出において驚異的な精度（97%）を示しました。また、乗用車やピックアップトラックについても非常に優秀でした。唯一の課題は、車両が見えにくい場合でしたが、その際も正しく「わからない」ボタンを使用し、誤った推測をすることはありませんでした。

テスト 2：「アウェーゲーム」（アウト・オブ・ディストリビューション）

• 設定： 特殊な研究用自転車に取り付けられた、異なるカメラと照明を使用した、全く別の場所のビデオでテストしました。ロボットの再学習は行っていません。
• スコア： 89% の正解率を記録しました。
• 詳細： 再学習なしでこの結果を得たことは、非常に強力な成果です。
  • SUVとピックアップトラックは、引き続き高い精度を維持しました。
  • ミニバンについては、少し難易度が上がりました。精度は低下しましたが、主にロボットがより慎重になったためです。ミニバンが新しいビデオでは違って見えたため、ロボットは「不明」と回答する頻度が増えました（25%の割合で）。ロボットはデタラメな推測を始めたのではなく、単に自身の不確実性を認めたのです。

5. なぜこれが重要なのか

• オープンソースである： 著者らは、すべてのコード、学習済みロボットの脳、およびデータを無料で公開しています。誰でもダウンロードして、自分の街路ビデオの分析に使用できます。
• 安全第一： 小型の車と大型トラックを区別することで、都市計画者や安全研究者は、どの種類の車両が具体的にサイクリストを危険にさらしているのかを、ようやく理解できるようになります。
• 手作業が不要： これまでは、人間が何時間もビデオを観察して車両を数える必要がありました。今や、このツールを使えば自動で行うことができます。

要約すると、この論文は、2段階のフィルターとして機能するスマートで無料のツールを提示しています。まず、車を見つけます。次に、それらを特定のタイプへと丁寧に仕分けます。もし確信が持てなければ、それを認めることで、データの正確性が悪い推測によって損なわれないようにします。このシステムは、再学習を必要とせずに、新しい場所でもうまく機能します。