技術的概要：機械部品の計数

問題定義

本論文は、画像内に密集して配置された物体の計数という課題、特に産業用機械の洗濯機部品の計数に焦点を当てて取り組んでいる。物体検出システムは進展を遂げているが、著者らは、重なり合う物体、遮蔽、多様なスケール、および照明条件により、最先端の検出モデルが高密度なシーンにおいて困難に直面していると指摘している。特定のデータセットは、9 つの異なる角度から撮影された洗濯機バンドルの 8,100 枚の画像で構成され、画像あたりの平均物体数は約 26 個である。主な難しさは、部品が重度に遮蔽されているか、クラスター化されている際に個々の円形部品を区別することにあり、このシナリオでは従来の計数方法や標準的な検出アーキテクチャはしばしば失敗する。

手法

著者らは、物体計数のための密度マップを学習するように設計された数ショット回帰モデルであるFamNetアーキテクチャ [12] を拡張する、深層学習に基づくアプローチを提案する。手法には、いくつかの主要な構成要素が含まれる。

1. ネットワークアーキテクチャと適応

コアモデルは、マルチスケール特徴抽出のために ImageNet で事前学習されたResNet-50バックボーンを利用する。テスト時に異なるクラスに適応するために少数の例示バウンディングボックスを使用する元の FamNet とは異なり、この実装は単一クラス（洗濯機部品）向けに調整されている。したがって、モデルには少数の例示ではなく、画像内の洗濯機部品のすべてのバウンディングボックスが提供される。これらのボックスは、畳み込み特徴マップ上で ROI プーリングを受け、マルチスケール特徴を生成し、その後、5 つの畳み込みブロックと 3 つのアップサンプリング層からなる密度予測モジュールに入力され、2 次元密度マップを生成する。最終的な物体数は、この密度マップの値を合計することで導き出される。

2. 正解密度マップの構築

正解密度マップを生成するために、著者らは過去の研究で使用されていた点単位の注釈とは異なるアプローチをとる。代わりに、点注釈を物体ポリゴンの重心にアンカーする。各点とその 1 番目の最隣接点との平均距離に基づいて、ガウス平滑化のための動的なウィンドウサイズを計算し、密度マップが洗濯機部品の特定の空間分布に適応するようにしている。

3. ミスマッチ損失

新たな貢献として、ミスマッチ損失関数の導入がある。FamNet の標準的な平均二乗誤差（MSE）損失は、予測密度マップと正解密度マップ間の総誤差のみを罰する。提案されたミスマッチ損失は、注釈から導出されたバイナリマスクに基づいて画像に物体が存在しない領域に対応する、予測密度マップ内のピクセルを特に罰する。形式的には、この損失は、正解マスクが物体の不在を示す領域における予測密度値の合計を計算する。この損失は、重み付けハイパーパラメータ $\lambda = 10^{-9}$ を用いて、標準的な密度 MSE 損失と組み合わされる。

4. 角度集約

データセットには各シーンに対して 9 つの異なる視点角度が含まれているため、著者らは予測を集約するための後処理ステップを採用する。9 つの角度全体で最大値、最小値、および平均値の集約方法を試行する。実証結果によると、予測された個数の平均値をとることが最良のパフォーマンスをもたらした。

5. 代替アプローチ（深度分離）

本論文は、遮蔽に対処するために深度ベースの分離も探求しており、マルチレベル Otsu 閾値法と**Dense Prediction Transformers (DPT)**を使用して画像を深度層に分割しようとした。しかし、グレースケール強度または深度マップに基づいて重なり合う物体をきれいに分離できないため、これらの実験は主に失敗し、重複カウントと誤差の増加を招いた。

主要な貢献

• FamNet の適応: 入力メカニズムをフルバウンディングボックスセットを使用するように変更することで、数ショット計数モデルを単一クラス、高密度の産業用計数タスクに成功裏に適応させた。
• ミスマッチ損失: 密度マップにおける偽陽性（存在しない場所で物体を予測すること）を罰するように設計された追加の損失関数を提案したが、この特定のデータセットの文脈ではその有効性は限定的であった。
• マルチ角度集約: 同じ物体バンドルの複数の視点からの予測を平均化することが、単一視点の予測と比較して計数誤差を大幅に減少させることを実証した。
• 包括的なベースライン比較: 提案された手法を、従来の画像処理パイプライン（Hough 変換）およびインスタンスセグメンテーション（Mask-RCNN）と比較評価し、高密度なシナリオにおけるこれらのアプローチの限界を浮き彫りにした。

結果

モデルのパフォーマンスは、ホールドアウトテストセットにおける**平均絶対誤差（MAE）と二乗平均平方根誤差（RMSE）**を使用して評価された。

• ベースライン:
  • 従来の画像処理: MAE 29.01を達成し、ノイズと偽検出に苦しんだ。
  • Mask-RCNN（事前学習済み）: MAE 26.20を達成。
  • Mask-RCNN（ファインチューニング済み）: 大幅に改善され、MAE 3.79を達成し、ドメイン固有のトレーニングの必要性を実証した。
• 提案手法:
  • FamNet（ベースライン）: MAE 2.60を達成。
  • FamNet + ミスマッチ損失: MAE 2.97となり、この特定のデータセットでは損失関数がパフォーマンスを向上させず、むしろノイズを導入した可能性を示唆。
  • FamNet + 角度集約（平均）: MAE 1.96およびRMSE 2.70で最良のパフォーマンスを達成。

著者らは、ミスマッチ損失は過剰カウントを減らすことを意図していたが、このデータセットにおける過剰カウントの誤差は、すでに部分的に予測されている物体が存在する遮蔽領域で主に発生しており、損失が効果的でないことを観察した。一方、角度集約戦略は非常に効果的であることが証明された。

意義と主張

本論文は、FamNet のような回帰ベースの密度推定モデルを含む深層学習ネットワークが、2 未満の MAE 精度を達成し、密集した機械部品の計数に対して非常に効果的であると結論づけている。著者らは、特定のモデルが洗濯機データセットに対して堅牢である一方で、その汎化性は、トレーニングデータの特定の性質（無地の黒背景、均一な物体スケール）によって現在制限されていると主張している。

この研究の意義は、以下の点を示すことにある。

1. 回帰ベースの計数は、高密度な産業用物体に対して、従来の画像処理およびインスタンスセグメンテーションの両方を凌駕する。
2. マルチビュー集約は、複数の視点を持つデータセットの精度向上のための重要な後処理ステップである。
3. ミスマッチ損失は普遍的に有益とは限らず、特に誤差が空の領域における偽陽性ではなく遮蔽に起因する場合、損失関数の設計はデータセットの特定の誤差モードに合わせて調整される必要があることを示唆している。

著者らは控えめに、将来の研究としては、より効果的な深度方向の分離技術、またはさらなる高精度を実現するために NeRF などの使用を通じてデータのマルチビュー性を活用した 3D シーン表現の生成が含まれ得ると提案している。