技術的概要：SteelDS データセット

問題提起

金属のリサイクル、特にシュレッダー処理された E40 級鋼スクラップからの銅不純物の分離は、産業用磁気選別後のボトルネックとなっています。X 線透過（XRT）や超分光イメージング（HSI）を用いたセンサーベース選別（SBS）は効果的ですが、これらのモダリティは資本集約的であり、空間分解能が低いという欠点があります。一方、深層学習と RGB カメラを用いた標準的なビジョンベース選別は費用対効果の高い代替手段を提供しますが、この特定のドメイン向けに特化した高忠実度のデータセットが存在しません。

既存の廃棄物データセット（TACO、TrashNet、ZeroWaste など）は、巨視的で未破損の家庭用または都市廃棄物に焦点を当てており、産業用スクラップに特有の機械的にシュレッダー処理され、マイクロスケールで、確率的に変形した性質には対応できていません。さらに、シュレッダー処理された金属スクラップの分類に関する以前の試みは、粗いバウンディングボックスや画像レベルのアノテーションに依存しており、変形したスクラップに典型的な高度に不規則な境界や微細なストランドを区別することができませんでした。異種混合の磁気選別後のストリームにおける鋼鉄と銅の分離のための、インスタンスレベルのセグメンテーションベンチマークとして公開されているデータには大きなギャップが存在します。

手法

データ取得

SteelDS データセットは、産業用コンベアベルトの条件を再現するため、レオーベン工科大学の制御された実験室環境で撮影されました。

• 材料源： Scholz Austria GmbH から供給された 497 個のシュレッダー処理金属物体（鋼鉄 396 個、銅 101 個）。この材料は、使用済み自動車や白物家電からの破砕された古鋼鉄である E40 級鋼スクラップの磁気選別後の画分を表しています。
• 物理的セットアップ： 幅 1.0 メートルのコンベアベルトを 0.4〜0.5 メートル/秒で運転しました。物体は、変化する産業密度と遮蔽をシミュレートするため、2 つの構成で配置されました：孤立した粒子（最小 1 センチメートルの間隔）と高密度クラスター（強制間隔なし）。
• イメージング： GoPro Hero 11 カメラが、厳密な天頂（真上からの）視点から、100 fps で 4K Ultra HD（3680 × 2160）動画を撮影しました。拡散 LED 照明は金属表面での反射を最小化し、エンクロージャーは環境光を遮断しました。
• 限界： 単一視点の 2D セットアップは、粒子の下面に位置する銅部品を本質的に遮蔽します。これは産業用 2D 光学選別における標準的な制約です。

アノテーションと前処理

• フレーム抽出： 生の 100 fps ビデオは 20 fps にダウンサンプリングされ、フレームはロスレス PNG 画像として抽出されました。
• アノテーションツール： カスタム半自律ツール（FOST）がマスク提案を生成し、これらは人間の注釈者によって手動で修正・検証されました。
• アノテーション規則： 厳格なピクセルレベルのガイドラインが施行されました。マスクは物理的境界を追跡し、キャストシャドウやモーションブラーの痕跡を除外しました。輸送中の破損によって生じた破片は、独立したインスタンスとしてラベル付けされました。
• クラス： 物体は 2 つの主要なクラスに分類されました：Steel（鉄系コンポーネント）とCopper（可視の銅コンポーネントを含む）。さらに、物体は視覚的検査と取扱い重量に基づいて、サイズ別にヒューリスティックにグループ化されました（鋼鉄は S1–S5、銅は C1–C3）。ただし、これらのサイズグループは明確なグラウンドトゥルスクラスではありません。

データセット構造

データセットは、複雑さが増す 5 つのサブセット（a1–a5）にわたる24,297 枚のラベル付きフレームで構成されています。

• サブセット a1–a3： 1 センチメートル超の間隔を設けた累積的な物体の包含。
• サブセット a4： 間隔なしの高密度クラスター（高い遮蔽）。
• サブセット a5： すべての材料と両方の間隔構成を組み合わせた包括的な評価セット。
• スプリット： 訓練、検証、テストセットの間には厳密な隔離が施行されます。物体はスプリット間で共有されません。

主要な貢献

1. インスタンスレベルセグメンテーションベンチマーク： SteelDS は、機械的にシュレッダー処理された E40 鋼および銅スクラップのインスタンスセグメンテーションに特化した、最初の公開高解像度動画データセットを提供します。
2. 現実的な産業の複雑性： 未破損の物体を特徴とする先行データセットとは異なり、SteelDS は産業用シュレッダー処理に固有の確率的変形、引き裂かれた縁、構造的破砕を捉えています。
3. ピクセル単位のグラウンドトゥルス： このデータセットは正確なピクセル単位のセグメンテーションマスクを提供し、粗い検出だけでなく、微細な境界の描画のためのモデルのトレーニングを可能にします。
4. オープンワールドシミュレーション： 変化する物体密度、遮蔽、複雑なトポロジー（例：鋼鉄に埋め込まれた銅ワイヤー）を含めることで、予測不可能な形状と混合材料を処理する必要がある「オープンワールド」課題に対処します。

実験結果

著者は、最先端の物体検出およびインスタンスセグメンテーションモデルを使用してベースラインを確立しました：YOLOv8n-seg、YOLO11n-seg、YOLO12n-seg、YOLO26n-seg、および Mask R-CNN（ResNet-50）。モデルは再現性を確保するため、5 つの異なるランダムシードでトレーニングされました。

• 性能階層： Mask R-CNNは、すべてのサブセットにおいてすべての YOLO ナノアーキテクチャを一貫して上回りました。例えば、サブセット a1 において、Mask R-CNN は189.65の結合フィットネススコアを達成し、YOLOv8n の最大168.74と比較されました。この差は、Mask R-CNN の 2 段階アーキテクチャと優れた空間的特徴の保持に起因します。
• 検出対セグメンテーション： バウンディングボックス検出（mAP50-95）は、インスタンスセグメンテーション（mAP50-95）を一貫して上回りました。サブセット a1 の場合、検出 mAP は**86.63%でしたが、セグメンテーション mAP は81.67%**でした。
• 材料の差異：
  • 鋼鉄： 剛性で bulky な構造のため、一般的に検出が容易です。
  • 銅： 高い鏡面反射、絡み合ったワイヤーバンドル、混合材料アセンブリ（例：銅ネット内の鋼ピン）のため、セグメンテーションがより困難です。ただし、銅の検出性能は一部の指標において鋼鉄と同等であり、バウンディングボックスは表面のテクスチャに対して頑健である一方、セグメンテーションは微細な境界で苦労することを示唆しています。
• スケール感度： 中サイズの物体の性能は、大サイズの物体に比べて大幅に低下しました。このデータセットにはその次元のグラウンドトゥルインスタンスが存在しないため、小物体は指標から除外されました。
• 失敗モード： モデルは特定の誤りを示しました。
  • 環状物体の内部背景を物体の一部として誤ってセグメンテーションする。
  • 長くねじれたロッドやしわくちゃになったシートを複数のインスタンスに分割する。
  • 薄く多方向のストランドを持つ銅ワイヤーバンドルで苦労する。

意義と主張

本論文は、SteelDS を金属リサイクルにおける自動化された選別の進展のための基盤的資源として位置づけています。その意義は以下の点にあります。

• データギャップの埋め合わせ： 専有データ制限によって阻害されてきた、特に鋼鉄と銅の分離のための産業用金属スクラップに特化した資源の不足に対処します。
• 高度な知覚の実現： 異種ストリーム内の既知のターゲットに対するピクセル単位のベースラインを提供することで、極端なクラス内変動を処理できる堅牢なオープンワールド選別アーキテクチャの開発を支援します。
• ベンチマークとしての有用性： このデータセットは、確率的に変形し、高反射性の産業用材料を処理する際の現在のコンピュータビジョンモデルの限界を評価するための厳格なテストベッドとして機能します。

著者は、ベースラインモデルが有望であることを示しつつも、このデータセットが（複雑な形状、隠れた部分、混合材料など）特定の課題を明らかにしており、これらは分野における未解決の問題のままであり、より堅牢なセグメンテーションおよび分類アルゴリズムへのさらなる研究を動機づけていると指摘しています。