Search-based Robustness Testing of Laptop Refurbishing Robotic Software

技術概要：ラップトップ再生ロボットのソフトウェアに対する検索ベースの堅牢性テスト

問題定義
デンマーク技術研究所（DTI）は、協働ロボット（UR10e）を活用してラップトップの再生を自動化しており、これは電子廃棄物の削減と循環型経済の支援にとって重要なプロセスです。このワークフローの重要な構成要素は、分解と再組み立てのためのネジ、ネジ穴、および固定具を特定するために、深層学習（DL）の物体検出モデル（特に YOLO 変種）を利用する知覚ソフトウェアです。

堅牢性を確保するための現在の産業慣行は、トレーニング中のアドホックなデータ拡張（例えば、反転、ぼかし）に依存しています。これらの手法は、モデルの堅牢性を体系的に評価するか、特定の照明変化や表面の摩耗などの微妙な失敗を引き起こす条件を特定するための構造化された自動化メカニズムを欠いています。誤った検出は、ラップトップへの物理的損傷（例えば、シールを剥がす際の表面傷）や分解の不完了につながる可能性があります。本論文は、壊滅的で非現実的な入力破損を引き起こすことなく、これらの物体検出モデルの弱点を露呈させる最小限の局所的な摂動を体系的に発見するためのアプローチの必要性に焦点を当てています。

手法：PROBE
著者らは、多目的最適化を活用して最小限の局所的な摂動を特定する検索ベースの堅牢性テスト手法であるPROBEを提案します。

• 中核メカニズム: PROBE は、堅牢性テストを多目的最適化問題として扱います。摂動空間を探索するためにNSGA-II（Non-dominated Sorting Genetic Algorithm II）アルゴリズムを使用します。
• 摂動符号化: 摂動は、画像に適用される局所的なガウス変形を表す 7 次元ベクトルとして符号化されます。パラメータには、中心座標 $(c_x, c_y)$、半径 $r$、ガウス拡散比率 $\sigma$、および青、緑、赤チャンネルの加法的色シフト（$\Delta B, \Delta G, \Delta R$）が含まれます。
• 探索制約: 計算コストを削減し、関連性を確保するために、探索は真値のバウンディングボックスで定義された関心領域（ROI）に制限されます。摂動の大きさは、変化が微妙で現実的であるように制限されます（例えば、色シフトを $[-48, 48]$ に制限）。
• 目的関数: アルゴリズムは、3 つの目的のベクトルを最小化します。
  1. 信頼度の低下（$f_1$）: 正しい（同一クラスの）検出の平均信頼度を低下させる。
  2. 局所化の低下（$f_2$）: 最良の同一クラス予測の交わり率（IoU）を低下させる。
  3. 摂動予算（$f_3$）: 摂動が最小限であるように、その大きさと空間的範囲を最小化する。
• 失敗の定義: 摂動された入力によって、検出の欠落、誤分類、局所化の誤り（閾値以下の IoU）、または曖昧な予測が生じた場合、失敗として識別されます。
• メタモルフィック分析: 明示的な失敗を超えて、PROBE はメタモルフィック関係（MR）を使用して、失敗に至らない摂動下でのモデルの安定性を評価し、信頼度および局所化スコアからの逸脱を測定します。

実験設定
このアプローチは、DTI が提供する 3 つの産業用物体検出モデルで評価されました。これらは、段階的に複雑化されたデータセットでトレーニングされています。

1. origSCDM: 黒いネジのみでトレーニング。
2. noscrewSCDM: ネジおよびネジ以外の物体でトレーニング。
3. fixtureSCDM: ネジ、ネジ以外の物体、および広範な拡張を伴う多様な固定具でトレーニング。

評価では、超体積（HV）指標、失敗率、摂動の大きさ、およびモデル間転移性を用いて、PROBE を**ランダム検索（RS）**のベースラインと比較しました。本研究では、評価用に 802 枚の画像、転移性テスト用に 25 枚の非重複画像を使用しました。

主要な結果

• 検索の有効性: PROBE はランダム検索を大幅に上回りました。失敗を引き起こす摂動を生成する割合は、PROBE が**10.4% から 26.3%であるのに対し、RS は1.5% から 9.9%**でした。
• 検索の質: PROBE は、すべてのモデルで一貫して高い超体積（HV）スコアを達成し、失敗誘発と摂動の大きさの間のトレードオフの探索が優れていることを示しました。
• 摂動の大きさ: PROBE は、RS よりも小さな摂動の大きさで失敗を特定し、より微妙で現実的な脆弱性を見出していることを示唆しています。
• 転移性: PROBE によって生成された摂動は、異なるモデル間で効果的に転移しました（例えば、noscrewSCDM用の摂動は、origSCDMで 29.8% の失敗率を引き起こし、RS の 16.0% と比較されました）。
• 失敗パターン:
  • origSCDMおよびnoscrewSCDMの失敗は、誤分類と曖昧な予測が支配的でした。
  • fixtureSCDMの失敗は主に局所化の誤りによって引き起こされ、このモデルは全体的に最も高い堅牢性を示しました。
• 安定性分析: 失敗に至らない摂動下では、fixtureSCDMは高い安定性を示しました（信頼度違反は約 1%、局所化違反はほぼゼロ）。一方、他のモデルは中程度から大きな逸脱のより高い率を示しました。

意義と貢献
本論文は、以下の貢献を主張します。

1. 体系的な堅牢性テスト: PROBE は、アドホックなデータ拡張に対する構造化された自動化された代替手段を提供し、産業用ロボットソフトウェアにおける失敗を引き起こす条件の体系的な発見を可能にします。
2. 最小摂動の発見: 最小限の変化を最適化することで、PROBE は、大規模な破損と比較して、現実世界の環境（例えば、変化する照明）でより発生しやすい微妙な脆弱性を明らかにします。
3. モデル間からの洞察: この研究は、失敗を引き起こす摂動がモデルバージョン間で一般化し得ることを実証しており、反復的な開発サイクルにおけるテスト効率を向上させるためにテスト努力を再利用できることを示唆しています。
4. メタモルフィック堅牢性評価: この作業は、二値の失敗検出を超えて堅牢性評価を拡張し、予測が形式的に正しくてもモデルの安定性を定量化するために MR を使用します。
5. 産業的関連性: このアプローチは、現実世界のラップトップ再生ワークフローで検証されており、高いデバイス変異性を伴う非構造化環境で動作する際の特定の課題を浮き彫りにしています。

限界と今後の課題
著者らは、本研究が単一の産業事例からの 3 つの特定の YOLO モデルに限定されており、他のドメインやアーキテクチャ（例えば、Faster R-CNN）への一般化にはさらなる調査が必要であることを認めています。今後の研究の目標は、発見された失敗をトレーニングにフィードバックするために PROBE を継続的テストパイプライン（CI/CD）に統合すること、アプローチを他の知覚コンポーネント（例えば、シール検出）に拡張すること、およびロボットソフトウェアのための自己適応型回復手法を探求することです。