Search-based Robustness Testing of Laptop Refurbishing Robotic Software

Technisches Fazit: Suchbasierte Robustheitstests für Roboter-Software zur Laptop-Refurbishment

Problemstellung
Das Dänische Technische Institut (DTI) setzt kollaborative Roboter (UR10e) ein, um die Aufarbeitung von Laptops zu automatisieren, einen kritischen Prozess zur Reduzierung von Elektroschrott und zur Unterstützung der Kreislaufwirtschaft. Eine Schlüsselkomponente dieses Arbeitsablaufs ist die Perzeptionssoftware, die Deep-Learning-(DL-)Objekterkennungsmodelle (insbesondere YOLO-Varianten) nutzt, um Schrauben, Schraubenlöcher und Befestigungselemente für die Demontage und Wiedermontage zu identifizieren.

Die aktuellen industriellen Praktiken zur Sicherstellung der Robustheit stützen sich auf ad-hoc-Datenaugmentierung (z. B. Spiegeln, Weichzeichnen) während des Trainings. Diese Methoden fehlen ein strukturiertes, automatisiertes Mechanismus, um die Robustheit von Modellen systematisch zu bewerten oder subtile, fehlerauslösende Bedingungen zu identifizieren, wie etwa spezifische Lichtvariationen oder Oberflächenabnutzung. Fehlfunktionen bei der Erkennung können zu physischen Schäden an den Laptops führen (z. B. Kratzer auf Oberflächen beim Entfernen von Aufklebern) oder zu einer unvollständigen Demontage. Der Beitrag adressiert die Notwendigkeit eines systematischen Ansatzes, um minimale, lokalisierte Perturbationen aufzudecken, die Schwächen in diesen Objekterkennungsmodellen offenbaren, ohne katastrophale, unrealistische Eingabeverfälschungen zu verursachen.

Methodik: PROBE
Die Autoren schlagen PROBE vor, einen suchbasierten Ansatz für Robustheitstests, der Multi-Objective-Optimierung nutzt, um minimale, lokalisierte Perturbationen zu identifizieren.

• Kernmechanismus: PROBE behandelt Robustheitstests als ein Multi-Objective-Optimierungsproblem. Es verwendet den NSGA-II-Algorithmus (Non-dominated Sorting Genetic Algorithm II), um den Perturbationsraum zu erkunden.
• Perturbationskodierung: Perturbationen werden als sieben-dimensionale Vektoren kodiert, die eine lokalisierte Gaußsche Modifikation darstellen, die auf das Bild angewendet wird. Die Parameter umfassen die Koordinaten des Zentrums $(c_x, c_y)$, den Radius $r$, das Gaußsche Streuverhältnis $\sigma$ sowie additive Farbverschiebungen für die Kanäle Blau, Grün und Rot ($\Delta B, \Delta G, \Delta R$).
• Sucheinschränkungen: Die Suche ist auf Regionen von Interesse (ROIs) beschränkt, die durch Ground-Truth-Bounding-Boxen definiert sind, um die Rechenkosten zu senken und die Relevanz sicherzustellen. Die Perturbationsmagnituden sind begrenzt, um sicherzustellen, dass Änderungen subtil und realistisch bleiben (z. B. Farbverschiebungen auf $[-48, 48]$ begrenzt).
• Zielfunktionen: Der Algorithmus minimiert einen Vektor aus drei Zielen:
  1. Vertrauensdegradation ($f_1$): Reduzierung der durchschnittlichen Vertrauenswürdigkeit korrekter (gleichklassiger) Erkennungen.
  2. Lokalisierungsdegradation ($f_2$): Reduzierung der Intersection over Union (IoU) der besten gleichklassigen Vorhersage.
  3. Perturbationsbudget ($f_3$): Minimierung der Magnitude und des räumlichen Ausmaßes der Perturbation, um sicherzustellen, dass sie minimal bleibt.
• Fehlerdefinition: Ein Fehler wird identifiziert, wenn die perturbierter Eingabe zu übersehenen Erkennungen, Fehlklassifizierungen, Fehllokalisierungen (IoU unter einem Schwellenwert) oder mehrdeutigen Vorhersagen führt.
• Metamorphe Analyse: Über explizite Fehler hinaus bewertet PROBE die Modellstabilität unter nicht-versagenden Perturbationen mittels Metamorpher Relationen (MRs), um Abweichungen in Vertrauenswürdigkeits- und Lokalisierungswerten zu messen.

Experimenteller Aufbau
Der Ansatz wurde an drei industriellen Objekterkennungsmodellen evaluiert, die vom DTI bereitgestellt wurden und auf zunehmend komplexen Datensätzen trainiert wurden:

1. origSCDM: Trainiert ausschließlich auf schwarzen Schrauben.
2. noscrewSCDM: Trainiert auf Schrauben und Nicht-Schrauben-Objekten.
3. fixtureSCDM: Trainiert auf Schrauben, Nicht-Schrauben und diversen Befestigungselementen mit umfangreichen Augmentierungen.

Die Evaluation verglich PROBE mit einer Random Search (RS)-Baseline unter Verwendung einer Hypervolume-(HV-)Metrik, Fehlerraten, Perturbationsmagnituden und der Cross-Model-Transferierbarkeit. Die Studie nutzte 802 Bilder für die Evaluation und 25 disjunkte Bilder für den Transferierbarkeits-Test.

Hauptergebnisse

• Sucheffektivität: PROBE schnitt deutlich besser ab als Random Search. Es generierte fehlerauslösende Perturbationen mit Raten zwischen 10,4 % und 26,3 %, verglichen mit 1,5 % bis 9,9 % für RS.
• Suchqualität: PROBE erzielte über alle Modelle hinweg konsistent höhere Hypervolume-(HV-)Scores, was eine überlegene Erkundung der Trade-offs zwischen Fehlerauslösung und Perturbationsmagnitude anzeigt.
• Perturbationsmagnitude: PROBE identifizierte Fehler mit kleineren Perturbationsmagnituden als RS, was darauf hindeutet, dass es subtilere, realistischere Schwachstellen findet.
• Transferierbarkeit: Von PROBE generierte Perturbationen übertrugen sich effektiv auf verschiedene Modelle (z. B. induzierten Perturbationen für noscrewSCDM Fehler in origSCDM mit einer Rate von 29,8 % gegenüber 16,0 % für RS).
• Fehlermuster:
  • Fehler bei origSCDM und noscrewSCDM wurden von Fehlklassifizierungen und mehrdeutigen Vorhersagen dominiert.
  • Fehler bei fixtureSCDM wurden primär durch Fehllokalisierungsfehler getrieben, und das Modell zeigte die höchste Gesamtrobustheit.
• Stabilitätsanalyse: Unter nicht-versagenden Perturbationen zeigte fixtureSCDM eine hohe Stabilität (nur ca. 1 % Vertrauenswürdigkeitsverletzungen und nahezu null Lokalisierungsverletzungen), während die anderen Modelle höhere Raten moderater bis großer Abweichungen aufwiesen.

Bedeutung und Beiträge
Der Beitrag beansprucht folgende Beiträge:

1. Systematischer Robustheitstest: PROBE bietet eine strukturierte, automatisierte Alternative zur ad-hoc-Datenaugmentierung und ermöglicht die systematische Entdeckung fehlerauslösender Bedingungen in industrieller Roboter-Software.
2. Entdeckung minimaler Perturbationen: Durch die Optimierung auf minimale Änderungen deckt PROBE subtile Schwachstellen auf, die in realen Umgebungen (z. B. variierende Beleuchtung) wahrscheinlicher auftreten als grobe Verfälschungen.
3. Cross-Model-Erkenntnisse: Die Studie zeigt, dass fehlerauslösende Perturbationen sich über Modellversionen hinweg verallgemeinern lassen, was darauf hindeutet, dass Testaufwand in iterativen Entwicklungszyklen wiederverwendet werden kann, um die Testeffizienz zu steigern.
4. Metamorphe Robustheitsbewertung: Die Arbeit erweitert die Robustheitsbewertung über die binäre Fehlererkennung hinaus, indem MRs genutzt werden, um die Modellstabilität zu quantifizieren, selbst wenn Vorhersagen formal korrekt bleiben.
5. Industrielle Relevanz: Der Ansatz wird an realen Laptop-Refurbishment-Arbeitsabläufen validiert und hebt die spezifischen Herausforderungen hervor, in unstrukturierten Umgebungen mit hoher Gerätevariabilität zu operieren.

Limitationen und zukünftige Arbeiten
Die Autoren räumen ein, dass die Studie auf drei spezifische YOLO-Modelle aus einem einzelnen industriellen Fallstudien beschränkt ist und die Generalisierbarkeit auf andere Domänen oder Architekturen (z. B. Faster R-CNN) weiterer Untersuchung bedarf. Zukünftige Arbeiten zielen darauf ab, PROBE in kontinuierliche Testpipelines (CI/CD) zu integrieren, um entdeckte Fehler zurück in das Training zu speisen, den Ansatz auf andere Perzeptionskomponenten (z. B. Aufklebererkennung) auszudehnen und selbstadaptive Wiederherstellungsmethoden für Roboter-Software zu erforschen.