Search-based Robustness Testing of Laptop Refurbishing Robotic Software

Technische Samenvatting: Zoekgebaseerde Robuustheidstesten van Robotsoftware voor Laptoprefurbishing

Probleemstelling
Het Deense Technologisch Instituut (DTI) maakt gebruik van collaboratieve robots (UR10e) om de refurbishing van laptops te automatiseren, een kritiek proces voor het verminderen van elektronisch afval en het ondersteunen van de Circulaire Economie. Een kerncomponent van deze workflow is de perceptiesoftware, die Deep Learning (DL) objectdetectiemodellen (specifiek YOLO-varianten) gebruikt om schroeven, schroefgaten en bevestigingsmiddelen te identificeren voor demontage en hermontage.

Huidige industriële praktijken voor het waarborgen van robuustheid vertrouwen op ad hoc data-augmentatie (bijvoorbeeld spiegelen, vervagen) tijdens het trainen. Deze methoden missen een gestructureerd, geautomatiseerd mechanisme om systematisch de robuustheid van modellen te beoordelen of subtiel falen veroorzakende omstandigheden te identificeren, zoals specifieke variaties in verlichting of slijtage van oppervlakken. Onjuiste detectie kan leiden tot fysieke schade aan de laptops (bijvoorbeeld krassen op oppervlakken tijdens het verwijderen van stickers) of onvolledige demontage. Het artikel adresseert de behoefte aan een systematische aanpak om minimale, gelokaliseerde verstoringen aan het licht te brengen die zwakke plekken in deze objectdetectiemodellen blootleggen, zonder catastrofale, onrealistische invoercorruptie te veroorzaken.

Methodologie: PROBE
De auteurs stellen PROBE voor, een zoekgebaseerde aanpak voor robuustheidstesten die gebruikmaakt van multi-objectieve optimalisatie om minimale, gelokaliseerde verstoringen te identificeren.

• Kernmechanisme: PROBE behandelt robuustheidstesten als een multi-objectief optimalisatieprobleem. Het maakt gebruik van het NSGA-II-algoritme (Non-dominated Sorting Genetic Algorithm II) om de verstoringenruimte te verkennen.
• Codering van Verstoringen: Verstoringen worden gecodeerd als zeven-dimensionale vectoren die een gelokaliseerde Gaussische modificatie op het beeld voorstellen. De parameters omvatten de coördinaten van het middelpunt $(c_x, c_y)$, straal $r$, Gaussische spreidingsverhouding $\sigma$, en additieve kleurverschuivingen voor de blauwe, groene en rode kanalen ($\Delta B, \Delta G, \Delta R$).
• Zoekbeperkingen: De zoektocht is beperkt tot Gebieden van Interesse (ROI's) gedefinieerd door ground-truth omkaderingskaders om de rekenkosten te verlagen en relevantie te waarborgen. De grootte van verstoringen is begrensd om te waarborgen dat veranderingen subtiel en realistisch blijven (bijvoorbeeld kleurverschuivingen beperkt tot $[-48, 48]$).
• Doelfuncties: Het algoritme minimaliseert een vector van drie doelen:
  1. Vertrouwensdegradatie ($f_1$): Het verlagen van het gemiddelde vertrouwen van correcte (zelfde-klasse) detecties.
  2. Lokalisatiedegradatie ($f_2$): Het verlagen van de Intersection over Union (IoU) van de beste voorspelling van dezelfde klasse.
  3. Verstoringsbudget ($f_3$): Het minimaliseren van de grootte en ruimtelijke uitbreiding van de verstoring om te waarborgen dat deze minimaal blijft.
• Definitie van Falen: Een falen wordt geïdentificeerd als de verstoorde invoer leidt tot gemiste detecties, verkeerde classificaties, verkeerde lokalisaties (IoU onder een drempelwaarde) of ambigu voorspellingen.
• Metamorfe Analyse: Naast expliciete falen beoordeelt PROBE de stabiliteit van het model onder niet-falende verstoringen met behulp van Metamorfe Relaties (MR's) om afwijkingen in vertrouwens- en lokalisatiescores te meten.

Experimentele Opzet
De aanpak werd geëvalueerd op drie industriële objectdetectiemodellen geleverd door DTI, getraind op progressief complexere datasets:

1. origSCDM: Getraind uitsluitend op zwarte schroeven.
2. noscrewSCDM: Getraind op schroeven en niet-schroefobjecten.
3. fixtureSCDM: Getraind op schroeven, niet-schroeven en diverse bevestigingsmiddelen met uitgebreide augmentaties.

De evaluatie vergeleek PROBE met een Random Search (RS)-baseline met behulp van een Hypervolume (HV)-metriek, faalpercentages, grootte van verstoringen en cross-model overdraagbaarheid. Het onderzoek gebruikte 802 afbeeldingen voor evaluatie en 25 disjuncte afbeeldingen voor overdraagbaarheidstesten.

Belangrijkste Resultaten

• Zoekeffectiviteit: PROBE presteerde aanzienlijk beter dan Random Search. Het genereerde falen veroorzakende verstoringen met percentages tussen 10,4% en 26,3%, vergeleken met 1,5% tot 9,9% voor RS.
• Zoekkwaliteit: PROBE behaalde consistent hogere Hypervolume (HV)-scores voor alle modellen, wat wijst op superieure verkenning van de trade-offs tussen falen-inductie en grootte van verstoringen.
• Grootte van Verstoringen: PROBE identificeerde falen met kleinere verstoringen dan RS, wat suggereert dat het subtielere, realistischere kwetsbaarheden vindt.
• Overdraagbaarheid: Verstoringen gegenereerd door PROBE waren effectief overdraagbaar tussen verschillende modellen (bijvoorbeeld veroorzaakten verstoringen voor noscrewSCDM falen in origSCDM met een percentage van 29,8% versus 16,0% voor RS).
• Falenpatronen:
  • Falen bij origSCDM en noscrewSCDM werden gedomineerd door verkeerde classificaties en ambigu voorspellingen.
  • Falen bij fixtureSCDM werd voornamelijk gedreven door verkeerde lokalisatie-fouten, en het model vertoonde de hoogste algehele robuustheid.
• Stabiliteitsanalyse: Onder niet-falende verstoringen toonde fixtureSCDM hoge stabiliteit (slechts ~1% vertrouwenschendingen en bijna nul lokalisatieschendingen), terwijl de andere modellen hogere percentages van matige tot grote afwijkingen vertoonden.

Betekenis en Bijdragen
Het artikel claimt de volgende bijdragen:

1. Systematische Robuustheidstesten: PROBE biedt een gestructureerd, geautomatiseerd alternatief voor ad hoc data-augmentatie, waardoor systematische ontdekking van falen veroorzakende omstandigheden in industriële robotsoftware mogelijk wordt.
2. Ontdekking van Minimale Verstoringen: Door te optimaliseren op minimale veranderingen, legt PROBE subtiele kwetsbaarheden bloot die waarschijnlijker voorkomen in real-world omgevingen (bijvoorbeeld variërende verlichting) in vergelijking met grove corrupties.
3. Cross-Model Inzichten: Het onderzoek toont aan dat falen veroorzakende verstoringen kunnen generaliseren over modelversies, wat suggereert dat testinspanningen kunnen worden hergebruikt om testefficiëntie in iteratieve ontwikkelcycli te verbeteren.
4. Metamorfe Robuustheidsbeoordeling: Het werk breidt robuustheidsevaluatie uit voorbij binaire falendetectie, door MR's te gebruiken om modelstabiliteit te kwantificeren zelfs wanneer voorspellingen formeel correct blijven.
5. Industriële Relevantie: De aanpak is gevalideerd op real-world workflows voor laptoprefurbishing, waarbij de specifieke uitdagingen van opereren in ongestructureerde omgevingen met hoge variabiliteit in apparatuur worden benadrukt.

Beperkingen en Toekomstig Werk
De auteurs erkennen dat het onderzoek beperkt is tot drie specifieke YOLO-modellen uit een enkel industrieel casestudie, en dat generaliseerbaarheid naar andere domeinen of architecturen (bijvoorbeeld Faster R-CNN) verder onderzoek vereist. Toekomstig werk heeft als doel PROBE te integreren in continue testpijplijnen (CI/CD) om ontdekte falen terug te voeren naar training, de aanpak uit te breiden naar andere perceptiecomponenten (bijvoorbeeld stickerdetectie), en zelf-adaptieve herstelmethoden voor robotsoftware te verkennen.