Search-based Robustness Testing of Laptop Refurbishing Robotic Software

Résumé Technique : Tests de Robustesse par Recherche pour le Logiciel Robotique de Remise en État d'Ordinateurs Portables

Énoncé du Problème
L'Institut Technologique Danois (DTI) utilise des robots collaboratifs (UR10e) pour automatiser la remise en état d'ordinateurs portables, un processus critique pour réduire les déchets électroniques et soutenir l'Économie Circulaire. Un composant clé de ce flux de travail est le logiciel de perception, qui utilise des modèles de détection d'objets par Apprentissage Profond (DL), spécifiquement des variantes de YOLO, pour identifier les vis, les trous de vis et les fixations en vue du démontage et du remontage.

Les pratiques industrielles actuelles pour garantir la robustesse reposent sur une augmentation de données ad hoc (par exemple, retournement, flou) durant l'entraînement. Ces méthodes manquent d'un mécanisme structuré et automatisé pour évaluer systématiquement la robustesse du modèle ou identifier des conditions subtiles induisant des défaillances, telles que des variations spécifiques d'éclairage ou une usure de surface. Une détection incorrecte peut entraîner des dommages physiques aux ordinateurs portables (par exemple, rayer des surfaces lors du retrait d'autocollants) ou un démontage incomplet. L'article traite de la nécessité d'une approche systématique pour révéler des perturbations minimales et localisées qui exposent les faiblesses de ces modèles de détection d'objets sans provoquer de corruption d'entrée catastrophique et irréaliste.

Méthodologie : PROBE
Les auteurs proposent PROBE, une approche de test de robustesse par recherche qui exploite l'optimisation multi-objectif pour identifier des perturbations minimales et localisées.

• Mécanisme Central : PROBE traite le test de robustesse comme un problème d'optimisation multi-objectif. Il utilise l'algorithme NSGA-II (Non-dominated Sorting Genetic Algorithm II) pour explorer l'espace des perturbations.
• Encodage des Perturbations : Les perturbations sont encodées sous forme de vecteurs à sept dimensions représentant une modification gaussienne localisée appliquée à l'image. Les paramètres incluent les coordonnées du centre $(c_x, c_y)$, le rayon $r$, le ratio de dispersion gaussienne $\sigma$, et les décalages chromatiques additifs pour les canaux Bleu, Vert et Rouge ($\Delta B, \Delta G, \Delta R$).
• Contraintes de Recherche : La recherche est restreinte aux Régions d'Intérêt (ROI) définies par des boîtes englobantes de vérité terrain afin de réduire le coût computationnel et d'assurer la pertinence. Les amplitudes de perturbation sont bornées pour garantir que les changements restent subtils et réalistes (par exemple, les décalages chromatiques limités à $[-48, 48]$).
• Fonctions Objectif : L'algorithme minimise un vecteur de trois objectifs :
  1. Dégradation de la Confiance ($f_1$) : Réduire la confiance moyenne des détections correctes (de même classe).
  2. Dégradation de la Localisation ($f_2$) : Réduire l'Intersection sur Union (IoU) de la meilleure prédiction de même classe.
  3. Budget de Perturbation ($f_3$) : Minimiser l'amplitude et l'étendue spatiale de la perturbation pour garantir qu'elle reste minimale.
• Définition de la Défaillance : Une défaillance est identifiée si l'entrée perturbée entraîne des détections manquées, des classifications erronées, des localisations incorrectes (IoU inférieur à un seuil) ou des prédictions ambiguës.
• Analyse Métamorphique : Au-delà des défaillances explicites, PROBE évalue la stabilité du modèle sous des perturbations non défaillantes en utilisant des Relations Métamorphiques (MR) pour mesurer les écarts dans les scores de confiance et de localisation.

Configuration Expérimentale
L'approche a été évaluée sur trois modèles de détection d'objets industriels fournis par le DTI, entraînés sur des ensembles de données progressivement plus complexes :

1. origSCDM : Entraîné uniquement sur des vis noires.
2. noscrewSCDM : Entraîné sur des vis et des objets non-vis.
3. fixtureSCDM : Entraîné sur des vis, des objets non-vis et des fixations diverses avec des augmentations étendues.

L'évaluation a comparé PROBE à une base de référence de Recherche Aléatoire (RS) en utilisant une métrique d'Hypervolume (HV), des taux de défaillance, des amplitudes de perturbation et une transférabilité inter-modèles. L'étude a utilisé 802 images pour l'évaluation et 25 images disjointes pour les tests de transférabilité.

Résultats Clés

• Efficacité de la Recherche : PROBE a nettement surpassé la Recherche Aléatoire. Il a généré des perturbations induisant des défaillances à des taux compris entre 10,4 % et 26,3 %, contre 1,5 % à 9,9 % pour la RS.
• Qualité de la Recherche : PROBE a obtenu des scores d'Hypervolume (HV) constamment plus élevés pour tous les modèles, indiquant une exploration supérieure des compromis entre l'induction de défaillances et l'amplitude de la perturbation.
• Amplitude de la Perturbation : PROBE a identifié des défaillances en utilisant des amplitudes de perturbation plus faibles que la RS, suggérant qu'il trouve des vulnérabilités plus subtiles et réalistes.
• Transférabilité : Les perturbations générées par PROBE se sont transférées efficacement entre différents modèles (par exemple, les perturbations pour noscrewSCDM ont induit des défaillances dans origSCDM à un taux de 29,8 % contre 16,0 % pour la RS).
• Modèles de Défaillance :
  • Les défaillances de origSCDM et noscrewSCDM étaient dominées par des classifications erronées et des prédictions ambiguës.
  • Les défaillances de fixtureSCDM étaient principalement dues à des erreurs de mauvaise localisation, et le modèle a présenté la robustesse globale la plus élevée.
• Analyse de Stabilité : Sous des perturbations non défaillantes, fixtureSCDM a montré une haute stabilité (seulement ~1 % de violations de confiance et des violations de localisation proches de zéro), tandis que les autres modèles ont affiché des taux plus élevés de déviations modérées à importantes.

Signification et Contributions
L'article revendique les contributions suivantes :

1. Test de Robustesse Systématique : PROBE fournit une alternative structurée et automatisée à l'augmentation de données ad hoc, permettant la découverte systématique de conditions induisant des défaillances dans les logiciels robotiques industriels.
2. Découverte de Perturbations Minimales : En optimisant pour des changements minimaux, PROBE révèle des vulnérabilités subtiles plus susceptibles de se produire dans des environnements réels (par exemple, éclairage variable) par rapport à des corruptions grossières.
3. Insights Inter-Modèles : L'étude démontre que les perturbations induisant des défaillances peuvent se généraliser à travers les versions de modèles, suggérant que les efforts de test peuvent être réutilisés pour améliorer l'efficacité des tests dans les cycles de développement itératifs.
4. Évaluation de Robustesse Métamorphique : Le travail étend l'évaluation de la robustesse au-delà de la détection binaire de défaillances, en utilisant des MR pour quantifier la stabilité du modèle même lorsque les prédictions restent formellement correctes.
5. Pertinence Industrielle : L'approche est validée sur des flux de travail réels de remise en état d'ordinateurs portables, mettant en lumière les défis spécifiques liés à l'opération dans des environnements non structurés avec une grande variabilité des appareils.

Limites et Travaux Futurs
Les auteurs reconnaissent que l'étude se limite à trois modèles YOLO spécifiques issus d'une seule étude de cas industrielle, et que la généralisation à d'autres domaines ou architectures (par exemple, Faster R-CNN) nécessite une investigation supplémentaire. Les travaux futurs visent à intégrer PROBE dans des pipelines de test continus (CI/CD) pour réinjecter les défaillances découvertes dans l'entraînement, étendre l'approche à d'autres composants de perception (par exemple, détection d'autocollants), et explorer des méthodes de récupération auto-adaptatives pour les logiciels robotiques.