Search-based Robustness Testing of Laptop Refurbishing Robotic Software

Riepilogo Tecnico: Test di Robustezza Basati sulla Ricerca per il Software Robotico di Rigenerazione di Laptop

Enunciato del Problema
L'Istituto Tecnologico Danese (DTI) impiega robot collaborativi (UR10e) per automatizzare la rigenerazione di laptop, un processo critico per la riduzione dei rifiuti elettronici e il supporto all'Economia Circolare. Un componente fondamentale di questo flusso di lavoro è il software di percezione, che utilizza modelli di rilevamento oggetti basati sull'Apprendimento Profondo (DL), in particolare varianti di YOLO, per identificare viti, fori per viti e fissaggi necessari allo smontaggio e al rimontaggio.

Le attuali pratiche industriali per garantire la robustezza si basano sull'aumento dei dati ad hoc (ad esempio, ribaltamento, sfocatura) durante l'addestramento. Questi metodi mancano di un meccanismo strutturato e automatizzato per valutare sistematicamente la robustezza del modello o identificare condizioni sottili che inducono fallimenti, come specifiche variazioni di illuminazione o usura superficiale. Una rilevazione errata può portare a danni fisici ai laptop (ad esempio, graffiare le superfici durante la rimozione degli adesivi) o a uno smontaggio incompleto. Il documento affronta la necessità di un approccio sistematico per scoprire perturbazioni minime e localizzate che rivelino le debolezze di questi modelli di rilevamento oggetti senza causare corruzioni degli input catastrofiche e irrealistiche.

Metodologia: PROBE
Gli autori propongono PROBE, un approccio di test di robustezza basato sulla ricerca che sfrutta l'ottimizzazione multi-obiettivo per identificare perturbazioni minime e localizzate.

• Meccanismo Principale: PROBE tratta il test di robustezza come un problema di ottimizzazione multi-obiettivo. Utilizza l'algoritmo NSGA-II (Non-dominated Sorting Genetic Algorithm II) per esplorare lo spazio delle perturbazioni.
• Codifica delle Perturbazioni: Le perturbazioni sono codificate come vettori a sette dimensioni che rappresentano una modifica gaussiana localizzata applicata all'immagine. I parametri includono le coordinate del centro $(c_x, c_y)$, il raggio $r$, il rapporto di diffusione gaussiana $\sigma$ e gli spostamenti cromatici additivi per i canali Blu, Verde e Rosso ($\Delta B, \Delta G, \Delta R$).
• Vincoli di Ricerca: La ricerca è limitata alle Regioni di Interesse (ROI) definite dalle scatole delimitanti (bounding boxes) di verità fondamentale (ground-truth) per ridurre i costi computazionali e garantire la pertinenza. Le magnitudini delle perturbazioni sono vincolate per assicurare che i cambiamenti rimangano sottili e realistici (ad esempio, spostamenti cromatici limitati a $[-48, 48]$).
• Funzioni Obiettivo: L'algoritmo minimizza un vettore di tre obiettivi:
  1. Degradazione della Confidenza ($f_1$): Ridurre la confidenza media delle rilevazioni corrette (della stessa classe).
  2. Degradazione della Localizzazione ($f_2$): Ridurre l'Intersezione sull'Unione (IoU) della migliore previsione della stessa classe.
  3. Budget di Perturbazione ($f_3$): Minimizzare la magnitudine e l'estensione spaziale della perturbazione per assicurarne la minimalità.
• Definizione di Fallimento: Un fallimento è identificato se l'input perturbato comporta rilevazioni mancate, classificazioni errate, localizzazioni errate (IoU al di sotto di una soglia) o previsioni ambigue.
• Analisi Metamorfica: Oltre ai fallimenti espliciti, PROBE valuta la stabilità del modello sotto perturbazioni non fallimentari utilizzando Relazioni Metamorfiche (MR) per misurare le deviazioni nei punteggi di confidenza e localizzazione.

Configurazione Sperimentale
L'approccio è stato valutato su tre modelli industriali di rilevamento oggetti forniti dal DTI, addestrati su dataset progressivamente complessi:

1. origSCDM: Addestrato solo su viti nere.
2. noscrewSCDM: Addestrato su viti e oggetti non viti.
3. fixtureSCDM: Addestrato su viti, oggetti non viti e fissaggi diversi con aumentazioni estese.

La valutazione ha confrontato PROBE con una linea di base di Ricerca Casuale (RS) utilizzando una metrica IperVolume (HV), tassi di fallimento, magnitudini delle perturbazioni e trasferibilità incrociata tra modelli. Lo studio ha utilizzato 802 immagini per la valutazione e 25 immagini disgiunte per i test di trasferibilità.

Risultati Chiave

• Efficacia della Ricerca: PROBE ha superato significativamente la Ricerca Casuale. Ha generato perturbazioni inducenti fallimenti a tassi compresi tra 10,4% e 26,3%, rispetto a 1,5% e 9,9% per RS.
• Qualità della Ricerca: PROBE ha ottenuto punteggi IperVolume (HV) costantemente più alti su tutti i modelli, indicando una superiore esplorazione dei compromessi tra induzione di fallimenti e magnitudine della perturbazione.
• Magnitudine della Perturbazione: PROBE ha identificato fallimenti utilizzando magnitudini di perturbazione più piccole rispetto a RS, suggerendo che individua vulnerabilità più sottili e realistiche.
• Trasferibilità: Le perturbazioni generate da PROBE si sono trasferite efficacemente tra modelli diversi (ad esempio, le perturbazioni per noscrewSCDM hanno indotto fallimenti in origSCDM a un tasso del 29,8% contro il 16,0% per RS).
• Pattern di Fallimento:
  • I fallimenti di origSCDM e noscrewSCDM sono stati dominati da classificazioni errate e previsioni ambigue.
  • I fallimenti di fixtureSCDM sono stati guidati principalmente da errori di localizzazione errata, e il modello ha mostrato la robustezza complessiva più elevata.
• Analisi di Stabilità: Sotto perturbazioni non fallimentari, fixtureSCDM ha mostrato un'alta stabilità (solo circa l'1% di violazioni della confidenza e violazioni di localizzazione prossime allo zero), mentre gli altri modelli hanno mostrato tassi più elevati di deviazioni moderate o grandi.

Significato e Contributi
Il documento rivendica i seguenti contributi:

1. Test di Robustezza Sistematico: PROBE fornisce un'alternativa strutturata e automatizzata all'aumento dei dati ad hoc, consentendo la scoperta sistematica di condizioni che inducono fallimenti nel software robotico industriale.
2. Scoperta di Perturbazioni Minime: Ottimizzando per cambiamenti minimi, PROBE rivela vulnerabilità sottili che sono più probabili negli ambienti reali (ad esempio, illuminazione variabile) rispetto a corruzioni grossolane.
3. Approfondimenti Cross-Modello: Lo studio dimostra che le perturbazioni inducenti fallimenti possono generalizzarsi tra diverse versioni dei modelli, suggerendo che gli sforzi di test possono essere riutilizzati per migliorare l'efficienza dei test nei cicli di sviluppo iterativi.
4. Valutazione Metamorfica della Robustezza: Il lavoro estende la valutazione della robustezza oltre il rilevamento binario dei fallimenti, utilizzando le MR per quantificare la stabilità del modello anche quando le previsioni rimangono formalmente corrette.
5. Rilevanza Industriale: L'approccio è validato su flussi di lavoro reali di rigenerazione di laptop, evidenziando le sfide specifiche dell'operare in ambienti non strutturati con un'alta variabilità dei dispositivi.

Limitazioni e Lavori Futuri
Gli autori riconoscono che lo studio è limitato a tre specifici modelli YOLO derivanti da un singolo caso di studio industriale, e la generalizzabilità ad altri domini o architetture (ad esempio, Faster R-CNN) richiede ulteriori indagini. I lavori futuri mirano a integrare PROBE nelle pipeline di test continui (CI/CD) per reindirizzare i fallimenti scoperti nell'addestramento, estendere l'approccio ad altri componenti di percezione (ad esempio, rilevamento degli adesivi) ed esplorare metodi di recupero auto-adattativi per il software robotico.