Search-based Robustness Testing of Laptop Refurbishing Robotic Software

Resumo Técnico: Teste de Robustez Baseado em Busca de Software Robótico para Refurbishment de Laptops

Declaração do Problema
O Instituto Tecnológico Dinamarquês (DTI) emprega robôs colaborativos (UR10e) para automatizar o refurbishment de laptops, um processo crítico para a redução de resíduos eletrônicos e o apoio à Economia Circular. Um componente fundamental deste fluxo de trabalho é o software de percepção, que utiliza modelos de detecção de objetos baseados em Deep Learning (DL) (especificamente variantes YOLO) para identificar parafusos, furos de parafusos e fixações para desmontagem e remontagem.

As práticas industriais atuais para garantir robustez dependem de aumento de dados ad hoc (por exemplo, inversão, desfoque) durante o treinamento. Esses métodos carecem de um mecanismo estruturado e automatizado para avaliar sistematicamente a robustez do modelo ou identificar condições sutis que induzem falhas, como variações específicas de iluminação ou desgaste de superfície. Detecções incorretas podem levar a danos físicos aos laptops (por exemplo, riscar superfícies ao remover adesivos) ou desmontagem incompleta. O artigo aborda a necessidade de uma abordagem sistemática para descobrir perturbações mínimas e localizadas que exponham fraquezas nesses modelos de detecção de objetos sem causar corrupção de entrada catastrófica e irrealista.

Metodologia: PROBE
Os autores propõem o PROBE, uma abordagem de teste de robustez baseada em busca que aproveita a otimização multiobjetivo para identificar perturbações mínimas e localizadas.

• Mecanismo Central: O PROBE trata o teste de robustez como um problema de otimização multiobjetivo. Utiliza o algoritmo NSGA-II (Non-dominated Sorting Genetic Algorithm II) para explorar o espaço de perturbação.
• Codificação de Perturbação: As perturbações são codificadas como vetores de sete dimensões representando uma modificação gaussiana localizada aplicada à imagem. Os parâmetros incluem as coordenadas do centro $(c_x, c_y)$, raio $r$, razão de dispersão gaussiana $\sigma$ e deslocamentos de cor aditivos para os canais Azul, Verde e Vermelho ($\Delta B, \Delta G, \Delta R$).
• Restrições de Busca: A busca é restrita a Regiões de Interesse (ROIs) definidas por caixas delimitadoras de verdade fundamental (ground-truth) para reduzir o custo computacional e garantir relevância. As magnitudes de perturbação são limitadas para garantir que as mudanças permaneçam sutis e realistas (por exemplo, deslocamentos de cor limitados a $[-48, 48]$).
• Funções Objetivo: O algoritmo minimiza um vetor de três objetivos:
  1. Degradação de Confiança ($f_1$): Reduzir a confiança média de detecções corretas (da mesma classe).
  2. Degradação de Localização ($f_2$): Reduzir a Interseção sobre União (IoU) da melhor previsão da mesma classe.
  3. Orçamento de Perturbação ($f_3$): Minimizar a magnitude e a extensão espacial da perturbação para garantir que ela permaneça mínima.
• Definição de Falha: Uma falha é identificada se a entrada perturbada resultar em detecções perdidas, classificações incorretas, localizações incorretas (IoU abaixo de um limiar) ou previsões ambíguas.
• Análise Metamórfica: Além de falhas explícitas, o PROBE avalia a estabilidade do modelo sob perturbações não falhas usando Relações Metamórficas (MRs) para medir desvios nas pontuações de confiança e localização.

Configuração Experimental
A abordagem foi avaliada em três modelos de detecção de objetos industriais fornecidos pelo DTI, treinados em conjuntos de dados progressivamente complexos:

1. origSCDM: Treinado apenas com parafusos pretos.
2. noscrewSCDM: Treinado com parafusos e objetos não parafusos.
3. fixtureSCDM: Treinado com parafusos, não parafusos e diversas fixações com aumentos extensivos.

A avaliação comparou o PROBE contra uma linha de base de Busca Aleatória (RS) usando uma métrica de Hipervolume (HV), taxas de falha, magnitudes de perturbação e transferibilidade entre modelos. O estudo utilizou 802 imagens para avaliação e 25 imagens disjuntas para testes de transferibilidade.

Principais Resultados

• Eficácia da Busca: O PROBE superou significativamente a Busca Aleatória. Gerou perturbações indutoras de falhas em taxas entre 10,4% e 26,3%, comparado a 1,5% a 9,9% para a RS.
• Qualidade da Busca: O PROBE alcançou consistentemente pontuações de Hipervolume (HV) mais altas em todos os modelos, indicando uma exploração superior das compensações entre indução de falha e magnitude de perturbação.
• Magnitude de Perturbação: O PROBE identificou falhas usando magnitudes de perturbação menores do que a RS, sugerindo que encontra vulnerabilidades mais sutis e realistas.
• Transferibilidade: Perturbações geradas pelo PROBE transferiram-se efetivamente entre diferentes modelos (por exemplo, perturbações para noscrewSCDM induziram falhas em origSCDM em uma taxa de 29,8% versus 16,0% para a RS).
• Padrões de Falha:
  • As falhas em origSCDM e noscrewSCDM foram dominadas por classificações incorretas e previsões ambíguas.
  • As falhas em fixtureSCDM foram impulsionadas principalmente por erros de localização incorreta, e o modelo exibiu a maior robustez geral.
• Análise de Estabilidade: Sob perturbações não falhas, o fixtureSCDM mostrou alta estabilidade (apenas ~1% de violações de confiança e violações de localização próximas de zero), enquanto os outros modelos apresentaram taxas mais altas de desvios moderados a grandes.

Significado e Contribuições
O artigo reivindica as seguintes contribuições:

1. Teste de Robustez Sistemático: O PROBE fornece uma alternativa estruturada e automatizada ao aumento de dados ad hoc, permitindo a descoberta sistemática de condições indutoras de falha em software robótico industrial.
2. Descoberta de Perturbação Mínima: Ao otimizar para mudanças mínimas, o PROBE revela vulnerabilidades sutis que são mais propensas a ocorrer em ambientes do mundo real (por exemplo, iluminação variável) em comparação com corrupções grosseiras.
3. Insights entre Modelos: O estudo demonstra que perturbações indutoras de falha podem generalizar-se entre versões de modelos, sugerindo que os esforços de teste podem ser reutilizados para melhorar a eficiência de teste em ciclos de desenvolvimento iterativos.
4. Avaliação de Robustez Metamórfica: O trabalho estende a avaliação de robustez além da detecção binária de falhas, usando MRs para quantificar a estabilidade do modelo mesmo quando as previsões permanecem formalmente corretas.
5. Relevância Industrial: A abordagem é validada em fluxos de trabalho reais de refurbishment de laptops, destacando os desafios específicos de operar em ambientes não estruturados com alta variabilidade de dispositivos.

Limitações e Trabalho Futuro
Os autores reconhecem que o estudo é limitado a três modelos YOLO específicos de um único estudo de caso industrial, e a generalização para outros domínios ou arquiteturas (por exemplo, Faster R-CNN) requer investigação adicional. O trabalho futuro visa integrar o PROBE em pipelines de teste contínuo (CI/CD) para alimentar falhas descobertas de volta ao treinamento, estender a abordagem para outros componentes de percepção (por exemplo, detecção de adesivos) e explorar métodos de recuperação autoadaptativa para software robótico.