Search-based Robustness Testing of Laptop Refurbishing Robotic Software

Resumen Técnico: Pruebas de Robustez Basadas en Búsqueda para el Software Robótico de Reacondicionamiento de Portátiles

Enunciado del Problema
El Instituto Tecnológico Danés (DTI) emplea robots colaborativos (UR10e) para automatizar el reacondicionamiento de portátiles, un proceso crítico para reducir los residuos electrónicos y apoyar la Economía Circular. Un componente clave de este flujo de trabajo es el software de percepción, que utiliza modelos de detección de objetos de Aprendizaje Profundo (DL) (específicamente variantes de YOLO) para identificar tornillos, orificios para tornillos y fijaciones para el desmontaje y el reensamblaje.

Las prácticas industriales actuales para garantizar la robustez dependen de la augmentación de datos ad hoc (por ejemplo, volteo, desenfoque) durante el entrenamiento. Estos métodos carecen de un mecanismo estructurado y automatizado para evaluar sistemáticamente la robustez del modelo o identificar condiciones sutiles que inducen fallos, como variaciones específicas de iluminación o desgaste superficial. Una detección incorrecta puede provocar daños físicos en los portátiles (por ejemplo, rayar superficies al retirar pegatinas) o un desmontaje incompleto. El artículo aborda la necesidad de un enfoque sistemático para descubrir perturbaciones mínimas y localizadas que expongan debilidades en estos modelos de detección de objetos sin causar corrupción de entrada catastrófica e irrealista.

Metodología: PROBE
Los autores proponen PROBE, un enfoque de pruebas de robustez basado en búsqueda que aprovecha la optimización multiobjetivo para identificar perturbaciones mínimas y localizadas.

• Mecanismo Central: PROBE trata las pruebas de robustez como un problema de optimización multiobjetivo. Utiliza el algoritmo NSGA-II (Algoritmo Genético de Clasificación No Dominada II) para explorar el espacio de perturbaciones.
• Codificación de Perturbaciones: Las perturbaciones se codifican como vectores de siete dimensiones que representan una modificación gaussiana local aplicada a la imagen. Los parámetros incluyen las coordenadas del centro $(c_x, c_y)$, el radio $r$, la relación de dispersión gaussiana $\sigma$, y los desplazamientos de color aditivos para los canales Azul, Verde y Rojo ($\Delta B, \Delta G, \Delta R$).
• Restricciones de Búsqueda: La búsqueda se restringe a Regiones de Interés (ROI) definidas por cajas delimitadoras de verdad fundamental para reducir el costo computacional y garantizar la relevancia. Las magnitudes de perturbación están acotadas para asegurar que los cambios permanezcan sutiles y realistas (por ejemplo, desplazamientos de color limitados a $[-48, 48]$).
• Funciones Objetivo: El algoritmo minimiza un vector de tres objetivos:
  1. Degradación de la Confianza ($f_1$): Reducir la confianza promedio de las detecciones correctas (de la misma clase).
  2. Degradación de la Localización ($f_2$): Reducir la Intersección sobre Unión (IoU) de la mejor predicción de la misma clase.
  3. Presupuesto de Perturbación ($f_3$): Minimizar la magnitud y la extensión espacial de la perturbación para asegurar que permanezca mínima.
• Definición de Fallo: Se identifica un fallo si la entrada perturbada resulta en detecciones omitidas, clasificaciones erróneas, localizaciones incorrectas (IoU por debajo de un umbral) o predicciones ambiguas.
• Análisis Metamórfico: Más allá de los fallos explícitos, PROBE evalúa la estabilidad del modelo bajo perturbaciones no fallidas utilizando Relaciones Metamórficas (MR) para medir desviaciones en las puntuaciones de confianza y localización.

Configuración Experimental
El enfoque se evaluó en tres modelos de detección de objetos industriales proporcionados por DTI, entrenados en conjuntos de datos progresivamente complejos:

1. origSCDM: Entrenado solo con tornillos negros.
2. noscrewSCDM: Entrenado con tornillos y objetos que no son tornillos.
3. fixtureSCDM: Entrenado con tornillos, objetos que no son tornillos y diversas fijaciones con augmentaciones extensas.

La evaluación comparó PROBE contra una línea base de Búsqueda Aleatoria (RS) utilizando una métrica de Volumen Hipervolumen (HV), tasas de fallo, magnitudes de perturbación y transferibilidad cruzada entre modelos. El estudio utilizó 802 imágenes para la evaluación y 25 imágenes disjuntas para las pruebas de transferibilidad.

Resultados Clave

• Efectividad de la Búsqueda: PROBE superó significativamente a la Búsqueda Aleatoria. Generó perturbaciones que inducen fallos a tasas entre 10.4% y 26.3%, en comparación con 1.5% a 9.9% para RS.
• Calidad de la Búsqueda: PROBE logró puntuaciones de Volumen Hipervolumen (HV) consistentemente más altas en todos los modelos, lo que indica una exploración superior de las compensaciones entre la inducción de fallos y la magnitud de la perturbación.
• Magnitud de la Perturbación: PROBE identificó fallos utilizando magnitudes de perturbación más pequeñas que RS, lo que sugiere que encuentra vulnerabilidades más sutiles y realistas.
• Transferibilidad: Las perturbaciones generadas por PROBE se transfirieron eficazmente entre diferentes modelos (por ejemplo, las perturbaciones para noscrewSCDM indujeron fallos en origSCDM a una tasa del 29.8% frente al 16.0% para RS).
• Patrones de Fallo:
  • Los fallos en origSCDM y noscrewSCDM estuvieron dominados por clasificaciones erróneas y predicciones ambiguas.
  • Los fallos en fixtureSCDM fueron impulsados principalmente por errores de localización incorrecta, y el modelo exhibió la mayor robustez general.
• Análisis de Estabilidad: Bajo perturbaciones no fallidas, fixtureSCDM mostró alta estabilidad (solo ~1% de violaciones de confianza y violaciones de localización cercanas a cero), mientras que los otros modelos mostraron tasas más altas de desviaciones moderadas a grandes.

Significado y Contribuciones
El artículo reclama las siguientes contribuciones:

1. Pruebas Sistemáticas de Robustez: PROBE proporciona una alternativa estructurada y automatizada a la augmentación de datos ad hoc, permitiendo el descubrimiento sistemático de condiciones que inducen fallos en software robótico industrial.
2. Descubrimiento de Perturbaciones Mínimas: Al optimizar para cambios mínimos, PROBE descubre vulnerabilidades sutiles que es más probable que ocurran en entornos del mundo real (por ejemplo, iluminación variable) en comparación con corrupciones graves.
3. Perspectivas Cruzadas entre Modelos: El estudio demuestra que las perturbaciones que inducen fallos pueden generalizarse entre versiones de modelos, lo que sugiere que los esfuerzos de prueba pueden reutilizarse para mejorar la eficiencia de las pruebas en ciclos de desarrollo iterativos.
4. Evaluación de Robustez Metamórfica: El trabajo extiende la evaluación de robustez más allá de la detección binaria de fallos, utilizando MRs para cuantificar la estabilidad del modelo incluso cuando las predicciones permanecen formalmente correctas.
5. Relevancia Industrial: El enfoque se valida en flujos de trabajo reales de reacondicionamiento de portátiles, destacando los desafíos específicos de operar en entornos no estructurados con alta variabilidad de dispositivos.

Limitaciones y Trabajo Futuro
Los autores reconocen que el estudio se limita a tres modelos YOLO específicos de un único caso de estudio industrial, y que la generalización a otros dominios o arquitecturas (por ejemplo, Faster R-CNN) requiere más investigación. El trabajo futuro tiene como objetivo integrar PROBE en pipelines de pruebas continuas (CI/CD) para retroalimentar los fallos descubiertos en el entrenamiento, extender el enfoque a otros componentes de percepción (por ejemplo, detección de pegatinas) y explorar métodos de recuperación autoadaptativa para el software robótico.