💻 computer science

Cosmetic Defect Detection in Semiconductors Using Deep Learning

Este artículo propone un marco de detección de defectos cosméticos basado en aprendizaje profundo para el empaquetado de semiconductores que integra una infraestructura de IIoT distribuida y aumentación de datos sintéticos, demostrando que la arquitectura YOLO11 logra un rendimiento superior con un mAP@0.5 del 93.5% en un conjunto de datos mixto de datos reales y sintéticos.

Autores originales: Armando Montenegro Sanchez, Jesus Caro-Gutierrez, Felix Gonzalez-Navarro, Oscar Perez-Landeros, Jesus Armenta-Garcia, Mario Curiel-Alvarez

Publicado 2026-09-30

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Armando Montenegro Sanchez, Jesus Caro-Gutierrez, Felix Gonzalez-Navarro, Oscar Perez-Landeros, Jesus Armenta-Garcia, Mario Curiel-Alvarez

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el mundo invisible de la electrónica moderna, los diminutos chips de silicio que impulsan nuestros teléfonos, autos y hospitales son tan buenos como su empaquetado final. Una vez que se construye la delicada circuitería, esta debe ser encerrada en una carcasa protectora y conectada al mundo exterior a través de una serie de almohadillas metálicas. Esta etapa final es crítica; incluso un rasguño microscópico o una mota de polvo diminuta en la superficie pueden señalar un fallo en el proceso de fabricación, lo que podría conducir a una falla más adelante. Durante décadas, la inspección de estas superficies ha dependido de ojos humanos o de máquinas rígidas que luchan por ver las imperfecciones sutiles e irregulares que más importan. A medida que los chips se vuelven más pequeños y complejos, el margen de error desaparece, lo que convierte la necesidad de una forma más inteligente y flexible de inspeccionar estas superficies en un desafío apremiante para la industria.

Un equipo de investigadores de la Universidad Autónoma de Baja California ha abordado este problema construyendo un sistema que combina visión computacional avanzada con una red conectada de sensores. Su trabajo se centra en el "back-end" o etapa final de la fabricación de chips, donde se empaquetan las matrices de silicio terminadas. El equipo reconoció que los métodos tradicionales suelen pasar por alto precisamente los defectos que causan más problemas a los clientes: imperfecciones cosméticas como micro-rasguños, manchas y decoloraciones. Estos fallos podrían no impedir que un chip funcione inmediatamente, pero indican que algo salió mal durante el ensamblaje, y los clientes de alto nivel en campos como el automotriz y el aeroespacial los rechazan de plano. Para resolver esto, los investigadores desarrollaron un nuevo marco automatizado que utiliza aprendizaje profundo, un tipo de inteligencia artificial que aprende a reconocer patrones estudiando miles de imágenes, de manera muy similar a como un humano aprende a identificar objetos al mirarlos repetidamente.

El núcleo de su desafío fue la falta de datos. En una fábrica perfecta, los chips defectuosos son raros, lo que significa que los investigadores tenían muy pocos ejemplos de las mismas cosas que necesitaban para enseñar a la computadora a encontrarlos. Para superar esto, crearon un ingenioso truco. Tomaron imágenes reales de los chips y utilizaron una herramienta digital para recortar defectos reales —como un rasguño real o una mancha real— y cuidadosamente los pegaron en otras partes de las imágenes de los chips. Ajustaron la iluminación y el color de estos defectos pegados para que se mezclaran de forma natural, creando cientos de nuevos ejemplos de entrenamiento realistas. Esto les permitió construir una biblioteca equilibrada de imágenes que mostraba cada tipo de falla que querían detectar, asegurando que la computadora no simplemente aprendiera a ignorar los defectos raros porque había visto demasiados chips perfectos.

Con sus datos listos, el equipo puso a prueba tres tipos diferentes de arquitecturas de inteligencia artificial para ver cuál era la mejor para detectar estas diminutas fallas. Un enfoque era un sistema de dos etapas que primero adivina dónde podría haber un defecto y luego lo revisa de cerca. Otro era un método más nuevo que busca defectos sin depender de cajas preestablecidas, las cuales a veces pueden perder de vista rasguños de formas extrañas. El tercero era un sistema de una sola etapa, rápido, diseñado para encontrar e identificar objetos en un solo paso. Tras entrenar estos modelos con su conjunto de datos personalizado, los investigadores descubrieron que el sistema de una sola etapa, conocido como YOLO11, funcionó mejor. Identificó con éxito los defectos con un alto grado de precisión, detectando correctamente la gran mayoría de los rasguños y manchas en un conjunto de imágenes de prueba. El sistema logró una puntuación de precisión de más del noventa por ciento, lo que significa que cuando señalaba un defecto, casi siempre tenía razón.

Sin embargo, los investigadores fueron cuidadosos al señalar que este éxito fue medido bajo condiciones específicas de laboratorio. Las imágenes de prueba incluían tanto fotos reales como las sintéticas que habían creado, y la división entre los datos de entrenamiento y de prueba fue aleatoria en lugar de basarse en lotes físicos separados de chips. Esto significa que, si bien los resultados son prometedores, aún no se ha demostrado que el sistema funcione perfectamente en cada uno de los chips que salen de una línea de producción real. El estudio sirve como una sólida prueba de concepto, demostrando que el aprendizaje profundo puede manejar la complejidad visual de las superficies metálicas mejor que las máquinas antiguas basadas en reglas. El equipo también demostró que este sistema inteligente podía conectarse a una red de fábrica, enviando alertas sobre defectos a un tablero de control en tiempo real, lo cual es un paso crucial hacia la integración de tal tecnología en entornos de producción reales.

En última instancia, este trabajo destaca un cambio en cómo podría ocurrir el control de calidad en el futuro. Al combinar una forma inteligente de generar datos de entrenamiento con potentes algoritmos de detección, los investigadores han mostrado una vía viable para detectar defectos cosméticos que los ojos humanos podrían pasar por alto y que las máquinas antiguas no pueden encontrar de manera confiable. Aunque el sistema aún necesita más pruebas en un entorno de fábrica real para confirmar su velocidad y confiabilidad bajo una producción continua, los resultados sugieren que la era de depender únicamente de la inspección manual o de máquinas rígidas basadas en reglas está llegando a su fin. La capacidad de detectar estas sutiles imperfecciones con alta precisión ofrece un nuevo nivel de seguridad para los miles de millones de dispositivos que dependen de la integridad de sus diminutos núcleos empaquetados.

Resumen Técnico: Detección de Defectos Cosméticos en Semiconductores mediante Aprendizaje Profundo

Planteamiento del Problema

La industria de los semiconductores se enfrenta a un desafío crítico para mantener un control de calidad rigurooso durante la fase de empaquetado posterior (back-end). A medida que los circuitos integrados se miniaturizan a la escala nanométrica, la tolerancia para las anomalías de fabricación ha desaparecido efectivamente. Si bien la Inspección Óptica Automatizada (AOI) tradicional y la inspección manual han servido históricamente como los principales mecanismos de aseguramiento de la calidad, son cada vez más insuficientes. La inspección manual sufre de fatiga del operador y altas tasas de falsas alarmas debido a la escala microscópica de los componentes modernos. Por el contrario, los sistemas AOI basados en reglas tienen dificultades con las complejas variaciones superficiales de los materiales modernos, fallando a menudo al resolver defectos cosméticos de bajo contraste (como micro-rayaduras, manchas y decoloración) o generando un exceso de falsos positivos.

Un cuello de botella operativo significativo es la escasez de muestras defectuosas etiquetadas en entornos de fabricación controlados. Este desequilibrio de clases sesga las arquitecturas de aprendizaje profundo, dificultando el entrenamiento de modelos robustos para tipos de defectos poco comunes. Además, la integración de estos modelos en un ecosistema de Internet de las Cosas Industrial (IIoT) para telemetría y monitoreo en tiempo real sigue siendo un desafío de ingeniería abierto.

Metodología

Los autores proponen un flujo de trabajo de visión computacional de extremo a extremo diseñado para la detección automatizada de defectos cosméticos en el empaquetado de semiconductores. La metodología se estructura en seis etapas secuenciales:

Adquisición de Datos: Se capturaron imágenes de alta resolución utilizando un microscopio digital HDMI Cyclops calibrado (magnificación efectiva de 45.5×) bajo iluminación de anillo controlada. El conjunto de datos incluye tres configuraciones distintas de paquetes de CI (C1, C2, C3) con una resolución nativa de 640 × 480 píxeles.
Aumentación de Datos Sintéticos: Para abordar el severo desequilibrio de clases (específicamente la escasez de defectos de rayadura y color en comparación con las manchas), se desarrolló un flujo de aumentación especializado de "copiar-pegar". Este proceso involucra:
- Segmentación de ROI: Aislamiento de regiones de almohadilla (pad) válidas mediante OpenCV y operaciones morfológicas.
- Extracción de Artefactos: Extracción manual de artefactos de defectos reales a través de una GUI personalizada.
- Composición de Ganancia-Offset: Transferencia de defectos a las almohadillas objetivo utilizando una fórmula de modulación de intensidad lineal ( $I_{res} = sat[0,255](a \cdot I_{defect} + b \cdot I_{background} + c)$ ). Este enfoque preserva la iluminación y el contraste realistas en superficies metálicas, a diferencia de un simple mezclado alfa (alpha blending).
- Equilibrio: La primera pasada de aumentación produjo 300 candidatos sintéticos, de los cuales 250 pasaron los criterios de aceptación. Una segunda pasada de refinamiento generó superposiciones suplementarias para las muestras minoritarias restantes para completar el equilibrio de clases. El conjunto de datos final consistió en 100 imágenes originales y 300 muestras sintéticas aceptadas, resultando en un total de 400 imágenes.
Anotación y Partición: Los defectos se etiquetaron en tres clases: Color, Rayadura (Scratch) y Mancha (Spot). El conjunto de datos se dividió aleatoriamente a nivel de imagen en un subconjunto de entrenamiento del 80% y un subconjunto de evaluación reservado del 20%. Se aplicó una validación cruzada de cinco pliegues estrictamente dentro del subconjunto de entrenamiento.
Selección y Optimización de Modelos: Se evaluaron tres arquitecturas de detección de objetos distintas:
- YOLO11: Un detector de una sola etapa.
- Faster R-CNN: Un detector de dos etapas.
- FCOS: Un detector libre de anclajes (anchor-free).
  Se realizó una búsqueda aleatoria de hiperparámetros (8 ensayos) para cada arquitectura con el fin de identificar configuraciones óptimas, evitando una búsqueda de cuadrícula exhaustiva debido a las limitaciones computacionales.
Integración IIoT: El modelo optimizado se desplegó en un nodo de inferencia habilitado para GPU. Los metadatos de detección (cajas delimitadoras, IDs de clase, puntuaciones de confianza) se transmitieron mediante el protocolo MQTT a una puerta de enlace Raspberry Pi 5, que visualizó los datos en un tablero Node-RED.

Contribuciones Clave

El artículo describe cuatro contribuciones primarias:

Conjunto de Datos Industrial Curado: La creación de un nuevo conjunto de datos de paquetes de semiconductores a microescala, estableciendo un punto de referencia de verdad fundamental estructurado para defectos de empaquetado cosmético.
Aumentación Sintética Controlada: Un flujo especializado que utiliza el copiar-pegar a nivel de instancia con modulación de intensidad lineal para equilibrar las clases de defectos sin la carga adversaria de los modelos generativos como las GAN.
Benchmarking de Hiperparámetros: Una comparación empírica de los paradigmas de detección de una etapa, dos etapas y libres de anclajes bajo restricciones industriales específicas, utilizando el ajuste de hiperparámetros aleatorios y validación cruzada.
Prototipo de Monitoreo IIoT: Una demostración de prueba de concepto de la interoperabilidad funcional entre un nodo de inferencia de alto rendimiento y una puerta de enlace de borde con recursos limitados utilizando MQTT para telemetría en tiempo real.

Resultados Experimentales

El estudio reporta los siguientes hallazgos basados en el subconjunto de evaluación del 20% reservado (80 imágenes, 223 instancias):

Rendimiento del Modelo: YOLO11 logró el mayor rendimiento entre las arquitecturas probadas.
- mAP@0.5: 93.5%
- Precisión: 90.7%
- Recall (Exhaustividad): 88.9%
- mAP@0.5:0.95: 60.3%
Análisis Comparativo: En la fase de validación cruzada de cinco pliegues, YOLO11 alcanzó un mAP@0.5 de validación media de 0.9087 ± 0.0085. FCOS y Faster R-CNN obtuvieron puntuaciones más bajas de 0.8273 y 0.8215, respectivamente. Los autores señalan que estas comparaciones son exploratorias debido a las particiones de pliegues no idénticas y las implementaciones de métricas entre modelos.
Rendimiento por Defecto: El modelo demostró una alta precisión (>92%) para defectos geométricos como "Rayaduras" y "Manchas". Sin embargo, los defectos de "Color" presentaron mayores desafíos, con una tasa más alta de falsos negativos (aprox. 17% en la matriz de confusión), probablemente debido a gradientes de textura sutiles y reflejos especulares en superficies metálicas.
Funcionalidad IIoT: El sistema demostró con éxito la transmisión de eventos de detección desde el nodo de inferencia hacia el tablero de la Raspberry Pi, validando la interoperabilidad funcional de la arquitectura distribuida.

Significancia y Reivindicaciones

Los autores posicionan este trabajo como una prueba de concepto más que como un despliegue de producción totalmente validado. La significancia del estudio radica en:

Cerrar la Brecha: Abordar la falta específica de investigación sobre defectos de empaquetado posterior en comparación con la literatura más madura de inspección de obleas (wafers) de front-end.
Viabilidad de los Datos Sintéticos: Demostrar que la aumentación de copiar-pegar a nivel de instancia controlada puede equilibrar eficazmente los conjuntos de datos para defectos industriales poco comunes sin requerir una recolección masiva de datos reales.
Integración de Sistemas: Mostrar que los modelos de aprendizaje profundo pueden integrarse en flujos de trabajo de IIoT utilizando protocolos ligeros como MQTT, permitiendo el monitoreo centralizado sin requerir una computación pesada en la puerta de enlace de borde (edge gateway) misma.

El artículo establece explícitamente que los resultados son prometedores bajo condiciones de laboratorio, pero que la idoneidad para el uso en producción aún debe establecerse. Los autores advierten que el subconjunto de evaluación no fue agrupado por linaje físico de dispositivos, lo que limita la fuerza de las afirmaciones de generalización a hardware no visto. No se midieron el rendimiento computacional a nivel de sistema (latencia, rendimiento/throughput) ni el tiempo de extremo a extremo. Se propone como trabajo futuro incluir perfiles de latencia rigurosos, el despliegue en hardware embebido (ej. NVIDIA Jetlet) y la exploración de la detección de anomalías no supervisada para tipos de defectos desconocidos.