💻 computer science

ScratNet: A Swin-Based Multi-Scale Dilated Network with Precision Refinement for Semiconductor Scratch Segmentation

El artículo propone ScratNet, un novedoso marco de extremo a extremo que combina una arquitectura base de Swin Transformer modificada con un decodificador especializado que cuenta con módulos de agregación multiescala y de refinamiento de precisión para lograr una precisión superior en la segmentación de defectos de rayado irregulares y de bajo contraste en semiconductores.

Autores originales: Sachin Ranjan, Hoon Kim

Publicado 2026-07-14

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Sachin Ranjan, Hoon Kim

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres un detective intentando encontrar los arañazos más diminutos y obstinados en un chip de silicio brillante y de alta tecnología. No son solo arañazos comunes; son como telarañas invisibles o líneas finas como un cabello que pueden arruinar todo el chip si se pasan por alto. ¿El problema? El fondo es ruidoso, la iluminación es complicada y los arañazos cambian de forma y tamaño constantemente.

Durante mucho tiempo, los detectives (o mejor dicho, los ingenieros) intentaron encontrar estos arañazos usando reglas de la vieja escuela y observación manual. Pero el artículo explica que esto es como intentar encontrar una aguja en un pajar mientras usas guantes gruesos: es lento, agotador y a menudo pierdes la aguja o confundes un trozo de polvo con un arañazo.

Entonces llegó el "Deep Learning" (Aprendizaje Profundo), un tipo de cerebro informático que se vuelve muy bueno detectando patrones. Pero incluso estos ordenadores inteligentes tenían un punto ciego: eran excelentes viendo grandes manchas de defectos, pero terribles para ver los bordes súper finos y dentados de un arañazo delgado. Es como tener una cámara que puede ver una montaña entera con claridad, pero que desenfoca los diminutos guijarros en la base.

La Gran Idea: ScratNet
Los autores de este artículo construyeron una nueva herramienta llamada ScratNet para solucionar esto. Piensa en ScratNet como una lupa superpotente combinada con la intuición de un detective. Está diseñada específicamente para cazar esos complicados y delgados arañazos en las obleas de semiconductores.

Así es como funciona ScratNet, desglosado en tres trucos geniales:

El equipo de "Imagen General" y "Detalle Pequeño":
El artículo utiliza un "cerebro" especial llamado Swin Transformer como base. Imagina esto como un equipo de exploradores. Algunos exploradores trepan a lo alto de un árbol para ver todo el bosque (contexto global), mientras que otros se quedan en el suelo para observar las hojas individuales (detalles locales). ScratNet mezcla estas visiones para que no se le escape un arañazo solo por ser pequeño o simplemente por estar en un lugar extraño.
La conexión del "Tallo" (Stem):
A veces, cuando te alejas para ver la imagen general, pierdes la textura fina. ScratNet tiene un módulo especial llamado Módulo de Integración de Tallo (SIM). Piensa en esto como un "camino de la memoria" que trae de vuelta los detalles súper nítidos de las etapas iniciales a la mezcla. Asegura que cuando el ordenador decide "Sí, eso es un arañazo", recuerde exactamente cómo era el borde, no solo una suposición borrosa.
La herramienta de "Afilado de Bordes":
Este es el arma secreta del artículo. Los autores añadieron una rama de Refinamiento de Precisión (PR). Imagina que tienes el boceto de un arañazo, pero las líneas son un poco difusas. Este módulo utiliza filtros "anisotrópicos" especiales (lo que significa que se estiran en direcciones específicas, como una regla) para afilar los bordes. Es como tomar una foto borrosa y usar un filtro para que las líneas sean nítidas y claras, apuntando específicamente a esas líneas finas e irregulares que otros métodos pasan por alto.

Lo que descartaron
El artículo es muy claro sobre lo que no funciona lo suficientemente bien por sí solo.

Reglas Antiguas: Dicen explícitamente que los métodos tradicionales (como la revisión manual o el procesamiento de imágenes simple) son demasiado lentos e inconsistentes.
IA Estándar: Argumentan que los modelos de aprendizaje profundo estándar (como las CNN regulares) a menudo fallan al capturar esos detalles de bordes tan finos.
La "Solución Mágica" de la IA General: Los autores probaron un famoso modelo de IA de propósito general llamado SAM (Segment Anything Model). Lo probaron de dos maneras: dejándolo adivinar sin entrenamiento (zero-shot) y enseñándole con cajas delimitadoras (bounding boxes). ¿El resultado? SAM tuvo dificultades. En la prueba "zero-shot", obtuvo un IoU (una puntuación de qué tan bien coinciden las formas) de solo 42.81% en el conjunto de datos de IC. Incluso cuando lo ajustaron con cajas, solo alcanzó el 78.33%. El artículo concluye que, aunque SAM es increíble para fotos generales, no es la herramienta adecuada para estos arañazos industriales específicos. Necesitas una herramienta especializada como ScratNet.

¿Qué tan seguros están?
Los autores no solo conjeturaron; realizaron experimentos exhaustivos en dos conjuntos de datos reales:

Imágenes de IC: 749 imágenes de circuitos integrados.
Imágenes de Obleas (Wafers): 8,200 imágenes de obleas de silicio.

Midieron todo utilizando matemáticas estrictas. En el conjunto de datos de IC, su mejor modelo (con arquitectura de base Swin-Base con ScratNet) logró un IoU del 87.32% (con aumentación de datos) y una puntuación Dice de 93.48%. Sin aumentación, el IoU fue de 85.82%. En el conjunto de datos de Obleas, alcanzó un IoU del 81.17% y un Dice de 87.96%.

Crucialmente, se fijaron en los bordes. Midieron el IoU de Frontera (Boundary IoU) (qué tan bien coincide el contorno) y la Distancia de Hausdorff (qué tan alejados están los bordes). ScratNet redujo el error de borde (Distancia de Hausdorff) hasta un mínimo de 23.35 píxeles en el conjunto de datos de IC (específicamente con la base Swin-Base y aumentación de datos), lo cual es una mejora masiva frente a otros métodos que fallaban por más de 40 píxeles.

El Veredicto
El artículo demuestra que al combinar un potente sistema de "exploradores" (Swin Transformer) con un "restaurador de detalles" (Integración de Tallo) y un "afilador de bordes" (Refinamiento de Precisión), se pueden encontrar arañazos que otros métodos pasan por alto.

Midieron que ScratNet supera consistentemente a la competencia. Por ejemplo, en el conjunto de datos de IC, un modelo estándar llamado UNet obtuvo un IoU del 79.48%, mientras que ScratNet obtuvo un 87.32% (con aumentación). Ese es un salto significativo en precisión.

Los autores están seguros de estas cifras porque probaron ScratNet contra muchos otros modelos famosos (como ResNet, HRNet y varios tipos de decodificadores) y descubrieron que ScratNet fue el ganador en cada ocasión. Sugieren que este enfoque ofrece una "solución escalable y robusta" para el futuro de la fabricación de chips, pero no llegan a decir que sea un problema perfecto y resuelto para cada escenario del mundo. Simplemente muestran que, para los datos que probaron, ScratNet es actualmente la mejor herramienta disponible.

Resumen Técnico: ScratNet para la Segmentación de Rayaduras en Semiconductores

1. Planteamiento del Problema

Los defectos de rayaduras superficiales en la fabricación de semiconductores presentan un desafío crítico para el control de calidad debido a sus formas irregulares, bajo contraste y escalas variables. Los métodos de inspección tradicionales, que incluyen la inspección visual manual y el procesamiento de imágenes basado en reglas, son laboriosos, lentos y propensos a la inconsistencia, particularmente a medida que las geometrías de los dispositivos se reducen y las densidades de integración aumentan. Si bien los enfoques de aprendizaje profundo basados en Redes Neuronales Convolucionales (CNN) han mejorado la precisión de la detección, a menudo tienen dificultades para capturar los detalles de los bordes finos necesarios para una segmentación precisa a nivel de píxel de defectos delgados e irregulares. Además, las imágenes de rayaduras industriales suelen sufrir de un ruido significativo, iluminación variable y un desequilibrio de clases severo, lo que complica la detección fiable.

2. Metodología

Los autores proponen ScratNet, un marco de segmentación de rayaduras de extremo a extremo entrenable, diseñado para abordar las limitaciones de los métodos existentes. La arquitectura integra un Swin Transformer modificado como columna vertebral (backbone) con un decodificador personalizado que consta de tres módulos especializados:

A. Columna Vertebral de Swin Transformer Modificada

Para mejorar la extracción de pistas de bajo nivel esenciales para la detección de rayaduras finas, la capa estándar de partición de parches (patch partitioning) del Swin Transformer se reemplaza con un módulo Stem ligero. Este stem consiste en dos capas convolucionales sucesivas de $3 \times 3$ con un pooling de paso (stride) 2. Este diseño reduce la resolución mientras expande los canales, preservando la textura y la información de los bordes que de otro modo se perderían en la tokenización de parches convencional. La columna vertebral procede luego a través de cuatro etapas de autoatención basada en ventanas jerárquicas para extraer características espaciales y contextuales multiescala.

B. Decodificador MSP

El decodificador, denominado MSP, fusiona el contexto semántico con información espacial de alta resolución a través de tres componentes:

Agregación Dilatada Multiescala (MDA): Este módulo agrega mapas de características de las cuatro etapas del Swin backbone de forma descendente (top-down). Emplea un Bloque Dilatado (DiBlock) que consiste en dos convoluciones secuenciales de $3 \times 3$ con tasas de dilatación específicas (por ejemplo, $(8,1), (6,1), (4,1), (2,1)$ para las etapas 1–4). Esta estructura captura tanto la información contextual global (vía convoluciones dilatadas) como los detalles espaciales locales (vía convoluciones no dilatadas), creando una representación rica en contexto.
Módulo de Integración de Stem (SIM): Para restaurar los detalles espaciales perdidos durante el submuestreo (downsampling), el SIM integra características de alta resolución de la red stem con las características agregadas del MDA. Aplica convoluciones de $3 \times 3$ para fusionar progresivamente las pistas del stem ( $S_1, S_2$ ) con la salida del decodificador, reforzando los detalles estructurales para una segmentación de grano fino.
Módulo de Refinamiento de Precisión (PR): Este módulo se dirige específicamente a la nitidez de los bordes, la cual es crucial para defectos delgados y alargados. Aplica cuatro convoluciones anisotrópicas paralelas ( $1 \times 3, 3 \times 1, 1 \times 5, 5 \times 1$ ) al mapa de características agregado. Estos filtros capturan patrones horizontales, verticales y alargados, que luego se concatenan y proyectan para generar el mapa de segmentación final por píxel.

C. Función de Pérdida

Para abordar el desequilibrio de clases entre los píxeles del defecto (primer plano) y el fondo, el modelo se entrena utilizando una función de pérdida compuesta que combina la Entropía Cruzada Binaria (BCE) y la pérdida Dice. Esta formulación maximiza el solapamiento entre las predicciones y la verdad de campo (ground truth) al tiempo que asegura un flujo de gradiente robusto para la clase minoritaria.

3. Contribuciones Clave

El artículo describe cuatro contribuciones primarias:

Marco ScratNet: Un nuevo marco de múltiples niveles y entrenable de extremo a extremo que integra un Swin-Base Transformer modificado con agregación dilatada multiescala y refinamiento de precisión, diseñado específicamente para la detección de rayaduras delgadas e irregulares.
Agregación Dilatada Multiescala (MDA): Un módulo que integra características multiescala de las cuatro etapas de Swin utilizando convoluciones tanto dilatadas como no dilatadas para capturar simultáneamente el contexto global y local.
Integración de Stem y Refinamiento de Precisión: La introducción de un Módulo de Integración de Stem (SIM) para restaurar detalles espaciales de bajo nivel y una rama de Refinamiento de Precisión (PR) utilizando convoluciones anisotrópicas para afinar los bordes, mejorando significativamente la segmentación en patrones de rayaduras desafiantes.
Rendimiento de Vanguardia (State-of-the-Art): Demostración de una calidad de segmentación y robustez superior en conjuntos de datos de rayaduras de semiconductores en comparación con métodos existentes.

4. Resultados Experimentales

Los autores evaluaron ScratNet en dos conjuntos de datos: un conjunto de imágenes IC (749 imágenes, resolución de $180 \times 180$ ) y un conjunto de imágenes de Wafer (8,200 imágenes, resolución de $224 \times 224$ ).

Rendimiento Cuantitativo: ScratNet superó consistentemente a los modelos de referencia (UNet, ResNet50, HRNet, y variantes de Swin combinadas con decodificadores FCN, FPN y UPerNet).
- En el conjunto de datos IC con un backbone Swin-Base y aumento de datos, ScratNet logró un IoU de 87.32% y un puntaje Dice de 93.48%, superando por un margen significativo a la siguiente mejor configuración de Swin-Base (UPerNet).
- En el conjunto de datos de Wafer, ScratNet con Swin-Base logró un IoU de 81.17% y un Dice de 87.96% (con aumento de datos), superando todas las demás combinaciones de decodificadores.
Métricas de Borde: El modelo demostró una alineación de bordes superior, evidenciada por puntajes de Boundary IoU más altos y valores de Distancia de Hausdorff más bajos en comparación con las bases de CNN y de Transformers estándar.
Estudios de Ablación: Los experimentos confirmaron el valor incremental de cada componente. El módulo MDA proporcionó la mayor ganancia inicial, mientras que el módulo PR mejoró significativamente la precisión de los bordes, y el módulo SIM mejoró aún más el rendimiento, particularmente con backbones de transformadores.
Eficiencia: ScratNet mantuvo un equilibrio favorable entre la precisión y el costo computacional (latencia y FLOPs), superando a UPerNet en precisión y manteniéndose competitivo en eficiencia.
Comparación con SAM: Al compararse con el Segment Anything Model (SAM) en configuraciones de zero-shot y de ajuste fino (fine-tuned), ScratNet superó significativamente a SAM, resaltando la necesidad de arquitecturas específicas de dominio para la segmentación de micro-defectos.

5. Significación y Reivindicaciones

El artículo afirma que ScratNet proporciona una solución escalable y robusta para la inspección automatizada de rayaduras en la fabricación de alta precisión. Al abordar eficazmente los desafíos de las formas irregulares, el bajo contraste y las escalas variables mediante la agregación de características adaptativa por etapas y el refinamiento consciente de los bordes, el método propuesto logra una precisión superior en defectos delgados e irregulares. Los autores posicionan a ScratNet como un avance significativo sobre los métodos manuales tradicionales y los enfoques de aprendizaje profundo existentes, ofreciendo mejores rendimientos de productos y reducción de costos de inspección. El trabajo concluye que, si bien los modelos de propósito general como SAM muestran potencial en imágenes naturales, las arquitecturas especializadas como ScratNet siguen siendo esenciales para las demandas altamente específicas de la segmentación de defectos en semiconductores. Se sugiere como trabajo futuro explorar técnicas de filtrado avanzado y arquitecturas de decodificadores ligeros para el despliegue en el mundo real.