💻 computer science

ScratNet: A Swin-Based Multi-Scale Dilated Network with Precision Refinement for Semiconductor Scratch Segmentation

O artigo propõe o ScratNet, um novo framework end-to-end que combina uma espinha dorsal Swin Transformer modificada com um decodificador especializado apresentando módulos de agregação multiescala e refinamento de precisão para alcançar uma acurácia superior na segmentação de defeitos de arranhão semicondutores irregulares e de baixo contraste.

Autores originais: Sachin Ranjan, Hoon Kim

Publicado 2026-07-14

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Sachin Ranjan, Hoon Kim

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um detetive tentando encontrar os arranhões mais minúsculos e persistentes em um chip de silício brilhante e de alta tecnologia. Não são apenas arranhões comuns; são como teias de aranha invisíveis ou linhas finas como fios de cabelo que podem arruinar o chip inteiro se forem perdidos. O problema? O fundo é ruidoso, a iluminação é complicada e os arranhões mudam de forma e tamanho constantemente.

Por muito tempo, detetives (ou melhor, engenheiros) tentaram encontrar esses arranhões usando regras antigas e observação manual. Mas o artigo explica que isso é como tentar encontrar uma agulha em um palheiro usando luvas grossas — é lento, cansativo e você frequentemente perde a agulha ou confunde um pedaço de poeira com ela.

Então surgiu o "Deep Learning" (Aprendizado Profundo), um tipo de cérebro computacional que fica muito bom em detectar padrões. Mas até esses computadores inteligentes tinham um ponto cego: eram ótimos para ver grandes manchas de defeitos, mas terríveis para ver as bordas superfinas e irregulares de um arranhão fino. É como ter uma câmera que consegue ver uma montanha inteira claramente, mas desfoca os pequenos seixos na base.

A Grande Ideia: ScratNet
Os autores deste artigo construíram uma nova ferramenta chamada ScratNet para consertar isso. Pense na ScratNet como uma lupa superpoderosa combinada com a intuição de um detetive. Ela foi projetada especificamente para caçar esses arranhões complicados e finos em wafers de semicondutores.

Veja como a ScratNet funciona, dividida em três truques legais:

A Equipe do "Panorama Geral" e do "Detalhe Pequeno":
O artigo utiliza um "cérebro" especial chamado Swin Transformer como sua base. Imagine isso como uma equipe de batedores (scouts). Alguns batedores sobem no alto de uma árvore para ver a floresta inteira (contexto global), enquanto outros ficam no chão para observar as folhas individuais (detalhes locais). A ScratNet mistura essas visões para que não perca um arranhão apenas por ele ser pequeno ou por estar em um lugar estranho.
A Conexão do "Caule" (Stem):
Às vezes, quando você se afasta para ver o panorama geral, perde a textura fina. A ScratNet possui um módulo especial chamado Stem Integration Module (SIM). Pense nisso como um "caminho da memória" que traz os detalhes super nítidos do início de volta para a mistura. Isso garante que, quando o computador decide "Sim, isso é um arranhão", ele se lembre exatamente de como era a borda, e não apenas de um palpite borrado.
A Ferramenta de "Afiação de Bordas":
Este é o segredo do artigo. Os autores adicionaram um ramo de Refinamento de Precisão (PR). Imagine que você tem o esboço de um arranhão, mas as linhas estão um pouco nebulosas. Este módulo usa filtros "anisotrópicos" especiais (que apenas significa que eles se esticam em direções específicas, como uma régua) para afiar as bordas. É como pegar uma foto borrada e usar um filtro para tornar as linhas nítidas e claras, visando especificamente aquelas linhas finas e irregulares que outros métodos perdem.

O Que Eles Descartaram
O artigo é muito claro sobre o que não funciona bem o suficiente por conta própria.

Regras Antigas: Eles afirmam explicitamente que os métodos tradicionais (como verificação manual ou processamento de imagem simples) são lentos e inconsistentes demais.
IA Padrão: Eles argumentam que modelos de aprendizado profundo padrão (como CNNs regulares) geralmente falham em capturar esses detalhes de borda de grão fino.
A "Solução Mágica" da IA Geral: Os autores testaram um famoso modelo de IA de propósito geral chamado SAM (Segment Anything Model). Eles o testaram de duas maneiras: deixando-o adivinhar sem treinamento (zero-shot) e ensinando-o com caixas delimitadoras (bounding boxes). O resultado? O SAM teve dificuldades. No teste "zero-shot", ele obteve um IoU (uma pontuação de quão bem as formas combinam) de apenas 42,81% no conjunto de dados de IC. Mesmo quando o ajustaram com caixas, ele atingiu apenas 78,33%. O artigo conclui que, embora o SAM seja incrível para fotos gerais, ele não é a ferramenta certa para esses arranhões industriais específicos. Você precisa de uma ferramenta especializada como a ScratNet.

O Quão Certos Eles Estão?
Os autores não apenas adivinharam; eles realizaram experimentos extensos em dois conjuntos de dados reais:

Imagens de IC: 749 imagens de circuitos integrados.
Imagens de Wafers: 8.200 imagens de wafers de silício.

Eles mediram tudo usando matemática rigorosa. No conjunto de dados de IC, seu melhor modelo (backbone Swin-Base com ScratNet) alcançou um IoU de 87,32% (com aumento de dados/data augmentation) e um escore Dice de 93,48%. Sem o aumento de dados, o IoU foi de 85,82%. No conjunto de dados de Wafers, atingiu um IoU de 81,17% e um Dice de 87,96%.

Crucialmente, eles observaram as bordas. Eles mediram o Boundary IoU (quão bem o contorno combina) e a Distância de Hausdorff (o quão longe as bordas estão). A ScratNet reduziu o erro de borda (Distância de Hausdorff) para tão baixo quanto 23,35 pixels no conjunto de dados de IC (especificamente com o backbone Swin-Base e aumento de dados), o que é uma melhoria massiva em relação a outros métodos que estavam errados por mais de 40 pixels.

O Veredito
O artigo prova que, ao combinar um sistema de "batedores" poderoso (Swin Transformer) com um "restaurador de detalhes" (Stem Integration) e um "afiador de bordas" (Precision Refinement), você pode encontrar arranhões que outros métodos perdem.

Eles mediram que a ScratNet vence consistentemente a competição. Por exemplo, no conjunto de dados de IC, um modelo padrão chamado UNet obteve um IoU de 79,48%, enquanto a ScratNet obteve 87,32% (com aumento de dados). Isso é um salto significativo de precisão.

Os autores estão confiantes nesses números porque testaram contra muitos outros modelos famosos (como ResNet, HRNet e vários tipos de decodificadores) e descobriram que a ScratNet foi a vencedora todas as vezes. Eles sugerem que essa abordagem oferece uma "solução escalável e robusta" para o futuro da fabricação de chips, mas param antes de dizer que é um problema perfeito e totalmente resolvido para todos os cenários do mundo. Eles simplesmente mostram que, para os dados que testaram, a ScatNet é atualmente a melhor ferramenta disponível.

Resumo Técnico: ScratNet para Segmentação de Riscos em Semicondutores

1. Definição do Problema

Defeitos de superfície por riscos na fabricação de semicondutores apresentam um desafio crítico para o controle de qualidade devido às suas formas irregulares, baixo contraste e escalas variáveis. Os métodos de inspeção tradicionais, incluindo a inspeção visual manual e o processamento de imagens baseado em regras, são intensivos em mão de obra, lentos e propensos à inconsistência, particularmente à medida que as geometrias dos dispositivos diminuem e as densidades de integração aumentam. Embora as abordagens de aprendizado profundo baseadas em Redes Neurais Convolucionais (CNNs) tenham melhorado a precisão da detecção, elas frequentemente têm dificuldade em capturar detalhes de borda finos, necessários para a segmentação precisa ao nível de pixel de defeitos finos e irregulares. Além disso, imagens industriais de riscos frequentemente sofrem com ruído significativo, iluminação variável e um desequilíbrio severo de classes, complicando a detecção confiável.

2. Metodologia

Os autores propõem o ScratNet, uma estrutura de segmentação de riscos treinável de ponta a ponta projetada para abordar as limitações dos métodos existentes. A arquitetura integra um backbone Swin Transformer modificado com um decodificador customizado composto por três módulos especializados:

A. Backbone Swin Transformer Modificado

Para melhorar a extração de pistas de baixo nível essenciais para a detecção de riscos finos, a camada padrão de particionamento de patches do Swin Transformer é substituída por um módulo Stem leve. Este stem consiste em duas camadas convolucionais sucessivas de $3 \times 3$ com pooling de stride-2. Este design reduz a resolução enquanto expande os canais, preservando informações de textura e borda que poderiam ser perdidas em uma tokenização de patch convencional. O backbone então prossegue através de quatro estágios de autoatenção baseada em janelas hierárquicas para extrair características espaciais e contextuais de múltiplas escalas.

B. Decodificador MSP

O decodificador, referido como MSP, funde o contexto semântico com informações espaciais de alta resolução através de três componentes:

Agregação Dilatada Multi-Escala (MDA): Este módulo agrega mapas de características de todos os quatro estágios do backbone Swin de forma descendente (top-down). Ele utiliza um Bloco Dilatado (DiBlock) consistindo em duas convoluções $3 \times 3$ sequenciais com taxas de dilatação específicas (ex: $(8,1), (6,1), (4,1), (2,1)$ para os estágios 1–4). Esta estrutura captura tanto informações de contexto global (via convoluções dilatadas) quanto detalhes espaciais locais (via convoluções não dilatadas), criando uma representação rica em contexto.
Módulo de Integração de Stem (SIM): Para restaurar detalhes espaciais perdidos durante o downsampling, o SIM integra características de alta resolução do módulo stem com as características agregadas do MDA. Ele aplica convoluções $3 \times 3$ para fundir progressivamente as pistas do stem ( $S_1, S_2$ ) com a saída do decodificador, reforçando detalhes estruturais para uma segmentação de grão fino.
Módulo de Refinamento de Precisão (PR): Este módulo visa especificamente a nitidez das bordas, que é crucial para defeitos finos e alongados. Ele aplica quatro convoluções anisotrópicas paralelas ( $1 \times 3, 3 \times 1, 1 \times 5, 5 \times 1$ ) ao mapa de características agregado. Esses filtros capturam padrões horizontais, verticais e alongados, que são então concatenados e projetados para gerar o mapa de segmentação pixel a pixel final.

C. Função de Perda

Para abordar o desequilíbrio de classes entre os pixels de defeito (foreground) e fundo (background), o modelo é treinado usando uma função de perda composta combinando Entropia Cruzada Binária (BCE) e perda de Dice. Esta formulação maximiza a sobreposição entre as previsões e a verdade fundamental (ground truth), garantindo ao mesmo tempo um fluxo de gradiente robusto para a classe minoritária.

3. Principais Contribuições

O artigo delineia quatro contribuições primárias:

Estrutura ScratNet: Uma nova estrutura multi-nível e treinável de ponta a ponta que integra um Swin-Base Transformer modificado com agregação dilatada multi-escala e refinamento de precisão, especificamente adaptada para a detecção de riscos finos e irregulares.
Agregação Dilatada Multi-Escala (MDA): Um módulo que integra características de múltiplas escalas de todos os quatro estágios do Swin usando convoluções dilatadas e não dilatadas para capturar simultaneamente o contexto global e local.
Integração de Stem e Refinamento de Precisão: A introdução de um Módulo de Integração de Stem (SIM) para restaurar detalhes espaciais de baixo nível e um ramo de Refinamento de Precisão (PR) usando convoluções anisotrópicas para afiar as bordas, melhorando significativamente a segmentação em padrões de risco desafiadores.
Desempenho de Estado da Arte: Demonstração de qualidade de segmentação e robustez superiores em conjuntos de dados de semicondutores em comparação com métodos existentes.

4. Resultados Experimentais

Os autores avaliaram o ScratNet em dois conjuntos de dados: um conjunto de dados de imagens IC (749 imagens, resolução de $180 \times 180$ ) e um conjunto de dados de imagens de Wafer (8.200 imagens, $224 \times 224$ ).

Desempenho Quantitativo: O ScratNet superou consistentemente os modelos de base (UNet, ResNet50, HRNet e variantes Swin combinadas com decodificadores FCN, FPN e UPerNet).
- No conjunto de dados IC com um backbone Swin-Base e aumento de dados, o ScratNet alcançou um IoU de 87,32% e um score de Dice de 93,48%, superando significativamente a próxima melhor configuração Swin-Base (UPerNet).
- No conjunto de dados de Wafer, o ScratNet com Swin-Base alcançou um IoU de 81,17% e Dice de 87,96% (com aumento), superando todas as outras combinações de decodificadores.
Métricas de Borda: O modelo demonstrou alinhamento de borda superior, evidenciado por pontuações de Boundary IoU mais altas e valores de Distância de Hausdorff mais baixos em comparação com as linhas de base baseadas em CNN e baseadas em Transformer padrão.
Estudos de Ablação: Experimentos confirmaram o valor incremental de cada componente. O módulo MDA proporcionou o maior ganho inicial, enquanto o módulo PR melhorou significativamente a precisão da borda, e o módulo SIM aumentou ainda mais o desempenho, particularmente com backbones de transformer.
Eficiência: O ScratNet manteve um equilíbrio favorável entre precisão e custo computacional (latência e FLOPs), superando o UPerNet em precisão, mantendo-se competitivo em eficiência.
Comparação com SAM: Quando comparado ao Segment Anything Model (SAM) em configurações zero-shot e de ajuste fino (fine-tuned), o ScratNet superou significativamente o SAM, destacando a necessidade de arquiteturas específicas de domínio para segmentação de micro-defeitos.

5. Significância e Alegações

O artigo afirma que o ScratNet fornece uma solução escalável e robusta para a inspeção automatizada de riscos em manufatura de alta precisão. Ao abordar efetivamente os desafios de formas irregulares, baixo contraste e escalas variáveis através de agregação de características adaptativa ao estágio e refinamento consciente das bordas, o método proposto atinge precisão superior em defeitos finos e irregulares. Os autores posicionam o ScratNet como um avanço significativo sobre os métodos manuais tradicionais e as abordagens de aprendizado profundo existentes, oferecendo melhores rendimentos de produtos e redução de custos de inspeção. O trabalho conclui que, embora modelos de uso geral como o SAM mostrem promessa em imagens naturais, arquiteturas especializadas como o ScratNet permanecem essenciais para as demandas altamente específicas da segmentação de defeitos em semicondutores. O trabalho futuro sugere explorar técnicas de filtragem avançadas e arquiteturas de decodificador leves para implantação no mundo real.