💻 computer science

ScratNet: A Swin-Based Multi-Scale Dilated Network with Precision Refinement for Semiconductor Scratch Segmentation

Le papier propose ScratNet, un nouveau cadre de bout en bout combinant une architecture Swin Transformer modifiée avec un décodeur spécialisé doté de modules d'agrégation multi-échelles et de raffinement de précision pour atteindre une précision supérieure dans la segmentation des défauts de rayures irrégulières et à faible contraste dans les semi-conducteurs.

Auteurs originaux : Sachin Ranjan, Hoon Kim

Publié 2026-07-14

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Sachin Ranjan, Hoon Kim

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous soyez un détective essayant de trouver les rayures les plus infimes et les plus tenaces sur une puce de silicium brillante et de haute technologie. Ce ne sont pas de simples rayures ; elles sont comme des toiles d'araignées invisibles ou des lignes aussi fines qu'un cheveu qui peuvent ruiner toute la puce si elles sont manquées. Le problème ? L'arrière-plan est bruyant, l'éclairage est complexe et les rayures changent constamment de forme et de taille.

Pendant longtemps, les détectives (ou plutôt les ingénieurs) ont essayé de trouver ces rayures en utilisant de vieilles règles et une observation manuelle. Mais l'article explique que c'est comme essayer de trouver une aiguille dans une botte de foin en portant des gants épais : c'est lent, fatigant, et on manque souvent l'aiguille ou on confond un grain de poussière avec une rayure.

Puis est arrivé le « Deep Learning » (apprentissage profond), un type de cerveau informatique qui devient très doué pour repérer les motifs. Mais même ces ordinateurs intelligents avaient un angle mort : ils étaient excellents pour voir les gros amas de défauts, mais médiocres pour voir les bords très fins et dentelés d'une rayure mince. C'est comme avoir une caméra qui peut voir une montagne entière clairement, mais qui rend flous les minuscules cailloux à sa base.

La Grande Idée : ScratNet
Les auteurs de cet article ont construit un nouvel outil appelé ScratNet pour corriger cela. Considérez ScratNet comme une loupe surpuissante combinée à l'intuition d'un détective. Il est conçu spécifiquement pour traquer ces rayures difficiles et fines sur les plaquettes de semi-conducteurs.

Voici comment fonctionne ScratNet, décomposé en trois astuces géniales :

L'équipe « Vue d'ensemble » et « Détails précis » :
L'article utilise un « cerveau » spécial appelé Swin Transformer comme fondation. Imaginez cela comme une équipe d'éclaireurs. Certains éclaireurs grimpent en haut d'un arbre pour voir toute la forêt (contexte global), tandis que d'autres restent au sol pour observer les feuilles individuelles (détails locaux). ScratNet mélange ces vues pour ne pas manquer une rayure, que ce soit parce qu'elle est petite ou parce qu'elle se trouve dans un endroit inhabituel.
La connexion du « Stem » (la tige) :
Parfois, quand on dézoome pour voir l'image globale, on perd la texture fine. ScratNet possède un module spécial appelé Stem Integration Module (SIM). Considérez cela comme un « chemin de la mémoire » qui ramène les détails ultra-nets du début dans le mélange. Cela garantit que lorsque l'ordinateur décide « Oui, c'est une rayure », il se souvient exactement de l'aspect de l'arête, et non d'une simple supposition floue.
L'outil d'« Affûtage des bords » :
C'est l'arme secrète de l'article. Les auteurs ont ajouté une branche de Precision Refinement (PR) (Affinement de précision). Imaginez que vous avez le croquis d'une rayure, mais que les lignes sont un peu floues. Ce module utilise des filtres « anisotropes » spéciaux (ce qui signifie qu'ils s'étirent dans des directions spécifiques, comme une règle) pour affûter les bords. C'est comme prendre une photo floue et utiliser un filtre pour rendre les lignes nettes et claires, ciblant spécifiquement ces lignes fines et irrégulières que les autres méthodes manquent.

Ce qu'ils ont écarté
L'article est très clair sur ce qui ne fonctionne pas assez bien seul.

Les Vieilles Règles : Ils affirment explicitement que les méthodes traditionnelles (comme la vérification manuelle ou le traitement d'image simple) sont trop lentes et incohérentes.
L'IA Standard : Ils soutiennent que les modèles de deep learning standards (comme les CNN réguliers) échouent souvent à capturer ces détails de bordure très fins.
La « Solution Miracle » de l'IA Générale : Les auteurs ont testé un modèle d'IA célèbre et polyvalent appelé SAM (Segment Anything Model). Ils l'ont testé de deux manières : en le laissant deviner sans entraînement (zero-shot) et en l'enseignant avec des boîtes englobantes (bounding boxes). Le résultat ? SAM a eu du mal. Dans le test « zero-shot », il a obtenu un IoU (un score de correspondance de forme) de seulement 42,81 % sur le jeu de données IC. Même après un ajustement fin avec des boîtes, il n'a atteint que 78,33 %. L'article conclut que, bien que SAM soit incroyable pour les photos générales, il n'est pas l'outil approprié pour ces rayures industrielles spécifiques. Vous avez besoin d'un outil spécialisé comme ScratNet.

À quel point sont-ils sûrs ?
Les auteurs n'ont pas seulement deviné ; ils ont mené des expériences approfondies sur deux jeux de données réels :

Images IC : 749 images de circuits intégrés.
Images de Wafers (plaquettes) : 8 200 images de plaquettes de silicium.

Ils ont tout mesuré en utilisant des mathématiques strictes. Sur le jeu de données IC, leur meilleur modèle (backbone Swin-Base avec ScratNet) a atteint un IoU de 87,32 % (avec augmentation de données) et un score Dice de 93,48 %. Sans augmentation, l'IoU était de 85,82 %. Sur le jeu de données Wafer, il a atteint un IoU de 81,17 % et un Dice de 87,96 %.

Crucialement, ils ont examiné les bords. Ils ont mesuré le Boundary IoU (à quel point le contour correspond) et la Distance de Hausdorff (à quelle distance se trouvent les bords). ScratNet a réduit l'erreur de bordure (Distance de Hausdorff) jusqu'à seulement 23,35 pixels sur le jeu de données IC (spécifiquement avec le backbone Swin-Base et l'augmentation de données), ce qui est une amélioration massive par rapport aux autres méthodes qui étaient erronées de plus de 40 pixels.

Le Verdict
L'article prouve qu'en combinant un système d'« éclaireur » puissant (Swin Transformer) avec un « restaurateur de détails » (Stem Integration) et un « affûteur de bords » (Precision Refinement), on peut trouver des rayures que les autres méthodes manquent.

Ils ont mesuré que ScratNet bat systématiquement la concurrence. Par exemple, sur le jeu de données IC, un modèle standard appelé UNet a obtenu un IoU de 79,48 %, tandis que ScratNet a obtenu 87,32 % (avec augmentation). C'est un bond significatif en termes de précision.

Les auteurs sont confiants dans ces chiffres car ils ont testé ScratNet contre de nombreux autres modèles célèbres (comme ResNet, HRNet et divers décodeurs) et ont constaté que ScratNet était le vainqueur à chaque fois. Ils suggèrent que cette approche offre une « solution évolutive et robuste » pour l'avenir de la fabrication de puces, mais ils ne prétendent pas qu'il s'agit d'un problème résolu parfaitement pour chaque scénario du monde. Ils montrent simplement que, pour les données qu'ils ont testées, ScratNet est actuellement le meilleur outil disponible.

Résumé technique : ScratNet pour la segmentation de rayures dans les semi-conducteurs

1. Énoncé du problème

Les défauts de rayures de surface dans la fabrication des semi-conducteurs représentent un défi critique pour le contrôle de la qualité en raison de leurs formes irrégulières, de leur faible contraste et de leurs échelles variables. Les méthodes d'inspection traditionnelles, incluant l'inspection visuelle manuelle et le traitement d'images basé sur des règles, sont laborieuses, lentes et sujettes à l'incohérence, particulièrement à mesure que les géométries des dispositifs rétrécissent et que les densités d'intégration augmentent. Bien que les approches d'apprentissage profond basées sur les réseaux de neurones convolutifs (CNN) aient amélioré la précision de la détection, elles peinent souvent à capturer les détails de bord fins nécessaires pour une segmentation précise au niveau du pixel de défauts minces et irréguliers. De plus, les images de rayures industrielles souffrent fréquemment d'un bruit important, d'une illumination variable et d'un déséquilibre de classe sévère, ce qui complique une détection fiable.

2. Méthodologie

Les auteurs proposent ScratNet, un cadre de segmentation de rayures entraînable de bout en bout conçu pour répondre aux limites des méthodes existantes. L'architecture intègre un squelette (backbone) Swin Transformer modifié avec un décodeur personnalisé comprenant trois modules spécialisés :

A. Squelette Swin Transformer modifié

Pour améliorer l'extraction des indices de bas niveau essentiels à la détection de rayures fines, la couche de partitionnement de patch standard du Swin Transformer est remplacée par un module Stem léger. Ce stem consiste en deux couches de convolution successives de $3 \times 3$ avec un pooling de foulée-2 (stride-2). Cette conception réduit la résolution tout en élargissant les canaux, préservant ainsi les informations de texture et de bord qui pourraient autrement être perdues dans la tokenisation de patch conventionnelle. Le squelette procède ensuite à travers quatre étapes d'auto-attention basée sur des fenêtres hiérarchiques pour extraire des caractéristiques spatiales et contextuelles multi-échelles.

B. Décodeur MSP

Le décodeur, appelé MSP, fusionne le contexte sémantique avec l'information spatiale à haute résolution via trois composants :

Agrégation Dilatée Multi-Échelle (MDA) : Ce module agrège les cartes de caractéristiques de toutes les quatre étapes du squelette Swin de manière descendante (top-down). Il utilise un Bloc Dilaté (DiBlock) composé de deux convolutions $3 \times 3$ séquentielles avec des taux de dilatation spécifiques (par exemple, $(8,1), (6,1), (4,1), (2,1)$ pour les étapes 1–4). Cette structure capture à la fois l'information contextuelle globale (via des convolutions dilatées) et les détails spatiaux locaux (via des convolutions non dilatées), créant une représentation riche en contexte.
Module d'Intégration du Stem (SIM) : Pour restaurer les détails spatiaux perdus lors du sous-échantillonnage, le SIM intègre les caractéristiques à haute résolution du réseau stem avec les caractéristiques agrégées du MDA. Il applique des convolutions $3 \times 3$ pour fusionner progressivement les indices du stem ( $S_1, S_2$ ) avec la sortie du décodeur, renforçant les détails structurels pour une segmentation fine.
Module de Raffinement de Précision (PR) : Ce module cible spécifiquement la netteté des contours, cruciale pour les défauts minces et allongés. Il applique quatre convolutions anisotropes parallèles ( $1 \times 3, 3 \times 1, 1 \times 5, 5 \times 1$ ) à la carte de caractéristiques agrégée. Ces filtres capturent les motifs horizontaux, verticaux et allongés, qui sont ensuite concaténés et projetés pour générer la carte de segmentation finale par pixel.

C. Fonction de perte

Pour traiter le déséquilibre de classe entre les pixels de défaut (premier plan) et de fond, le modèle est entraîné à l'aide d'une fonction de perte composite combinant l'entropie croisée binaire (BCE) et la perte Dice. Cette formulation maximise le chevauchement entre les prédictions et la vérité terrain tout en assurant un flux de gradient robuste pour la classe minoritaire.

3. Contributions clés

L'article présente quatre contributions primaires :

Cadre ScratNet : Un nouveau cadre multi-niveaux, entraînable de bout en bout, intégrant un Swin-Base Transformer modifié avec une agrégation dilatée multi-échelle et un raffinement de précision, spécifiquement adapté à la détection de rayures fines et irrégulières.
Agrégation Dilatée Multi-Échelle (MDA) : Un module qui intègre les caractéristiques multi-échelles des quatre étapes de Swin en utilisant des convolutions dilatées et non dilatées pour capturer simultanément le contexte global et local.
Intégration du Stem et Raffinement de Précision : L'introduction d'un Module d'Intégration du Stem (SIM) pour restaurer les détails spatiaux de bas niveau et d'une branche de Raffinement de Précision (PR) utilisant des convolutions anisotropes pour affiner les contours, améliorant significativement la segmentation sur les motifs de rayures difficiles.
Performance de l'État de l'Art : Démonstration d'une qualité de segmentation et d'une robustesse supérieures sur les jeux de données de rayures de semi-conducteurs par rapport aux méthodes existantes.

4. Résultats expérimentaux

Les auteurs ont évalué ScratNet sur deux jeux de données : un jeu de données d'images IC (749 images, résolution $180 \times 180$ ) et un jeu de données d'images de Wafer (8 200 images, résolution $224 \times 224$ ).

Performance Quantitative : ScratNet surpasse systématiquement les modèles de référence (UNet, ResNet50, HRNet, et les variantes de Swin combinées avec des décodeurs FCN, FPN et UPerNet).
- Sur le jeu de données IC avec un squelette Swin-Base et de l'augmentation de données, ScratNet a atteint un IoU de 87,32 % et un score Dice de 93,48 %, surpassant largement la configuration Swin-Base suivante (UPerNet).
- Sur le jeu de données Wafer, ScratNet avec Swin-Base a atteint un IoU de 81,17 % et un Dice de 87,96 % (avec augmentation), surpassant toutes les autres combinaisons de décodeurs.
Métriques de Bordure : Le modèle a démontré un alignement de bordure supérieur, comme en témoignent les scores Boundary IoU plus élevés et les valeurs de distance de Hausdorff plus faibles par rapport aux bases de référence basées sur les CNN et les Transformers standards.
Études d'Ablation : Les expériences ont confirmé la valeur incrémentale de chaque composant. Le module MDA a fourni le gain initial le plus important, tandis que le module PR a considérablement amélioré la précision des contours, et le module SIM a encore amélioré la performance, particulièrement avec les squelettes de type transformer.
Efficacité : ScratNet maintient un équilibre favorable entre précision et coût computationnel (latence et FLOPs), surpassant UPerNet en précision tout en restant compétitif en efficacité.
Comparaison avec SAM : Comparé au Segment Anything Model (SAM) en configurations zero-shot et fine-tunées, ScratNet surpasse nettement SAM, soulignant la nécessité d'architectures spécifiques au domaine pour la segmentation de micro-défauts.

5. Signification et Revendications

L'article affirme que ScratNet fournit une solution évolutive et robuste pour l'inspection automatisée des rayures dans la fabrication de haute précision. En traitant efficacement les défis des formes irrégulières, du faible contraste et des échelles variables grâce à l'agrégation de caractéristiques adaptative par étape et au raffinement sensible aux contours, la méthode proposée atteint une précision supérieure sur les rayures fines et irrégulières. Les auteurs positionnent ScratNet comme une avancée significative par rapport aux méthodes manuelles traditionnelles et aux approches d'apprentissage profond existantes, offrant une amélioration des rendements de produits et une réduction des coûts d'inspection. Le travail conclut que, bien que les modèles à usage général comme SAM soient prometteurs pour les images naturelles, des architectures spécialisées comme ScratNet restent essentielles pour les exigences très spécifiques de la segmentation de défauts de semi-conducteurs. Des travaux futurs sont suggérés pour explorer des techniques de filtrage avancées et des architectures de décodeurs légères pour un déploiement en conditions réelles.