💻 computer science

ScratNet: A Swin-Based Multi-Scale Dilated Network with Precision Refinement for Semiconductor Scratch Segmentation

Het artikel stelt ScratNet voor, een nieuw end-to-end framework dat een aangepaste Swin Transformer-backbone combineert met een gespecialiseerde decoder voorzien van multi-scale aggregatie- en precisie-verfijningsmodules om superieure nauwkeurigheid te bereiken bij het segmenteren van onregelmatige, laag-contrastische halfgeleiderkrassen.

Oorspronkelijke auteurs: Sachin Ranjan, Hoon Kim

Gepubliceerd 2026-07-14

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Sachin Ranjan, Hoon Kim

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een detective bent die probeert de kleinste, meest hardnekkige krasjes te vinden op een glanzende, hoogtechnologische siliconen chip. Dit zijn niet zomaar krassen; ze zijn als onzichtbare spinnenwebben of haardunne lijnen die de hele chip kunnen ruïneren als ze worden gemist. Het probleem? De achtergrond is ruisachtig, de verlichting is lastig en de krassen veranderen constant van vorm en grootte.

Lange tijd probeerden detectives (of liever gezegd, ingenieurs) deze krassen te vinden met ouderwetse regels en handmatig kijken. Maar het artikel legt uit dat dit is als het zoeken naar een naald in een hooiberg terwijl je dikke handschoenen draagt — het is traag, vermoeiend, en je mist vaak de naald of verwart een stukje stof met een kras.

Toen kwam "Deep Learning", een type computerbrein dat steeds beter wordt in het herkennen van patronen. Maar zelfs deze slimme computers hadden een blinde vlek: ze waren geweldig in het zien van grote vlekken defecten, maar verschrikkelijk in het zien van de super-fijne, grillige randen van een dunne kras. Het is alsof je een camera hebt die een hele berg duidelijk kan zien, maar de kleine steentjes aan de voet ervan wazig maakt.

Het Grote Idee: ScratNet
De auteurs van dit artikel hebben een nieuwe tool gebouwd genaamd ScratNet om dit op te lossen. Denk aan ScratNet als een superkrachtige vergrootglas gecombineerd met de intuïtie van een detective. Het is specifiek ontworpen om die lastige, dunne krassen op halfgeleiderwafers op te sporen.

Zo werkt ScratNet, onderverdeeld in drie coole trucs:

Het "Grote Plaatje" en "Kleine Details" Team:
Het artikel gebruikt een speciaal "brein" genaamd een Swin Transformer als fundament. Stel je dit voor als een team van verkenners. Sommige verkenners klimmen hoog in een boom om het hele bos te zien (globale context), terwijl anderen op de grond blijven om naar individuele bladeren te kijken (lokale details). ScratNet mengt deze weergaven zodat het een kras niet mist, simpelweg omdat hij klein is of omdat hij zich op een vreemde plek bevindt.
De "Stem" Verbinding:
Soms, wanneer je uitzoomt om het grote plaatje te zien, verlies je de fijne textuur. ScratNet heeft een speciaal module genaamd de Stem Integration Module (SIM). Denk aan dit als een "geheugenspoor" dat de super-scherpe, vroege details weer terugbrengt in de mix. Het zorgt ervoor dat wanneer de computer besluit: "Ja, dat is een kras," hij precies onthoudt hoe de rand eruitzag, en niet alleen een wazige gok doet.
De "Randverscherping" Tool:
Dit is het geheime wapen van het artikel. De auteurs hebben een Precision Refinement (PR) tak toegevoegd. Stel je voor dat je een schets van een kras hebt, maar de lijnen zijn een beetje wazig. Deze module gebruikt speciale "anisotrope" filters (wat simpelweg betekent dat ze in specifieke richtingen uitrekken, zoals een liniaal) om de randen aan te scherpen. Het is also kind een wazige foto te nemen en een filter te gebruiken om de lijnen scherp en helder te maken, specifiek gericht op die dunne, onregelmatige lijnen die andere methoden missen.

Wat Ze Hebben Uitgesloten
Het artikel is heel duidelijk over wat niet goed genoeg werkt op zichzelf.

Ouderwetse Regels: Ze zeggen expliciet dat traditionele methoden (zoals handmatige controle of eenvoudige beeldverwerking) te traag en inconsistent zijn.
Standaard AI: Ze beargumenteren dat standaard deep learning-modellen (zoals reguliere CNN's) vaak falen in het vastleggen van die fijnmazige randdetails.
Het "Magische Middel" van Algemene AI: De auteurs hebben een beroemd, algemeen AI-model getest genaamd SAM (Segment Anything Model). Ze probeerden dit op twee manieren te gebruiken: door het zonder training te laten raden (zero-shot) en door het te trainen met bounding boxes. Het resultaat? SAM worstelde. In de "zero-shot" test behaalde het een IoU (een score voor hoe goed de vormen overeenkomen) van slechts 42,81% op de IC-dataset. Zelfs toen ze het bijstuurden met boxes, bereikte het slechts 78,33%. Het artikel concludeert dat hoewel SAM geweldig is voor algemene foto's, het niet het juiste instrument is voor deze specifieke, minuscule industriële krassen. Je hebt een gespecialiseerde tool nodig zoals ScratNet.

Hoe Zeker Zijn Ze?
De auteurs hebben niet gewoon gegokt; ze hebben uitgebreide experimenten uitgevoerd op twee echte datasets:

IC Afbeeldingen: 749 afbeeldingen van geïntegreerde schakelingen.
Wafer Afbeeldingen: 8.200 afbeeldingen van siliconen wafers.

Ze hebben alles gemeten met strikte wiskunde. Op de IC-dataset bereikte hun beste model (Swin-Base backbone met ScratNet) een IoU van 87,32% (met data-augmentatie) en een Dice-score van 93,48%. Zonder augmentatie was de IoU 85,82%. Op de Wafer-dataset behaalde het een IoU van 81,17% en een Dice van 87,96%.

Cruciaal is dat ze naar de randen keken. Ze maten de Boundary IoU (hoe goed de omtrek overeenkomt) en de Hausdorff-afstand (hoe ver de randen afwijken). ScratNet verminderde de randfout (Hausdorff-afstand) tot zo laag als 23,35 pixels op de IC-dataset (specifiek met de Swin-Base backbone en data-augmentatie), wat een enorme verbetering is ten opzichte van andere methoden die meer dan 40+ pixels af waren.

Het Oordeel
Het artikel bewijst dat door een krachtig "verkennerssysteem" (Swin Transformer) te combineren met een "detail-hersteller" (Stem Integration) en een "rand-verscherper" (Precision Refinement), je krassen kunt vinden die andere methoden missen.

Ze hebben gemeten dat ScratNet consequent de concurrentie verslaat. Bijvoorbeeld, op de IC-dataset behaalde een standaard model genaamd UNet een IoU van 79,48%, terwijl ScratNet 87,32% behaalde (met augmentatie). Dat is een aanzienlijke sprong in nauwkeurigheid.

De auteurs zijn zelfverzekerd over deze cijfers omdat ze ScratNet hebben getest tegen vele andere beroemde modellen (zoals ResNet, HRNet en diverse decoder-typen) en vonden dat ScratNet telkens de winnaar was. Ze suggereren dat deze aanpak een "schaalbare en robuuste oplossing" biedt voor de toekomst van chipproductie, maar ze houden er rekening mee dat ze niet beweren dat het een perfect, opgelost probleem is voor elk scenario in de wereld. Ze laten simpelweg zien dat, voor de data die zij hebben getest, ScatNet momenteel het beste gereedschap in de kist is.

Technische Samenvatting: ScratNet voor de segmentatie van krassen in halfgeleiders

1. Probleemstelling

Oppervlaktekrasdefecten in de productie van halfgeleiders vormen een kritieke uitdaging voor kwaliteitscontrole vanwege hun onregelmatige vormen, lage contrasten en variërende schalen. Traditionele inspectiemethoden, waaronder handmatige visuele inspectie en op regels gebaseerde beeldverwerking, zijn arbeidsintensief, traag en gevoelig voor inconsistentie, vooral naarmate de geometrie van componenten kleiner wordt en de integratiedichtheid toeneemt. Hoewel deep learning-benaderingen op basis van Convolutional Neural Networks (CNN's) de detectie nauwkeurigheid hebben verbeterd, hebben ze vaak moeite met het vastleggen van de fijne randdetails die nodig zijn voor precieze pixel-niveau segmentatie van dunne en onregelmatige defecten. Bovendien lijden industriële krasafbeeldingen vaak onder aanzienlijke ruis, variabele verlichting en een ernstige klassenonbalans, wat betrouwbare detectie bemoeilijkt.

2. Methodologie

De auteurs stellen ScratNet voor, een end-to-end trainbaar krassegmentatieframework dat is ontworpen om de beperkingen van bestaande methoden aan te pakken. De architectuur integreert een aangepaste Swin Transformer backbone met een aangepaste decoder bestaande uit drie gespecialiseerde modules:

A. Aangepaste Swin Transformer Backbone

Om de extractie van laag-niveau cues te verbeteren die essentieel zijn voor het detecteren van fijne krassen, wordt de standaard patch partitioning-laag van de Swin Transformer vervangen door een lichtgewicht Stem module. Deze stem bestaat uit twee opeenvolgende $3 \times 3$ convolutionele lagen met een stride-2 pooling. Dit ontwerp vermindert de resolutie terwijl het kanalen uitbreidt, waardoor textuur- en randinformatie behouden blijft die anders verloren zou gaan in conventionele patch tokenisatie. De backbone gaat vervolgens door vier stadia van hiërarchische window-gebaseerde self-attention om multi-schaal ruimtelijke en contextuele kenmerken te extraheren.

B. MSP Decoder

De decoder, aangeduid als MSP, fuseert semantische context met hoog-resolutie ruimtelijke informatie via drie componenten:

Multi-Scale Dilated Aggregation (MDA): Deze module aggregeert feature maps van alle vier de stadia van de Swin backbone op een top-down manier. Het maakt gebruik van een Dilated Block (DiBlock) bestaande uit twee opeenvolgende $3 \times 3$ convoluties met specifieke dilatieratio's (bijv. $(8,1), (6,1), (4,1), (2,1)$ voor stadia 1–4). Deze structuur legt zowel globale contextuele informatie (via gedilateerde convoluties) als lokale ruimtelijke details (via niet-gedilateerde convoluties) vast, wat een context-rijke representatie creëert.
Stem Integration Module (SIM): Om de ruimtelijke details te herstellen die verloren zijn gegaan tijdens de downsampling, integreert de SIM hoog-resolutie kenmerken van het stem-netwerk met de geaggregeerde kenmerken van de MDA. Het past $3 \times 3$ convoluties toe om de stem-cues ( $S_1, S_2$ ) progressief te fuseren met de decoder output, waardoor de structurele details worden versterkt voor fijnmazige segmentatie.
Precision Refinement (PR) Module: Deze module richt zich specifiek op de scherpte van de grenzen, wat crual is voor dunne en langgerekte defecten. Het past vier parallelle anisotrope convoluties ( $1 \times 3, 3 \times 1, 1 \times 5, 5 \times 1$ ) toe op de geaggregeerde feature map. Deze filters leggen horizontale, verticale en langgerekte patronen vast, die vervolgens worden geconcateneerd en geprojecteerd om de uiteindelijke pixel-gewijze segmentatiekaart te genereren.

C. Loss Function

Om de klassenonbalans tussen defect (voorgrond) en achtergrond pixels aan te pakken, wordt het model getraind met een samengestelde loss function die Binary Cross-Entropy (BCE) en Dice loss combineert. Deze formulering maximaliseert de overlap tussen voorspellingen en de grondwaarheid (ground truth), terwijl een robuuste gradiëntstroom voor de minderheidsklasse wordt gewaarborgd.

3. Belangrijkste Bijdragen

Het artikel schetst vier primaire bijdragen:

ScratNet Framework: Een nieuw, multi-level, end-to-end trainbaar framework dat een aangepaste Swin-Base Transformer integreert met multi-schaal gedilateerde aggregatie en precisie-verfijning, specifiek afgestemd op de detectie van dunne en onregelmatige krassen.
Multi-Scale Dilated Aggregation (MDA): Een module die multi-schaal kenmerken van alle vier de Swin stadia integreert met behulp van zowel gedilateerde als niet-gedilateerde convoluties om gelijktijdig globale en lokale context te vangen.
Stem Integration en Precision Refinement: De introductie van een Stem Integration Module (SIM) om laag-niveau ruimtelijke details te herstellen en een Precision Refinement (PR) branch met anisotrope convoluties om grenzen te verscherpen, wat de segmentatie op uitdagende kraspatronen aanzienlijk verbetert.
State-of-the-Art Prestaties: Demonstratie van superieure segmentatiekwaliteit en robuustheid op halfgeleider krasdatasets vergeleken met bestaande methoden.

4. Experimentele Resultaten

De auteurs hebben ScratNet geëvalueerd op twee datasets: een IC image dataset (749 afbeeldingen, $180 \times 180$ resolutie) en een Wafer image dataset (8.200 afbeeldingen, $224 \times 224$ resolutie).

Kwantitatieve Prestaties: ScratNet presteerde consistent beter dan baseline modellen (UNet, ResNet50, HRNet, en Swin varianten gecombineerd met FCN, FPN, en UPerNet decoders).
- Op de IC dataset met een Swin-Base backbone en data-augmentatie bereikte ScratNet een IoU van 87,32% en een Dice score van 93,48%, waarmee het de op één na beste Swin-Base configuratie (UPerNet) met een aanzienlijke marge versloeg.
- Op de Wafer dataset bereikte ScratNet met Swin-Base een IoU van 81,17% en een Dice van 87,96% (met augmentatie), waarbij het alle andere decoder-combinaties overtrof.
Grenswaarden-metrieken (Boundary Metrics): Het model vertoonde een superieure grensalignment, bewezen door hogere Boundary IoU scores en lagere Hausdorff Distance waarden vergeleken met CNN-gebaseerde en standaard Transformer-gebaseerde baselines.
Ablatie-studies: Experimenten bevestigden de incrementele waarde van elk onderdeel. De MDA-module leverde de grootste initiële winst, terwijl de PR-module de grensprecisie aanzienlijk verbeterde, en de SIM-module de prestaties verder versterkte, met name bij transformer backbones.
Efficiëntie: ScratNet behield een gunstige balans tussen nauwkeurigheid en computationele kosten (latentie en FLOPs), waarbij het qua nauwkeurigheid beter presteerde dan UPerNet en tegelijkert koploper bleef in efficiëntie.
Vergelijking met SAM: Wanneer vergeleken met het Segment Anything Model (SAM) in zero-shot en fine-tuned settings, presteerde ScratNet aanzienlijk beter dan SAM, wat de noodzaak van domeinspecifieke architecturen voor micro-defect segmentatie benadrukt.

5. Betekenis en Claims

Het artikel claimt dat ScratNet een schaalbare en robuuste oplossing biedt voor automatische krasinspectie in hoog-precieze productie. Door effectief in te spelen op de uitdagingen van onregelmatige vormen, laag contrast en variërende schalen via stage-adaptieve feature aggregatie en boundary-aware verfijning, bereikt de voorgestelde methode een superieure nauwkeurigheid op dunne en onregelmatige krassen. De auteurs positioneren ScratNet als een significante vooruitgang ten opzichte van traditionele handmatige methoden en bestaande deep learning-benaderingen, wat leidt tot verbeterde productopbrengsten en lagere inspectiekosten. Het werk concludeert dat hoewel algemene modellen zoals SAM veelbelovend zijn voor natuurlijke afbeeldingen, gespecialiseerde architecturen zoals ScratNet essentieel blijven voor de zeer specifieke eisen van defectsegmentatie in halfgeleiders. Toekomstig werk suggereert het verkennen van geavanceerde filteringtechnieken en lichtgewicht decoder-architecturen voor implementatie in de echte wereld.