💻 computer science

ScratNet: A Swin-Based Multi-Scale Dilated Network with Precision Refinement for Semiconductor Scratch Segmentation

Das Papier schlägt ScratNet vor, ein neuartiges End-to-End-Framework, das ein modifiziertes Swin-Transformer-Backbone mit einem spezialisierten Decoder kombiniert, welcher Module zur Multiskalen-Aggregation und Präzisionsverfeinerung umfasst, um eine überlegene Genauigkeit bei der Segmentierung unregelmäßiger, kontrastarmer Halbleiter-Kratzdefekte zu erreichen.

Ursprüngliche Autoren: Sachin Ranjan, Hoon Kim

Veröffentlicht 2026-07-14

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Sachin Ranjan, Hoon Kim

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, die winzigsten, hartnäckigsten Kratzer auf einem glänzenden, hochtechnologischen Siliziumchip aufzuspüren. Dies sind nicht einfach nur Kratzer; sie sind wie unsichtbare Spinnweben oder haardünne Linien, die den gesamten Chip ruinieren können, wenn man sie übersieht. Das Problem? Der Hintergrund ist verrauscht, die Beleuchtung ist schwierig und die Kratzer verändern ständig ihre Form und Größe.

Lange Zeit versuchten Detektive (oder vielmehr Ingenieure), diese Kratzer mit alten Regeln und manuellem Hinsehen zu finden. Aber das Papier erklärt, dass dies so ist, als würde man versuchen, eine Nadel im Heuhaufen zu finden, während man dicke Handschuhe trägt – es ist langsam, ermüdend, und man übersieht die Nadel oder hält ein Stück Staub fälschlicherweise für eine.

Dann kam „Deep Learning“, eine Art von Computergehirn, das sehr gut darin wird, Muster zu erkennen. Aber selbst diese intelligenten Computer hatten eine Schwachstelle: Sie waren großartig darin, große Flecken von Defekten zu sehen, aber schlecht darin, die superfeinen, gezackten Kanten eines dünnen Kratzers zu erkennen. Es ist wie eine Kamera, die einen ganzen Berg klar sehen kann, aber die winzigen Kieselsteine am Fuße des Berges verschwommen darstellt.

Die große Idee: ScratNet
Die Autoren dieses Papers haben ein neues Werkzeug namens ScratNet entwickelt, um dies zu beheben. Stellen Sie sich ScratNet als ein superstarkes Vergrößerungsglas kombiniert mit der Intuition eines Detektivs vor. Es wurde speziell dafür entwickelt, jene tückischen, dünnen Kratzer auf Halbleiter-Wafern aufzuspüren.

So funktioniert ScratNet, unterteilt in drei coole Tricks:

Das „Große Ganze“ und „Kleine Details“-Team:
Das Papier verwendet einen speziellen „Computer-Verstand“ namens Swin Transformer als Fundament. Stellen Sie sich dies als ein Team von Kundschaftern vor. Einige Kundschafter klettern hoch oben in einen Baum, um den ganzen Wald zu sehen (globaler Kontext), während andere am Boden bleiben, um nach einzelnen Blättern zu suchen (lokale Details). ScratNet mischt diese Ansichten zusammen, damit es einen Kratzer nicht übersieht, nur weil er klein ist oder sich an einem ungewöhnlichen Ort befindet.
Die „Stem“-Verbindung:
Manchmal verliert man die feine Textur, wenn man herauszoomt, um das große Ganze zu sehen. ScratNet besitzt ein spezielles Modul namens Stem Integration Module (SIM). Denken Sie an dies wie an eine „Erinnerungsreise“, die die super-scharfen, frühen Details wieder in das Geschehen zurückbringt. Es stellt sicher, dass wenn der Computer entscheidet: „Ja, das ist ein Kratzer“, er sich genau daran erinnert, wie die Kante aussah, und nicht nur eine verschwommene Vermutung anstellt.
Das „Kantenschärfungs“-Werkzeug:
Dies ist die Geheimwaffe des Papers. Die Autoren haben einen Precision Refinement (PR)-Zweig hinzugefügt. Stellen Sie sich vor, Sie haben eine Skizze eines Kratzers, aber die Linien sind etwas unscharf. Dieses Modul verwendet spezielle „anisotrope“ Filter (was einfach bedeutet, dass sie in bestimmte Richtungen gestreckt werden, wie ein Lineal), um die Kanten zu schärfen. Es ist, als würde man ein verschwommenes Foto nehmen und einen Filter verwenden, um die Linien knackig und klar zu machen, wobei es gezielt auf jene dünnen, unregelmäßigen Linien abzielt, die andere Methoden übersehen.

Was sie ausgeschlossen haben
Das Papier ist sehr deutlich darüber, was nicht gut genug funktioniert.

Alte Regeln: Sie sagen explizit, dass traditionelle Methoden (wie manuelle Prüfung oder einfache Bildverarbeitung) zu langsam und inkonsistent sind.
Standard-KI: Sie argumentieren, dass Standard-Deep-Learning-Modelle (wie reguläre CNNs) oft scheitern, jene feingliedrigen Kanten-Details zu erfassen.
Das „Wundermittel“ der allgemeinen KI: Die Autoren testeten ein berühmtes, allgemeines KI-Modell namens SAM (Segment Anything Model). Sie probierten es auf zwei Arten aus: indem sie es ohne Training (Zero-Shot) raten ließen und indem sie es mit Bounding Boxes lehrten. Das Ergebnis? SAM hatte Schwierigkeiten. Im „Zero-Shot“-Test erreichte es ein IoU (ein Score dafür, wie gut die Formen übereinstimmen) von nur 42,81 % beim IC-Datensatz. Selbst als sie es mit Boxen feinabstimmten, erreichte es nur 78,33 %. Das Papier kommt zu dem Schluss, dass SAM zwar fantastisch für allgemeine Fotos ist, aber nicht das richtige Werkzeug für diese spezifischen, winzigen industriellen Kratzer. Man braucht ein spezialisiertes Werkzeug wie ScratNet.

Wie sicher sind sie sich?
Die Autoren haben nicht nur geraten; sie haben umfangreiche Experimente mit zwei echten Datensätzen durchgeführt:

IC-Bilder: 749 Bilder von integrierten Schaltkreisen.
Wafer-Bilder: 8.200 Bilder von Silizium-Wafern.

Sie haben alles mit strenger Mathematik gemessen. Auf dem IC-Datensatz erreichte ihr bestes Modell (Swin-Base Backbone mit ScratNet) einen IoU von 87,32 % (mit Data Augmentation) und einen Dice-Score von 93,48 %. Ohne Augmentation lag der IoU bei 85,82 %. Auf dem Wafer-Datensatz erreichte es einen IoU von 81,17 % und einen Dice von 87,96 %.

Entscheidend ist, dass sie sich die Kanten angesehen haben. Sie maßen den Boundary IoU (wie gut die Kontur übereinstimmt) und die Hausdorff-Distanz (wie weit die Kanten entfernt sind). ScratNet reduzierte den Kantenfehler (Hausdorff-Distanz) auf so wenig wie 23,35 Pixel auf dem IC-Datensatz (speziell mit dem Swin-Base Backbone und Data Augmentation), was eine massive Verbesserung gegenüber anderen Methoden ist, die um 40+ Pixel daneilagen.

Das Urteil
Das Papier beweist, dass die Kombination eines leistungsstarken „Kundschafter“-Systems (Swin Transformer) mit einem „Detail-Restaurator“ (Stem Integration) und einem „Kanten-Schärfer“ (Precision Refinement) Kratzer findet, die andere Methoden übersehen.

Sie haben gemessen, dass ScratNet die Konkurrenz konsistent schlägt. Zum Beispiel erreichte ein Standardmodell namens UNet auf dem IC-Datensatz einen IoU von 79,48 %, während ScratNet 87,32 % erreichte (mit Augmentation). Das ist ein signifikanter Sprung in der Genauigkeit.

Die Autoren sind wegen dieser Zahlen zuversichtlich, weil sie ScratNet gegen viele andere berühmte Modelle (wie ResNet, HRNet und verschiedene Decoder-Typen) getestet haben und feststellten, dass ScratNet jedes Mal der Gewinner war. Sie legen nahe, dass dieser Ansatz eine „skalierbare und robuste Lösung“ für die Zukunft der Chipfertigung bietet, halten aber davon ab zu sagen, dass es ein perfektes, gelöstes Problem für jedes einzelne Szenario der Welt ist. Sie zeigen lediglich, dass ScratNet für die von ihnen getesteten Daten derzeit das beste Werkzeug im Kasten ist.

Technisches Resümee: ScratNet für die Kratzersegmentierung in der Halbleiterfertigung

1. Problemstellung

Oberflächenkratzer (Scratch Defects) in der Halbleiterfertigung stellen aufgrund ihrer unregelmäßigen Formen, ihres geringen Kontrasts und ihrer variierenden Skalen eine kritische Herausforderung für die Qualitätskontrolle dar. Traditionelle Inspektionsmethoden, einschließlich manueller visueller Inspektion und regelbasierter Bildverarbeitung, sind arbeitsintensiv, langsam und anfällig für Inkonsistenzen, insbesondere da sich die Bauteilgeometrien verkleinern und die Integrationsdichten zunehmen. Während Deep-Learning-Ansätze auf Basis von Convolutional Neural Networks (CNNs) die Erkennungsgenauigkeit verbessert haben, haben sie oft Schwierigkeiten, die feingliedrigen Kantenstrukturen zu erfassen, die für eine präzise pixelgenaue Segmentierung dünner und unregelmäßiger Defekte erforderlich sind. Darüber hinaus leiden industrielle Kratzerbilder häufig unter erheblichem Rauschen, variabler Beleuchtung und einer schweren Klassenimbalance, was eine zuverlässige Detektion erschwert.

2. Methodik

Die Autoren schlagen ScratNet vor, ein end-to-end trainierbares Framework zur Kratzersegmentierung, das darauf ausgelegt ist, die Einschränkungen bestehender Methoden zu adressieren. Die Architektur integriert ein modifiziertes Swin Transformer Backbone mit einem spezialisierten Decoder, der aus drei Modulen besteht:

A. Modifiziertes Swin Transformer Backbone

Um die Extraktion von Low-Level-Cues zu verbessern, die für die Detektion feiner Kratzer essenziell sind, wird die Standard-Patch-Partitionierungsschicht des Swin Transformers durch ein leichtgewichtiges Stem-Modul ersetzt. Dieses Stem besteht aus zwei aufeinanderfolgenden $3 \times 3$ Faltungsschichten mit Stride-2-Pooling. Dieses Design reduziert die Auflösung bei gleichzeitiger Erweiterung der Kanäle und bewahrt so Textur- und Kanteninformationen, die bei konventioneller Patch-Tokenisierung verloren gehen könnten. Das Backbone fährt anschließend durch vier Stufen hierarchischer, fensterbasierter Selbstaufmerksamkeit (Self-Attention), um multiskalige räumliche und kontextuelle Merkmale zu extrahieren.

B. MSP Decoder

Der Decoder, bezeichnet als MSP, fusioniert semantischen Kontext mit hochauflösenden räumlichen Informationen durch drei Komponenten:

Multi-Scale Dilated Aggregation (MDA): Dieses Modul aggregiert Feature-Maps aus allen vier Stufen des Swin-Backbones in einer Top-Down-Struktur. Es verwendet einen Dilated Block (DiBlock), bestehend aus zwei sequentiellen $3 \times 3$ Faltungen mit spezifischen Dilationsraten (z. B. $(8,1), (6,1), (4,1), (2,1)$ für die Stufen 1–4). Diese Struktur erfasst sowohl globale kontextuelle Informationen (via dilatierter Faltungen) als auch lokale räumliche Details (via nicht-dilatierter Faltungen), wodurch eine kontextreiche Repräsentation entsteht.
Stem Integration Module (SIM): Um die während des Downsamplings verlorenen räumlichen Details wiederherzustellen, integriert das SIM hochauflösende Merkmale aus dem Stem-Netzwerk mit den aggregierten Merkmalen aus der MDA. Es wendet $3 \times 3$ Faltungen an, um die Stem-Cues ( $S_1, S_2$ ) progressiv mit dem Decoder-Output zu fusionieren und so die strukturellen Details für die feingliedrige Segmentierung zu verstärken.
Precision Refinement (PR) Module: Dieses Modul zielt spezifisch auf die Kantenschärfe ab, welche für dünne und längliche Defekte entscheidend ist. Es wendet vier parallele anisotrope Faltungen ( $1 \times 3, 3 \times 1, 1 \times 5, 5 \times 1$ ) auf die aggregierte Feature-Map an. Diese Filter erfassen horizontale, vertikale und längliche Muster, die anschließend konkateniert und projiziert werden, um die finale pixelweise Segmentierungskarte zu generieren.

C. Verlustfunktion (Loss Function)

Um die Klassenimbalance zwischen Defekt- (Foreground) und Hintergrundpixeln zu adressieren, wird das Modell unter Verwendung einer kombinierten Verlustfunktion trainiert, die Binary Cross-Entropy (BCE) und Dice Loss vereint. Diese Formulierung maximiert die Überlappung zwischen Vorhersage und Ground Truth und gewährleistet gleichzeitig einen robusten Gradientenfluss für die Minderheitsklasse.

3. Kernbeiträge

Das Paper skizziert vier primäre Beiträge:

ScratNet Framework: Ein neuartiges, mehrstufiges, end-to-end trainierbares Framework, das ein modifiziertes Swin-Base Transformer mit Multi-Scale Dilated Aggregation und Precision Refinement integriert, speziell zugeschnitten auf die Detektion dünner und unregelmäßiger Kratzer.
Multi-Scale Dilated Aggregation (MDA): Ein Modul, das multiskalige Merkmale aus allen vier Swin-Stufen unter Verwendung sowohl dilatierter als auch nicht-dilatierter Faltungen integriert, um gleichzeitig globalen und lokalen Kontext zu erfassen.
Stem Integration und Precision Refinement: Die Einführung eines Stem Integration Module (SIM) zur Wiederherstellung von Low-Level-Räumlichkeitsdetails und eines Precision Refinement (PR) Zweigs mittels anisotroper Faltungen zur Schärfung von Grenzen, was die Segmentierung anspruchsvoller Kratzmuster signifikant verbessert.
State-of-the-Art Performance: Nachweis einer überlegenen Segmentierungsqualität und Robustheit auf Halbleiter-Kratzer-Datensätzen im Vergleich zu bestehenden Methoden.

4. Experimentelle Ergebnisse

Die Autoren evaluierten ScratNet auf zwei Datensätzen: einem IC-Bilddatensatz (749 Bilder, $180 \times 180$ Auflösung) und einem Wafer-Bilddatensatz (8.200 Bilder, $224 \times 224$ Auflösung).

Quantitative Leistung: ScratNet übertraf konsistent Baseline-Modelle (UNet, ResNet50, HRNet sowie Swin-Varianten kombiniert mit FCN, FPN und UPerNet Decodern).
- Auf dem IC-Datensatz mit einem Swin-Base Backbone und Data Augmentation erreichte ScratNet einen IoU von 87,32 % und einen Dice-Score von 93,48 %, womit es die nächstbeste Swin-Base-Konfiguration (UPerNet) deutlich übertraf.
- Auf dem Wafer-Datensatz erreichte ScratNet mit Swin-Base einen IoU von 81,17 % und einen Dice von 87,96 % (mit Augmentation) und übertraf damit alle anderen Decoder-Kombinationen.
Boundary-Metriken: Das Modell zeigte eine überlegene Grenzabstimmung (Boundary Alignment), was durch höhere Boundary IoU Scores und niedrigere Hausdorff-Distanzen im Vergleich zu CNN-basierten und Standard-Transformer-basierten Baselines belegt wurde.
Ablationsstudien: Experimente bestätigten den inkrementellen Wert jeder Komponente. Das MDA-Modul lieferte den größten initialen Gewinn, während das PR-Modul die Grenzpräzision signifikant verbesserte und das SIM-Modul die Leistung weiter steigerte, insbesondere bei Transformer-Backbones.
Effizienz: ScratNet behielt ein günstiges Gleichgewicht zwischen Genauigkeit und Rechenkosten (Latenz und FLOPs) bei und war in der Genauigkeit überlegen gegenüber UPerNet, während es in der Effizienz konkurrenzfähig blieb.
Vergleich mit SAM: Im Vergleich zum Segment Anything Model (SAM) in Zero-Shot- und Fine-Tuning-Settings übertraf ScratNet SAM signifikant, was die Notwendigkeit domänenspezifischer Architekturen für die Mikrodefekt-Segmentierung unterstreicht.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass ScratNet eine skalierbare und robuste Lösung für die automatisierte Kratzerinspektion in der Hochpräzisionsfertigung bietet. Durch die effektive Adressierung der Herausforderungen durch unregelmäßige Formen, geringen Kontrast und variierende Skalen mittels stufenadaptiver Feature-Aggregation und grenzbewusster Verfeinerung erreicht die vorgeschlagene Methode eine überlegene Genauigkeit bei dünnen und unregelmäßigen Defekten. Die Autoren positionieren ScratNet als signifikanten Fortschritt gegenüber traditionellen manuellen Methoden und bestehenden Deep-Learning-Ansätzen, der verbesserte Produkterträge ermöglicht und Inspektionskosten senkt. Die Arbeit schließt mit dem Hinweis, dass während General-Purpose-Modelle wie SAM vielversprechend für natürliche Bilder sind, spezialisierte Architekturen wie ScratNet für die hochspezifischen Anforderungen der Halbleiter-Defektsegmentierung essenziell bleiben. Zukünftige Arbeiten sollen fortgeschrittene Filtertechniken und leichtgewichtige Decoder-Architekturen für den Einsatz in der realen Welt untersuchen.