💻 computer science

ScratNet: A Swin-Based Multi-Scale Dilated Network with Precision Refinement for Semiconductor Scratch Segmentation

Il documento propone ScratNet, un nuovo framework end-to-end che combina un backbone Swin Transformer modificato con un decoder specializzato dotato di moduli di aggregazione multi-scala e di raffinamento della precisione per ottenere un'accuratezza superiore nella segmentazione di difetti da graffio irregolari e a basso contrasto nei semiconduttori.

Autori originali: Sachin Ranjan, Hoon Kim

Pubblicato 2026-07-14

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Sachin Ranjan, Hoon Kim

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di essere un detective che cerca di trovare i graffi più piccoli e ostinati su un chip di silicio lucido e high-tech. Questi non sono semplici graffi; sono come ragnatele invisibili o linee sottili come capelli che possono rovinare l'intero chip se mancate. Il problema? Lo sfondo è rumoroso, l'illuminazione è complicata e i graffi cambiano forma e dimensione costantemente.

Per molto tempo, i detective (o meglio, gli ingegneri) hanno cercato di trovare questi graffi usando vecchie regole e l'osservazione manuale. Ma il documento spiega che questo è come cercare un ago in un pagliaio indossando guanti spessi: è lento, stancante e spesso si manca l'ago o si scambia un pezzetto di polvere per uno.

Poi è arrivato il "Deep Learning", un tipo di cervello informatico che diventa bravissimo a individuare pattern. Ma anche questi computer intelligenti avevano un punto cieco: erano bravi a vedere grandi macchie di difetti, ma terribili nel vedere i bordi finissimi e seghettati di un graffio sottile. È come avere una telecamera che può vedere chiaramente un'intera montagna, ma sfuoca i piccoli sassolini alla sua base.

La Grande Idea: ScratNet
Gli autori di questo articolo hanno costruito un nuovo strumento chiamato ScratNet per risolvere il problema. Pensa a ScratNet come a una lente d'ingrandimento super-potenziata combinata con l'intuizione di un detective. È progettata specificamente per dare la caccia a quei graffi difficili e sottili sui wafer di semiconduttori.

Ecco come funziona ScratNet, suddivisa in tre trucchi geniali:

Il team "Visione d'Insieme" e "Piccoli Dettagli":
Il documento utilizza un "cervello" speciale chiamato Swin Transformer come base. Immagina questo come una squadra di scout. Alcuni scout si arrampicano in alto su un albero per vedere l'intera foresta (contesto globale), mentre altri restano a terra per osservare le singole foglie (dettagli locali). ScratNet mescola queste visioni affinché non perda un graffio solo perché è piccolo o perché si trova in un punto insolito.
La connessione "Stem":
A volte, quando si zooma per vedere il quadro generale, si perde la texture fine. ScratNet ha un modulo speciale chiamato Stem Integration Module (SIM). Immaginalo come un "percorso della memoria" che riporta i dettagli super nitidi e precoci nel mix. Assicura che quando il computer decide "Sì, quello è un graffio", si ricordi esattamente com'era l'aspetto del bordo, non solo una supposizione sfocata.
Lo strumento di "Affilatura dei Bordi":
Questo è l'arma segreta del documento. Gli autori hanno aggiunto un ramo di Precision Refinement (PR). Immagina di avere lo schizzo di un graffio, ma con le linee un po' sfuocate. Questo modulo utilizza filtri "anisotropici" speciali (che significa che si allungano in direzioni specifiche, come un righello) per rendere i bordi nitidi. È come prendere una foto sfocata e usare un filtro per rendere le linee precise e chiare, mirando specificamente a quelle linee sottili e irregolari che altri metodi perdono.

Ciò che hanno escluso
Il documento è molto chiaro su ciò che non funziona abbastanza bene da solo.

Vecchie Regole: Affermano esplicitamente che i metodi tradizionali (come il controllo manuale o la semplice elaborazione delle immagini) sono troppo lenti e incoerenti.
IA Standard: Sostengono che i modelli di deep learning standard (come le normali CNN) spesso falliscono nel catturare quei dettagli dei bordi estremamente fini.
La "Soluzione Magica" dell'IA Generale: Gli autori hanno testato un famoso modello di IA general-purpose chiamato SAM (Segment Anything Model). L'hanno provato in due modi: lasciandolo indovinare senza addestramento (zero-shot) e istruendolo con i bounding box. I risultati? SAM ha faticato. Nel test "zero-shot", ha ottenuto un IoU (un punteggio di quanto bene le forme corrispondano) di solo il 42,81% sul dataset IC. Anche quando lo hanno perfezionato con i box, ha raggiunto solo il 78,33%. Il documento conclude che, sebbene SAM sia incredibile per le foto generiche, non è lo strumento giusto per questi specifici e minuscoli graffi industriali. Serve uno strumento specializzato come ScratNet.

Quanto sono sicuri?
Gli autori non hanno solo tirato a indovinare; hanno eseguito esperimenti estesi su due dataset reali:

Immagini IC: 749 immagini di circuiti integrati.
Immagini di Wafer: 8.200 immagini di wafer di silicio.

Hanno misurato tutto usando una matematica rigorosa. Sul dataset IC, il loro miglior modello (backbone Swin-Base con ScratNet) ha raggiunto un IoU dell'87,32% (con data augmentation) e un punteggio Dice del 93,48%. Senza l'augmentation, l'IoU era dell'85,82%. Sul dataset Wafer, ha raggiunto un IoU dell'81,17% e un Dice dell'87,96%.

Fondamentalmente, hanno guardato i bordi. Hanno misurato la Boundary IoU (quanto bene corrisponde il contorno) e la Distanza di Hausdorff (quanto sono distanti i bordi). ScratNet ha ridotto l'errore del bordo (Distanza di Hausdorff) fino a soli 23,35 pixel sul dataset IC (specificamente con il backbone Swin-Base e data augmentation), il che rappresenta un enorme miglioramento rispetto ad altri metodi che erano fuori di oltre 40 pixel.

Il Verdetto
Il documento dimostra che combinando un potente sistema di "scout" (Swin Transformer) con un "restauratore di dettagli" (Stem Integration) e un "affilatore di bordi" (Precision Refinement), si possono trovare graffi che altri metodi perdono.

Hanno misurato che ScratNet batte costantemente la concorrenza. Ad esempio, sul dataset IC, un modello standard chiamato UNet ha ottenuto un IoU del 79,48%, mentre ScratNet ha ottenuto l'87,32% (con l'augmentation). Si tratta di un salto significativo nell'accuratezza.

Gli autori sono fiduciosi in questi numeri perché hanno testato ScratNet contro molti altri modelli famosi (come ResNet, HRNet e vari tipi di decoder) e hanno scoperto che ScratNet è la vincitrice ogni volta. Suggeriscono che questo approccio offra una soluzione "scalabile e robusta" per il futuro della produzione di chip, ma si fermano prima di dire che sia un problema perfetto e risolto per ogni singolo scenario del mondo. Dimostrano semplicemente che, per i dati che hanno testato, ScratNet è attualmente lo strumento migliore a disposizione.

Riepilogo Tecnico: ScratNet per la Segmentazione di Graffi nei Semiconduttori

1. Definizione del Problema

I difetti superficiali di tipo graffio nella produzione di semiconduttori rappresentano una sfida critica per il controllo qualità a causa delle loro forme irregolari, del basso contrasto e delle scale variabili. I metodi di ispezione tradizionali, inclusa l'ispezione visiva manuale e l'elaborazione delle immagini basata su regole, sono laboriosi, lenti e soggetti a incoerenze, in particolare con la riduzione delle geometrie dei dispositivi e l'aumento delle densità di integrazione. Sebbene gli approcci di deep learning basati sulle Reti Neurali Convoluzionali (CNN) abbiano migliorato l'accuratezza della rilevazione, essi spesso faticano a catturare i dettagli dei bordi fini necessari per una segmentazione a livello di pixel precisa di difetti sottili e irregolari. Inoltre, le immagini industriali dei graffi soffrono frequentemente di un rumore significativo, illuminazione variabile e un grave squilibrio delle classi, complicando l'affidabilità della rilevazione.

2. Metodologia

Gli autori propongono ScratNet, un framework di segmentazione dei graffi end-to-end addestrabile progettato per affrontare i limiti dei metodi esistenti. L'architettura integra un backbone Swin Transformer modificato con un decoder personalizzato composto da tre moduli specializzati:

A. Backbone Swin Transformer Modificato

Per migliorare l'estrazione di indizi di basso livello essenziali per il rilevamento di graffi fini, lo standard strato di partizionamento dei patch del Swin Transformer è sostituito con un modulo Stem leggero. Questo stem consiste in due successivi strati convoluzionali $3 \times 3$ con pooling a stride-2. Questo design riduce la risoluzione espandendo al contempo i canali, preservando le informazioni su texture e bordi che potrebbero altrimenti andare perdute nella convenzionale tokenizzazione dei patch. Il backbone procede quindi attraverso quattro stadi di auto-attenzione basata su finestre gerarchiche per estrarre caratteristiche spaziali e contestuali multi-scala.

B. Decoder MSP

Il decoder, denominato MSP, fonde il contesto semantico con l'informazione spaziale ad alta risoluzione attraverso tre componenti:

Aggregazione Dilatata Multi-Scala (MDA): Questo modulo aggrega le mappe delle caratteristiche da tutti i quattro stadi dello Swin backbone in modo top-down. Utilizza un Blocco Dilatato (DiBlock) composto da due convoluzioni sequenziali $3 \times 3$ con tassi di dilatazione specifici (ad es., $(8,1), (6,1), (4,1), (2,1)$ per gli stadi 1–4). Questa struttura cattura sia l'informazione contestuale globale (tramite convoluzioni dilatate) che i dettagli spaziali locali (tramite convoluzioni non dilatate), creando una rappresentazione ricca di contesto.
Modulo di Integrazione Stem (SIM): Per ripristinare i dettagli spaziali persi durante il downsampling, il SIM integra le caratteristiche ad alta risoluzione dello stem con le caratteristiche aggregate dall'MDA. Applica convoluzioni $3 \times 3$ per fondere progressivamente i segnali dello stem ( $S_1, S_2$ ) con l'output del decoder, rinforzando i dettagli strutturali per una segmentazione fine.
Raffinamento della Precisione (PR) Module: Questo modulo mira specificamente alla nitidezza dei bordi, cruciale per i difetti sottili ed allungati. Applica quattro convoluzioni anisotrope parallele ( $1 \times 3, 3 \times 1, 1 \times 5, 5 \times 1$ ) alla mappa delle caratteristiche aggregate. Questi filtri catturano pattern orizzontali, verticali e allungati, che vengono poi concatenati e proiettati per generare la mappa di segmentazione finale per pixel.

C. Funzione di Perdita

Per affrontare lo squilibrio di classe tra i pixel del difetto (foreground) e dello sfondo, il modello viene addestrato utilizzando una funzione di perdita composita che combina la Cross-Entropia Binaria (BCE) e la perdita Dice. Questa formulazione massimizza la sovrapposizione tra le predizioni e la verità fondamentale (ground truth) garantendo al contempo un flusso di gradiente robusto per la classe minoritaria.

3. Contributi Chiave

Il documento delinea quattro contributi primari:

Framework ScratNet: Un nuovo framework multi-livello, end-to-end addestrabile, che integra un Swin-Base Transformer modificato con aggregazione dilatata multi-scala e raffinamento della precisione, specificamente progettato per la rilevazione di graffi sottili e irregolari.
Aggregazione Dilatata Multi-Scala (MDA): Un modulo che integra le caratteristiche multi-scala di tutti i quattro stadi di Swin utilizzando sia convoluzioni dilatate che non dilatate per catturare simultaneamente il contesto globale e locale.
Integrazione Stem e Raffinamento della Precisione: L'introduzione di un modulo di Integrazione Stem (SIM) per ripristinare i dettagli spaziali di basso livello e di un ramo di Raffinamento della Precisione (PR) utilizzando convoluzioni anisotrope per affilare i bordi, migliorando significativamente la segmentazione su pattern di graffi impegnativi.
Prestazioni allo Stato dell'Arte: Dimostrazione di una qualità di segmentazione e robustezza superiori sui dataset di graffi nei semiconduttori rispetto ai metodi esistenti.

4. Risultati Sperimentali

Gli autori hanno valutato ScratNet su due dataset: un dataset di immagini IC (749 immagini, risoluzione $180 \times 180$ ) e un dataset di immagini di Wafer (8.200 immagini, risoluzione $224 \times 224$ ).

Prestazioni Quantitative: ScratNet ha superato costantemente i modelli baseline (UNet, ResNet50, HRNet, e varianti Swin combinate con decoder FCN, FPN e UPerNet).
- Sul dataset IC con un backbone Swin-Base e data augmentation, ScratNet ha raggiunto un IoU dell'87,32% e un punteggio Dice del 93,48%, superando significativamente la seconda migliore configurazione Swin-Base (UPerNet).
- Sul dataset Wafer, ScatNet con Swin-Base ha raggiunto un IoU dell'81,17% e un Dice dell'87,96% (con augmentation), superando tutte le altre combinazioni di decoder.
Metriche di Bordo: Il modello ha dimostrato un allineamento dei bordi superiore, evidenziato da punteggi di Boundary IoU più elevati e valori di Distanza di Hausdorff inferiori rispetto alle baseline basate su CNN e sui Transformer standard.
Studi di Ablazione: Gli esperimenti hanno confermato il valore incrementale di ogni componente. Il modulo MDA ha fornito il maggior guadagno iniziale, mentre il modulo PR ha migliorato significativamente la precisione dei bordi, e il modulo SIM ha ulteriormente potenziato le prestazioni, in particolare con i backbone transformer.
Efficienza: ScratNet ha mantenuto un equilibrio favorevole tra accuratezza e costo computazionale (latenza e FLOPs), superando UPerNet in accuratezza pur rimanendo competitivo in efficienza.
Confronto con SAM: Quando confrontato con il Segment Anything Model (SAM) in configurazioni zero-shot e fine-tuned, ScratNet ha superato significativamente SAM, evidenziando la necessità di architetture specifiche per il dominio della segmentazione di micro-difetti.

5. Significato e Rivendicazioni

Il documento afferma che ScratNet fornisce una soluzione scalabile e robusta per l'ispezione automatizzata dei graffi in una produzione ad alta precisione. Affrontando efficacemente le sfide poste da forme irregolari, basso contrasto e scale variabili attraverso l'aggregazione delle caratteristiche adattiva per stadio e il raffinamento consapevole dei bordi, il metodo proposto raggiunge un'accuratezza superiore su difetti sottili e irregolari. Gli autori posizionano ScratNet come un avanzamento significativo rispetto ai metodi manuali tradizionali e agli approoli di deep learning esistenti, offrendo una migliore resa dei prodotti e una riduzione dei costi di ispezione. Il lavoro conclude che, sebbene i modelli general-purpose come SAM mostrino potenziale nelle immagini naturali, architetture specializzate come ScratNet rimangono essenziali per le richieste altamente specifiche della segmentazione dei difetti nei semiconduttori. Il lavoro futuro suggerisce di esplorare tecniche di filtraggio avanzate e architetture di decoder leggere per l'implementazione nel mondo reale.