PatchFlow: Leveraging a Flow-Based Model with Patch Features

Sintesi Tecnica: PatchFlow

Problematica
La pressofusione è un processo di produzione critico per la produzione di parti metalliche complesse e di alta precisione, tuttavia è afflitta da difetti superficiali come bolle, scrostature e cavità. Questi difetti, spesso causati da contaminanti, umidità o fluttuazioni di temperatura, compromettono la qualità e le prestazioni del prodotto. I metodi di ispezione tradizionali che si affidano a controlli visivi manuali sono laboriosi, richiedono molto tempo ed sono soggetti all'errore umano. Sebbene il rilevamento delle anomalie basato sulla computer vision offra una soluzione, i metodi esistenti affrontano sfide specifiche quando applicati ad ambienti industriali:

1. Discrepanza di Distribuzione: Gli estrattori di caratteristiche pre-addestrati (ad esempio, su ImageNet) spesso non riescono ad allinearsi con la distribuzione specifica delle immagini dei prodotti industriali.
2. Complessità Computazionale: I modelli basati sul flusso (flow-based), che offrono una precisa stima della densità di probabilità, richiedono tipicamente strutture complesse con carichi computazionali elevati (FLOPs) per mappare le distribuzioni delle caratteristiche negli spazi latenti.
3. Granularità: Alcuni modelli basati sul flusso esistenti si concentrano su predizioni a livello di immagine, mancando della precisione necessaria per la localizzazione dei difetti a livello di pixel.

Metodologia: PatchFlow
Gli autori propongono PatchFlow, un framework di rilevamento delle anomalie a livello di patch che integra caratteristiche locali sensibili al vicinato con la modellazione del flusso di normalizzazione (normalizing flow). L'architettura è composta da quattro componenti primari:

1. Estrattore di Caratteristiche: Un backbone pre-addestrato (EfficientNet B5) estrae rappresentazioni multi-livello dalle immagini di input. Il modello utilizza caratteristiche da più livelli gerarchici (specificamente i blocchi 12, 19 e 35) per catturare sia informazioni astratte globali che dettagli locali.
2. Aggregazione delle Caratteristiche: Un modulo costruisce caratteristiche di patch sensibili al vicinato locale attraverso molteplici gerarchie e scale. Combina descrittori da diversi livelli interpolando le caratteristiche più profonde per farle corrispondere a quelle più superficiali e concatenandole. Il sistema elabora tre scale distinte per generare caratteristiche gerarchiche di patch multi-scala.
3. Adattamento delle Caratteristiche (Adapter): Per affrontare il divario di distribuzione tra le caratteristiche pre-addestrate generiche e i dati industriali, viene introdotto un modulo di adattamento leggero. Questo modulo impiega un singolo strato completamente connesso per trasformare le caratteristiche di patch aggregate, allineandole con la distribuzione dei dati industriali senza introdurre parametri addestrabili significativi.
4. Flusso di Normalizzazione: Le caratteristiche di patch adattate vengono mappate biiettivamente in una distribuzione normale standard ($Z \sim N(0, I)$) utilizzando una struttura di strato di accoppiamento (coupling layer) basata su RealNVP. A differenza dei lavori precedenti che mappano le caratteristiche a livello di immagine, PatchFlow mappa direttamente le caratteristiche a livello di patch. Ciò consente una precisa localizzazione dei difetti basata sulla deviazione di specifiche patch dalla distribuzione normale.
   • Efficienza: I blocchi di accoppiamento utilizzano una struttura bottleneck (una CNN a tre strati con kernel 1x1) per ridurre la complessità computazionale (FLOPs pur mantenendo la capacità espressiva.
     Addestramento e Inferenza

• Addestramento: Il modello è addestrato esclusivamente su campioni normali (privi di difetti). L'obiettivo è minimizzare la divergenza di Kullback-Leibler (KL) tra la distribuzione stimata delle caratteristiche e la distribuzione reale delle caratteristiche, apprendendo efficacemente la distribuzione sottostante dei dati normali.
• Inferenza: Durante il test, il modello calcola la verosimiglianza di nuove istanze. Un punteggio di anomalia viene derivato dal valore massimo nella mappa di anomalia generata, che viene creata tramite upsampling delle caratteristiche latenti normalizzate tramite interpolazione bilineare.

Contributi Chiave

1. Framework PatchFlow: Un nuovo framework che combina caratteristiche di patch sensibili al vicinato locale con la modellazione della verosimiglianza basata sul flusso per il rilevamento delle anomalie.
2. Modulo di Adattamento delle Caratteristiche: Un meccanismo leggero che colma il divario di distribuzione tra gli estrattori di caratteristiche pre-addestrati generici e le immagini industriali, migliorando la stabilità del flusso e l'accuratezza del rilevamento.
3. Accoppiamento Bottlenecked Efficiente: Un design che riduce la complessità computazionale nei flussi di normalizzazione pur preservando le capacità di mappatura, consentendo reti più profonde con meno FLOPs.
4. Mappatura a Livello di Patch: Una strategia che mappa le singole caratteristiche di patch piuttosto che l'intera immagine, facilitando una localizzazione dei difetti fine granulare a livello di pixel.

Risultati Sperimentali
Gli autori hanno valutato PatchFlow su tre dataset: MVTec AD, VisA e un dataset proprietario di pressofusione.

• Dataset MVTec AD: PatchFlow ha raggiunto un AUROC a livello di immagine del 99,28%, superando lo stato dell'arte PatchCore (99,1%) e riducendo il tasso di errore del 20%.
• Dataset VisA: Il modello ha raggiunto un AUROC a livello di immagine del 96,48%, rappresentando una riduzione dell'errore del 28,2% rispetto a PatchCore.
• Dataset Proprietario di Pressofusione: Testato su immagini di corpi valvola con difetti sintetizzati, il modello ha raggiunto un'accuratezza del 95,77% (F1 Score) senza richiedere alcun campione anomalo per l'addestramento. La matrice di confusione ha mostrato 34/34 campioni normali e 33/36 campioni anomali identificati correttamente.
• Efficienza: Il modello opera a circa 2,7 fotogrammi al secondo (FPS) su una singola GPU Nvidia GeForce RTX 2080Ti, con un totale di $1,25 \times 10^{10}$ FLOPs.
• Studi di Ablazione: Gli esperimenti hanno indicato che l'uso di una piramide di immagini a 3 scale ha prodotto le migliori prestazioni, e aumentare il numero di passi di flusso oltre uno ha effettivamente diminuito le prestazioni, suggerendo che un singolo passo di flusso è ottimale per questa configurazione.

Significato e Rivendicazioni
Il documento afferma che PatchFlow illustra il potenziale di sfruttare la computer vision e il deep learning per avanzare le capacità di ispezione nell'industria della pressofusione. Combinando le caratteristiche locali sensibili al vicore con un modello di flusso efficiente e un modulo di adattamento, il metodo affronta i vincoli specifici del rilevamento delle anomalie industriale: la discrepanza di distribuzione e il costo computazionale. I risultati dimostrano una via percorribile per migliorare il controllo qualità e ridurre gli sprechi nell'ambiente di produzione industriale, stabilendo un nuovo benchmark per il rilevamento delle anomalie a livello di immagine su benchmark standard come MVTec AD e VisA. Gli autori sottolineano che il loro approccio raggiunge prestazioni allo stato dell'arte senza la necessità di dati di addestramento anomali, rendendolo altamente applicabile a scenari reali in cui i dati sui difetti sono scarsi o non disponibili.