Riepilogo Tecnico: Avanzamento della Rilevazione dei Difetti Superficiali Metallici tramite Pre-addestramento Guidato dalle Anomalie

1. Enunciato del Problema

La rilevazione dei difetti superficiali metallici è fondamentale per il controllo qualità industriale, ma affronta sfide severe dovute alla scarsità di dati e all'alta variabilità. In scenari reali, come la produzione di tubi in acciaio, i difetti costituiscono spesso meno dello 0,1% delle immagini giornaliere, portando a uno squilibrio di classe estremo e a una raccolta dati costosa.

Le soluzioni esistenti affrontano un "dilemma critico":

• Pre-addestramento su Immagini Naturali: I modelli pre-addestrati su dataset naturali su larga scala (ad es. ImageNet, COCO) soffrono di un significativo divario di dominio quando applicati a immagini industriali.
• Apprendimento Auto-supervisionato (SSL) Ingenuo: I metodi SSL standard (apprendimento contrastivo o ricostruzione) applicati a dati industriali nello stesso dominio spesso falliscono. Gli obiettivi di apprendimento esistenti faticano a distinguere pattern di difetti sottili e a basso contrasto dal rumore di fondo complesso, dalle texture e dall'illuminazione variabile. Di conseguenza, l'ingrandimento semplice dei dataset nello stesso dominio senza una guida specifica produce risultati subottimali, a volte inferiori alle linee di base di ImageNet.
• Inizializzazione del Rilevatore: La maggior parte degli approcci SSL pre-addestra solo lo scheletro (backbone) del modello, lasciando la testa del rilevatore (neck e head) inizializzata casualmente. Questo disallineamento degrada le prestazioni, specialmente negli scenari con scarsità di dati.

2. Metodologia: Pre-addestramento Auto-supervisionato Guidato dalle Anomalie (AGSSP)

Gli autori propongono AGSSP, un nuovo paradigma di pre-addestramento in due fasi che guida esplicitamente l'apprendimento delle rappresentazioni utilizzando prior sulle anomalie. Il framework opera su un dataset industriale non etichettato su larga scala (120.000 immagini, 61 categorie) e consta di tre componenti principali:

A. Rilevazione delle Anomalie Potenziata dalla Conoscenza (KeAD)

Per generare i segnali di supervisione necessari (mappe di anomalie) senza etichette manuali, gli autori hanno sviluppato KeAD, un metodo non supervisionato basato sul modello WinCLIP multimodale e a pochi esempi (few-shot).

• Ingegneria dei Prompt: A differenza di prompt generici (ad es. "Danneggiato"), KeAD utilizza descrizioni testuali dettagliate e specifiche per il difetto, generate tramite GPT-4o e raffinate dalla conoscenza esperta (ad es. "Una foto di {oggetto} con difetto di tipo {tipo difetto}, appare come {caratteristiche difetto}").
• Miglioramento Visivo: Per migliorare la localizzazione spaziale, il metodo integra la Chirurgia Clip (attenzione V-V), che sostituisce i componenti Query e Key con i componenti Value nel meccanismo di attenzione. Questo cattura le informazioni spaziali locali in modo più efficiente rispetto all'approccio a finestra scorrevole di WinCLIP.
• Output: KeAD genera mappe termiche di anomalie a livello di pixel (modalità zero-shot e few-shot) che indicano le potenziali regioni di difetto.

B. Fase 1: Pre-addestramento dello Scheletro Guidato dalla Mappa di Anomalie (AGBP)

Questa fase distilla la conoscenza dalle mappe di anomalie generate nello scheletro del modello.

• Funzione di Perdita per Distillazione: Le mappe di caratteristiche di alto livello dello scheletro vengono allineate con le mappe di anomalie utilizzando una perdita L2 (per architetture ViT) o una perdita di distanza coseno (per architetture eterogenee come ResNet).
• Strategia: Le caratteristiche di basso livello vengono mantenute dai modelli pre-addestrati standard su ImageNet (poiché catturano pattern universali), mentre le caratteristiche di alto livello sono guidate dalle mappe di anomalie per focalizzarsi sulle regioni salienti dei difetti.
• Integrazione: Questa perdita di distillazione ($L_{distill}$) viene combinata con i compiti di pre-addestramento esistenti (ad es. classificazione, MoCov3, SimMIM) tramite una somma pesata ($L_{total} = L_{distill} + \lambda L_{task}$).

C. Fase 2: Pre-addestramento del Rilevatore Guidato dalla Scatola di Anomalie (AGDP)

Questa fase affronta il disallineamento della testa del rilevatore pre-addestrandola utilizzando pseudo-etichette derivate dalle mappe di anomalie.

• Generazione della Pseudo-Scatola: Vengono identificate le immagini con punteggi di anomalie elevati. Una strategia di soglia dinamica (adattata per categoria di oggetto) converte le mappe di anomalie in maschere binarie. Vengono estratti i componenti connessi e le prime 10 scatole delimitanti con i punteggi di anomalie più alti sono mantenute come etichette di difetto pseudo.
• Addestramento: Il rilevatore (neck e head) viene addestrato su queste pseudo-scatole mentre lo scheletro rimane congelato. Ciò permette al modello di apprendere il concetto di "oggetti anomali" e allinea i componenti di rilevazione con il compito a valle.

3. Contributi Chiave

1. Framework AGSSP: Un paradigma di pre-addestramento in due fasi che utilizza le mappe di anomalie per allineare olisticamente sia la rappresentazione dello scheletro che l'allineamento del compito del rilevatore, migliorando significativamente le prestazioni negli scenari con scarsità di dati.
2. Metodo KeAD: Una tecnica di rilevazione delle anomalie potenziata dalla conoscenza che sfrutta descrizioni dettagliate dei difetti e l'attenzione V-V per generare mappe di anomalie di alta qualità per il pre-addestramento guidato, ottenendo prestazioni few-shot solide.
3. Dataset su Larga Scala: La raccolta e il rilascio di un dataset industriale non etichettato su larga scala contenente 120.000 immagini in 61 categorie, insieme a due dataset di piccole dimensioni con etichette a livello di pixel per difetti superficiali metallici (Casting Billet e Steel Pipe) per la validazione.
4. Validazione Completa: Esperimenti estesi che dimostrano come AGSSP superi le linee di base di ImageNet e COCO su più scheletri (CSPDarknet, ResNet, Swin-Base) e rilevatori (YOLOv8, Faster R-CNN, DINO).

4. Risultati Sperimentali

Gli autori hanno valutato AGSSP su quattro dataset di difetti superficiali metallici (Casting Billet, Steel Pipe, GC10-Mini, GC10-DET) e su un dataset non metallico (Fabric Defects).

• Miglioramenti delle Prestazioni: AGSSP ha migliorato costantemente le metriche di rilevazione. Rispetto ai modelli basati su ImageNet, ha ottenuto un miglioramento fino al 10% in mAP@0.5 e dell'11,4% in mAP@0.5:0.95.
• Apprendimento Few-Shot: Nello scenario estremo few-shot (Casting Billet-Mini50, 50 campioni di addestramento), AGSSP ha prodotto un guadagno massiccio del +41,0% in mAP@0.5 e del +24,5% in mAP@0.5:0.95 rispetto alla linea di base SimMIM.
• Generalizzazione Cross-Dominio: Sul dataset non metallico Fabric Defects, AGSSP ha migliorato le prestazioni del +3,2% (mAP@0.5) e del +5,2% (mAP@0.5:0.95), dimostrando una generalizzabilità robusta.
• Studi di Ablazione:
  • KeAD: Le descrizioni dettagliate dei difetti e l'attenzione V-V hanno migliorato significativamente l'accuratezza della rilevazione delle anomalie (ad es. 93,5% di AUROC a livello di immagine su Steel Pipe).
  • Strategia di Pre-addestramento: Il pre-addestramento sia dello scheletro che del rilevatore (AGSSP) ha superato costantemente il pre-addestramento dello scheletro da solo (AGBP) o i metodi SSL standard.
  • Efficienza: Il metodo mantiene capacità di inferenza in tempo reale (ad es. YOLOv8s con AGSSP raggiunge 94,5 FPS) mentre corrisponde o supera l'accuratezza di modelli più grandi come YOLOv12s.

5. Significato e Affermazioni

Il documento afferma che AGSSP risolve il divario di dominio e il disallineamento degli obiettivi intrinseci nelle attuali strategie di pre-addestramento per la rilevazione dei difetti industriali. Guidando esplicitamente il modello a focalizzarsi sulle regioni anomale attraverso un approccio unificato e guidato dalle anomalie, il metodo consente l'apprendimento di rappresentazioni robuste e rilevanti per il dominio senza la necessità di costose annotazioni di scatole delimitanti durante la fase di pre-addestramento.

Gli autori sottolineano che, mentre l'SSL standard nello stesso dominio spesso fallisce a causa dell'incapacità di distinguere difetti sottili dal rumore, il loro approccio guidato dalle anomalie indirizza con successo l'attenzione del modello verso le caratteristiche salienti dei difetti. Il framework è presentato come agnostico rispetto all'architettura e capace di essere integrato con architetture specializzate esistenti, offrendo una soluzione scalabile per il controllo qualità industriale dove i dati sono scarsi e squilibrati.

Disponibilità: Tutto il codice, i modelli pre-addestrati e i dataset sono pubblicamente disponibili nella pagina del progetto fornita nel documento.