Sintesi Tecnica: GenAU – Comprensione delle Anomalie Industriali Fondata sul Linguaggio

1. Definizione del Problema

I sistemi di ispezione industriale richiedono più di una semplice rilevazione binaria delle anomalie; le applicazioni pratiche esigono una comprensione completa che risponda a quattro domande chiave per ogni immagine: (1) C'è un'anomalia? (2) Dove si trova? (3) Di che tipo di anomalia si tratta? (4) Perché è considerata anomala?

Gli approcci esistenti non riescono a unificare queste capacità:

• I metodi zero-shot basati su CLIP (ad es., AnomalyCLIP, MultiADS) eccellono nella rilevazione a livello di immagine e nella localizzazione a livello di pixel, ma offrono una comprensione semantica limitata e non possono spiegare i difetti in linguaggio naturale.
• I modelli Vision-Language (VLM) istruiti tramite instruction-tuning (ad es., LLaVA, AnomalyGPT) possiedono un forte ragionamento multimodale e possono descrivere i difetti, ma tipicamente mancano di capacità di segmentazione nativa a livello di pixel, affidandosi spesso a rilevatori esterni per la localizzazione.

Il divario risiede nell'assenza di un'architettura singola che esegua simultaneamente la rilevazione a livello di immagine, la segmentazione a livello di pixel, il riconoscimento di tipi multipli e il ragionamento sul difetto senza richiedere il riaddestramento specifico per il compito o moduli esterni.

2. Metodologia: Framework GenAU

GenAU è un framework vision-language generalista progettato per unificare questi compiti all'interno di un singolo modello che segue le istruzioni. Estende un VLM autoregressivo (nello specifico LLaVA-OneVision) con un meccanismo di segmentazione fondato sul linguaggio.

Architettura Core

• Percorsi Duali: Il modello accoppia un percorso di generazione testuale con un percorso di grounding visivo.
• Token di Segmentazione: GenAU introduce due token speciali dedicati: [SEG defect] e [SEG normal]. Questi token fungono da ancoraggi fondati sul linguaggio.
• Visual Grounding:
  • L'encoder visivo congelato (SigLIP) estrae caratteristiche di patch multi-scala.
  • Gli stati nascosti dei token generati [SEG defect] e [SEG normal] dal layer finale del decoder fungono da query.
  • Queste query sono allineate con le caratteristiche visive multi-scala tramite layer di proiezione lineare per calcolare i logit di similitudine del coseno.
  • Le mappe di similitudine risultanti vengono sovracampionate (upsampled) e aggregate per produrre mappe di anomalia a livello di pixel.
• Lettura ad Alta Risoluzione (AnyRes): Per gestire i dettagli spaziali fini, il framework elabora tile di immagini ad alta risoluzione oltre a una vista globale, fondendo le mappe risultanti per l'output di segmentazione finale.

Addestramento e Inferenza

• Obiettivo Congiunto: Il modello è addestrato con una funzione di perdita combinata:
  • Perdita di Generazione Testuale ($L_{txt}$): Cross-entropy loss standard per la generazione di descrizioni dei difetti e dei token di segmentazione richiesti.
  • Perdita di Segmentazione ($L_{seg}$): Una combinazione di perdite Focal, Tversky e Dice applicate alle mappe di similitudine generate rispetto alle maschere di ground-truth.
  • Bilanciamento: Un iperparametro $\lambda_{seg}$ bilancia il linguaggio modellante e la supervisione a livello di pixel.
• Efficienza dei Parametri: L'addestramento utilizza LoRA (Low-Rank Adaptation) sul decoder, sugli embedding dei token, sull'LM head e sui layer di proiezione, mantenendo congelati l'encoder visivo e il proiettore cross-modale.
• Inferenza: Il modello opera in un setting zero-shot, a singola immagine. Genera una risposta strutturata contenente il tipo di difetto e i due token di segmentazione.
  • Punteggio a Livello di Immagine: Calcolato fondendo il valore massimo della mappa di segmentazione con il log-odds del decoder per una decisione normale/difetto.
  • Rilevazione Multi-Tipo: Un parser deterministico mappa la risposta testuale su un vettore multi-label rispetto al vocabolario dei difetti target.
  • Ragionamento: Il modello risponde a domande aperte riguardanti la percezione dei difetti e il ragionamento causale.

3. Contributi Chiave

1. Framework Unificato: Introduzione di GenAU, la prima architettura che segue le istruzioni per eseguire congiuntamente la rilevazione a livello di immagine, la segmentazione a livello di pixel, il riconoscimento di anomalie multi-tipo e l'analisi testuale del difetto.
2. Segmentazione Fondata sul Linguaggio: Un meccanico innovativo in cui gli stati nascosti dei token di segmentazione dedicati fungono da ancoraggi per allineare le rappresentazioni linguistiche con le caratteristiche visive multi-scala, consentendo la localizzazione a livello di pixel senza decoder di maschera esterni.
3. Valutazione Cross-Dataset: Valutazione completa sotto shift di distribuzione (addestrato su MVTec-AD, testato su VisA, MPDD e Real-IAD), dimostrando che un singolo VLM autoregressivo può gestire l'intero stack di ispezione industriale.
4. Caratterizzazione del Trade-off: Analisi esplicita del trade-off tra segmentazione e ragionamento, mostrando che l'aggiunta di capacità di ragionamento comporta un costo quantificabile e gestibile sulle prestazioni di rilevazione e segmentazione.

4. Risultati Sperimentali

Il paper valuta GenAU su standard benchmark industriali sotto shift di distribuzione cross-dataset.

• Rilevazione Binaria e Segmentazione:
  • Su VisA, GenAU-7B raggiunge l'AUROC più alto a livello di immagine (87.6%) tra i metodi zero-shot basati su CLIP, con un AUROC competitivo a livello di pixel (94.7%).
  • Su MPDD e Real-IAD, GenAU dimostra prestazioni solide, sebbene si noti che l'AUPRO a livello di pixel rimane una metrica impegnativa per tutti i metodi.
  • GenAU non supera i baselines specializzati su CLIP (ad es., AnomalyCLIP, MultiADS) nella pura metrica di segmentazione a livello di pixel, ma offre la capacità aggiunta di ragionamento linguistico.
• Rilevazione Multi-Tipo:
  • GenAU-7B supera l'unico baseline capace di gestire tipi multipli (MultiADS) e lo specialista del ragionamento (Anomaly-OV) sia su VisA che su MPDD in termini di F1 score.
  • Il miglioramento è guidato principalmente da una maggiore precisione, attribuita alla decodifica vincolata dalla lista dei candidati.
• Ragionamento sul Difetto:
  • Sul benchmark VisA-D&R, GenAU supera significativamente il suo backbone base LLaVA-OneVision e lo specialista del ragionamento dedicato Anomaly-OV sia nelle punteggi di percezione di basso livello che in quelli di ragionamento causale complesso (valutati da GPT-4o).
  • Notevolmente, GenAU-0.5B supera Anomaly-OV-7B nella percezione di basso livello, indicando l'efficacia del mix di istruzioni di ragionamento anche a scale ridotte.

5. Significato e Rivendicazioni

Il paper sostiene che GenAU rappresenti un passaggio dai modelli specifici per compito a un approccio "generalista" unificato per l'ispezione industriale. Il suo significato primario risiede nel dimostrare che un singolo VLM che segue le istruzioni può coprire l'intero stack di ispezione — rispondendo a "c'è", "dove", "cosa" e "perché" — all'interno di un'unica architettura e ricetta di addestramento.

Gli autori riconoscono i limiti:

• Segmentazione vs Specializzazione: Sebbene GenAU unifichi i compiti, le sue prestazioni di segmentazione a livello di pixel non superano quelle dei baselines specializzati basati su CLIP.
• Contesto Globale: Il modello fatica con anomalie definite globalmente o logiche (ad es., componenti mancanti) che mancano di forti indizi visivi locali, una sfida comune nei setting zero-shot.
• Classificazione Fine-Grained: La generalizzazione a tipi di difetti estremamente dettagliati rimane difficile quando i dati di addestramento contengono solo singole istanze di specifici difetti.

Il paper conclude che, sebbene persistano sfide nel contesto globale e nella classificazione fine-grained, GenAU colma con successo il divario tra rilevazione, segmentazione e ragionamento, offrendo un trade-off quantificato per un sistema di ispezione industriale più olistico.