Hypergraph Normal World Models for Logical Visual Anomaly Detection

Riepilogo Tecnico: Modelli di Mondo Normale a Ipergrafo per la Rilevazione di Anomalie Visive Logiche

1. Definizione del Problema

La rilevazione di anomalie visive opera tipicamente sotto un protocollo di "solo normalità", in cui i modelli vengono addestrati esclusivamente su immagini prive di difetti per identificare le deviazioni nei dati di test. Sebbene i metodi esistenti eccellano nella rilevazione di anomalie strutturali (ad es. graffi, macchie, texture mancanti) mappando i patch locali a una distribuzione di riferimento normale, essi faticano con le anomalie logiche.

Le anomalie logiche si verificano quando un'immagine è composta da parti localmente normali ma viola le regole globali del mondo visivo, come conteggi errati di oggetti, co-occorrenze impossibili o relazioni spaziali incoerenti. La sfida principale è duplice:

1. Copertura Limitata: In contesti few-shot o di sola normalità, un modello non può fare affidamento sulla memorizzazione di tutte le possibili apparenze normali; deve apprendere le "regole" sottostanti della categoria.
2. Complessità Relazionale: Un rilevatore deve valutare non solo l'aspetto di singole regioni, ma anche la validità della configurazione e delle relazioni tra queste regioni. I classici database di memoria basati su patch falliscono in questo caso perché le caratteristiche locali rimangono familiari anche quando la struttura globale è invalida.

2. Metodologia: Il Modello di Mondo Normale a Ipergrafo

Il metodo proposto, il Modello di Mondo Normale a Ipergrafo, affronta queste sfide distillando un "mondo normale" specifico per categoria dai parametri di un modello foundation congelato, invece di addestrare un nuovo encoder visivo.

Componenti Core:

• Prior di Foundation Congelato: Il modello utilizza un encoder DINOv2 congelato per estrarre i token semantici dei patch. Ciò sfrutta la vasta conoscenza visiva appresa da enormi dati non etichettati, permettendo al modello di funzionare efficacemente con pochissime immagini normali target (few-shot) senza overfitting.
• Costruzione dell'Ipergrafo: Invece di trattare l'immagine come un insieme di patch indipendenti, il metodo organizza la griglia di patch in un ipergrafo fisso.
  • Nodi: Singoli token di patch.
    • Iperarchi (Hyperedges): Raggruppamenti spaziali di patch (ad es. quadranti, regioni centrali/perimetrali, bande di righe/colonne, celle di griglia locali). Questi rappresentano gli stati a "livello di regione".
  • Relazioni: Il modello calcola le similitudini del coseno tra coppie di patch e coppie di iperarchi per catturare le dipendenze spaziali e semantiche.
• Statistiche del Mondo Normale: Durante la fase di fitting (utilizzando solo immagini normali), il modello stima le statistiche gaussiane (media e varianza) per quattro tipi di evidenza:
  1. Posizione del patch: Distribuzioni dei singoli token.
  2. Relazioni a coppia: Similitudini tra specifiche coppie di patch.
  3. Iperarchi: Distribuzioni dei token di regione aggregati.
  4. Relazioni tra iperarchi: Similitudini tra gruppi di regioni.
  • Inoltre, viene mantenuto un istogramma di relazione globale per catturare la distribuzione complessiva delle similitudini a coppia.
• Quoziente di Informazione ($Q$): In fase di inferenza, il modello calcola un' "energia" (distanza di Mahalanobis al quadrato) per ogni tipo di evidenza rispetto alle statistiche normali apprese. Queste energie vengono standardizzate e combinate in una somma pesata, il Quoziente di Informazione ($Q$).
  • Un $Q$ basso indica che l'immagine è spiegata efficientemente dal mondo normale appreso.
  • Un $Q$ alto indica che l'immagine richiede informazioni relazionali anormali per essere spiegata, segnalando un'anomalia logica.

3. Contributi Chiave

1. Formulazione della Rilevazione di Anomalie Logiche: L'articolo inquadra la rilevazione di anomalie logiche come la modellazione di un "mondo normale" su token di foundation congelati, andando oltre il semplice matching locale dei patch per catturare le regole relazionali specifiche della categoria.
2. Quoziente di Informazione a Ipergrafo: L'introduzione di un meccanismo di punteggio che integra l'evidenza dei patch, le relazioni a coppia, l'evidenza degli iperarchi (regioni) e le relazioni tra iperarchi. Ciò consente al modello di valutare l'efficienza nel spiegare un'immagine sotto un prior strutturale appreso.
3. Interpretabilità e Validazione: Gli autori forniscono un'analisi estesa dimostrando che il punteggio riflette la conoscenza strutturale appresa piuttosto che una mappatura superficiale. Ciò include:
   • Separazione delle anomalie logiche nello spazio dell'energia appresa tramite t-SNE.
   • Significativi aumenti del punteggio sotto controfattuali relazionali (permutando blocchi di token pur preservando l'aspetto locale).
   • Degradazione delle prestazioni quando si utilizzano ipergrafi casuali, provando il valore della struttura spaziale significativa.
   • Analisi di attribuzione che mostra come le anomalie logiche guidino i punteggi elevati attraverso specifiche relazioni tra iperarchi.

4. Risultati Sperimentali

Il metodo è stato valutato sul benchmark MVTec LOCO AD, specificamente sulla categoria breakfast-box, che contiene sia anomalie strutturali che logiche.

• Performance: Il modello completo a ipergrafo ha raggiunto un AUROC Logico di 0,9279, superando significativamente:
  • Il baseline DINOv2 patch-kNN (0,8434).
  • La variante non ipergrafica del metodo proposto (0,9013).
  • I baseline di feature globali (DINOv2 CLS: 0,8616).
• Strutturale vs. Logico: Mentre il baseline patch-kNN rimaneva superiore per i difetti strutturali (AUROC 0,8650 vs. 0,7207 per il modello proposto), il modello proposto eccelleva specificamente nelle anomalie logiche. Ciò conferma la natura complementare dei due approcci.
• Capacità Few-Shot: Il modello è rimasto efficace con dati di addestramento estremamente limitati. Con una sola immagine normale, ha raggiunto un AUROC logico di 0,8597, salendo a 0,9279 con l'intero set di 351 immagini. Ciò dimostra l'efficacia del prior di foundation congelato.
• Studi di Ablazione: La rimozione della struttura a ipergrafo ha ridotto le prestazioni, confermando che il raggruppamento dei patch in stati di regione è cruciale. Il componente "Hyperedge node" da solo è stato il singolo contributore più forte, ma la combinazione completa ha fornito i risultati migliori.

5. Significato e Rivendicazioni

L'articolo sostiene che la rilevazione di anomalie visive logiche richiede la modellazione di relazioni normali, non solo di patch locali normali. Il significato di questo lavoro risiede nel:

• Cambio di Paradigma: Passare dalla "rarità del patch" alla "violazione delle regole del mondo". Il modello apprende che un'immagine valida è quella in cui le parti co-occorrono e si relazionano in modi specifici e stabili.
• Efficienza nella Scarsità di Dati: Distillando la conoscenza da un modello di foundation congelato, il metodo ottiene prestazioni elevate in contesti few-shot dove i metodi tradizionali di memoria dei patch potrebbero fallire nel coprire lo spazio dell'apparenza normale.
• Interpretabilità: Il "Quoziente di Informazione" fornisce un punteggio scomponibile, consentendo ai professionisti di identificare esattamente quali vincoli relazionali o regionali sono stati violati (ad es. tramite l'attribuzione dell'iperarco), offrendo intuizioni che i modelli di ricostruzione o classificazione "black-box" non forniscono.

Gli autori concludono che, sebbene il loro modello non sostituisca la memoria dei patch per i difetti strutturali, esso fornisce il segnale consapevole delle relazioni necessario per rilevare le anomalie logiche, suggerendo una direzione futura per sistemi ibridi che combinano la memoria dei patch locali con la modellazione delle relazioni del mondo normale.