Sintesi Tecnica: Generazione di Immagini di Anomalie sotto la Guida di un Grafo di Conoscenza

Definizione del Problema

Nel dominio del rilevamento delle anomalie, i dataset sono frequentemente caratterizzati da uno squilibrio significativo delle classi, contenendo una vasta maggioranza di immagini normali (prive di difetti) e una scarsità di campioni anormali (difettosi). Gli approcci tradizionali per affrontare questo squilibrio si affidano ad aumenti geometrici delle immagini (ad es., rotazione, ribaltamento, scalatura) o alla creazione manuale di prompt testuali (TP) per modelli generativi. Tuttavia, la costruzione manuale di TP che descrivano accuratamente le anomalie, le loro posizioni e le loro dimensioni è un processo laborioso e soggetto a errori che limita la diversità e la quantità di campioni generati. Inoltre, senza una conoscenza esperta pregressa, i prompt generati manualmente possono non rispettare i vincoli fisici e le regole di coesistenza specifiche per determinate classi di prodotti e tipi di difetti.

Metodologia

Gli autori propongono KG4IG, un framework progettato per costruire automaticamente un grande volume di prompt testuali plausibili sfruttando la conoscenza pregressa codificata in un Grafo di Conoscenza (KG). L'approccio integra un KG con una pipeline di generazione di immagini basata sulla diffusione. La metodologia consiste nei seguenti componenti principali:

1. Grafo di Conoscenza per le Anomalie (KGA)

La base dell'approccio è un'ontologia specifica del dominio costruita per rappresentare i prodotti, le loro anomalie e le relazioni tra di essi. Il KGA è costruito su tre dataset primari: MVTec-AD, VisA e MPDD. L'ontologia definisce:

• Entità e Classi: Includendo Product (composto da NormalProduct e DefectProduct), Defect, DefectType e DefectCharacteristics (profondità, forma, dimensione).
• Relazioni: Definizioni formali come hasDefect, hasBoundingBox e isAugmentedBy.
• Vincoli: Regole logiche che impongono la validità, come l'impedire aumenti di colore che corrispondano al colore del prodotto o limitare determinati tipi di prodotto solo a certe combinazioni di difetti (ad es., ProductTypeA può avere solo DefectTypeD1 o DefectTypeD2).
• Inferenza: Il sistema utilizza definizioni ontologiche per inferire nuovi tipi di relazione non esplicitamente dichiarati, migliorando l'espressività del grafo.

L'ontologia comprende 59 classi, 38 proprietà di oggetto e 109 proprietà di dati, consentendo la validazione dei prompt dell'utente rispetto ai vincoli del dominio.

2. Pipeline di Generazione dei Prompt

Il sistema automatizza la creazione di prompt testuali attraverso un processo in quattro fasi:

1. Estrazione del Sottografo: Dal KGA, il sistema estrae un sottografo ($G_P$) contenente la specifica classe di prodotto ($P$), i tipi di difetto associati ($D_P$) e gli attributi rilevanti ($D_A$) come forma, dimensione, profondità e posizione.
2. Filtraggio dei Vincoli: Il sistema applica i vincoli ($C$) derivati dal KG per eliminare combinazioni non valide, come conflitti di colore o co-occorrenze di difetti non consentite.
3. Sintesi del Prompt: Per ogni configurazione valida di difetti e attributi, il sistema costruisce una descrizione in linguaggio naturale.
4. Diversificazione: Vengono applicate variazioni linguistiche o strutturali per generare un set diversificato di prompt a partire dalle configurazioni valide.

3. Apprendimento e Generazione del Modello

I prompt generati servono come input per un modello generativo di testo-immagine (specificamente un modello di diffusione). Il modello è addestrato per allineare le modalità testuali e visive, apprendendo le relazioni gerarchiche tra prodotti e anomalie, i loro attributi e i vincoli contestuali. L'obiettivo finale è sintetizzare immagini anomale che rispettino la rappresentazione semantica spaziale delle anomalie definite nel KG.

Contributi Chiave

• Costruzione Automatica dei Prompt: Il documento introduce un metodo per sostituire l'ingegneria dei prompt manuale con un sistema automatizzato guidato da un Grafo di Conoscenza, capace di generare un "enorme numero" di prompt testuali plausibili.
• Ontologia Specifica del Dominio: Lo sviluppo di un'ontologia formale che cattura la terminologia specifica del dominio, le classi di prodotto e le complesse relazioni e vincoli che governano le anomalie.
• Generazione Consapevole dei Vincoli: La capacità di imporre restrizioni logiche (ad es., regole di co-occorrenza, conflitti di attributi) durante la fase di generazione dei prompt, garantendo che i prompt testuali risultanti siano fisicamente e logicamente coerenti con il dominio target.
• Integrazione con i Modelli Fondativi: Una pipeline che connette la conoscenza strutturata (KG) con i moderni modelli di diffusione, consentendo la generazione di anomalie per oggetti della stessa classe o l'aumento di oggetti esistenti.

Risultati e Rivendicazioni

Il documento si concentra principalmente sul design architettonico e sulla costruzione della componente del Grafo di Conoscenza piuttosto che presentare estesi risultati sperimentali quantitativi su metriche di qualità della generazione delle immagini. Gli autori sostengono che il loro approccio:

• Riduce la dipendenza dai tradizionali aumenti delle immagini e dall'ingegneria manuale dei prompt.
• Produce "prompt precisi e contestualmente rilevanti" che riflettono le caratteristiche uniche di ogni tipo di difetto.
• Permette la generazione di immagini significative rispettando i vincoli delle anomalie (ad es., co-occorrenze di difetti valide).
• Fornisce una pipeline estensibile che può essere integrata con i modelli esistenti di generazione da testo a immagine per migliorare la qualità del contenuto generato per i compiti di rilevamento delle anomalie.

Significato

Il significato di questo lavoro risiede nel passaggio dall'aumento basato sui dati alla generazione guidata dalla conoscenza. Codificando la conoscenza esperta del dominio in un Grafo di Conoscenza, l'approccio affronta i limiti della creazione manuale di prompt e la mancanza di comprensione semantica nelle tecniche di aumento standard. Gli autori sostengono che questo metodo porti a dataset più bilanciati e a un addestramento più efficace per i modelli di rilevamento delle anomalie, assicurando che le anomalie generate non siano solo visivamente plausibili, ma anche semanticamente e logicamente coerenti con il particolare dominio industriale o di prodotto.