InvAD: Inversion-based Reconstruction-Free Anomaly Detection with Diffusion Models

Probleemstelling

Bestaande methoden voor anomaliedetectie (AD) die gebruikmaken van diffusiemodellen, volgen over het algemeen een reconstructie-gebaseerde paradigma ("detectie via ontdoening in RGB-ruimte"). Bij deze aanpak wordt een afwijkend beeld eerst verstoord met ruis en vervolgens gereconstrueerd tot een "normaal" beeld door een diffusiemodel dat uitsluitend op normale data is getraind. De anomalie-score wordt bepaald door de fout (bijv. MSE) tussen het originele beeld en de reconstructie.

De auteurs identificeren twee fundamentele beperkingen van deze bestaande aanpak:

1. Gevoeligheid voor ruissterkte: De prestaties hangen sterk af van de keuze van de ruissterkte. Te sterke ruis beschadigt normale gebieden (veel vals-positieven), terwijl te zwakke ruis leidt tot een te goede reconstructie van de anomalie (veel vals-negatieven).
2. Rekenkundige complexiteit: Hoogwaardige reconstructie vereist iteratief ontdoening (multi-step denoising), wat leidt tot hoge inferentiatijden (vaak < 2 FPS), wat onpraktisch is voor real-time toepassingen.

Er bestaat dus een fundamentele spanning tussen fideliteit (kwaliteit) en efficiëntie (snelheid).

Methodologie: InvAD

Het paper introduceert InvAD, een nieuwe aanpak gebaseerd op inversie ("detectie via ruis toevoegen in latente ruimte"). In plaats van een beeld te reconstrueren, infereert de methode direct de latente toestand die overeenkomt met het invoerbeeld door de trajecten van de Probability Flow Ordinary Differential Equation (PF-ODE) omgekeerd te volgen.

De kerncomponenten zijn:

1. Reconstructievrije Formulering:

   • Het model infereert de uiteindelijke latente variabele ($x_T$) die correspondeert met het invoerbeeld ($x_0$) via DDIM-inversie.
   • Omdat het diffusiemodel alleen op normale data is getraind, zullen normale beelden worden afgebeeld op een gebied met hoge dichtheid in de ruis-priorverdeling. Anomalieën worden daarentegen afgebeeld op gebieden met lage dichtheid.
   • De anomalie-score wordt bepaald door de mate van afwijking van de afgeleide latente variabele ten opzichte van de bekende priorverdeling.

2. Efficiëntie door Beperkte Inversiestappen:

   • In plaats van de volledige ODE-oplosser te gebruiken (wat veel stappen vereist), gebruikt InvAD de Euler-methode met slechts een zeer klein aantal inversiestappen (bijv. $S=3$).
   • Hoewel dit de precisie van de reconstructie verlaagt, is dit niet nodig voor detectie. De toegevoegde ruis wordt adaptief bepaald door het geleerde model, waardoor de essentiële kenmerken van het originele beeld behouden blijven voor een accurate detectie.

3. Diffusie in Kenmerkruimte (Feature Space):

   • Om de prestaties te verbeteren, wordt het beeld niet in pixelruimte, maar in een kenmerkruimte verwerkt (geëncodeerd door een pre-getraind backbone-model zoals EfficientNet).
   • Dit maakt het model robuuster tegen lage-niveau variaties (zoals ruis of belichting) en verhoogt de inferentie-efficiëntie.

4. Anomalie Score Berekening:

   • De auteurs gebruiken een genormeerde Euclidische norm over de kanalen van de latente representatie ($z_T$).
   • Om het "reverse-scoring" probleem (waarbij kleine anomalieën over het hoofd worden gezien) te vermijden, wordt de score berekend als het verschil tussen de maximale en minimale normwaarden in het beeld, gecombineerd met de log-likelihood onder de Gaussische prior.

Belangrijkste Bijdragen

1. Identificatie van een Paradigma-fout: De auteurs tonen aan dat de beperkingen van bestaande methoden voortkomen uit het "detectie via ontdoening"-paradigma en stellen een nieuw paradigma voor: "detectie via ruis toevoegen in latente ruimte".
2. InvAD Framework: Een reconstructievrij framework dat direct latente variabelen schat via inversie, waardoor de noodzaak voor dure reconstructie en fijnafstelling van ruisparameters verdwijnt.
3. State-of-the-Art Prestaties: Demonstratie dat deze inversie-gebaseerde aanpak niet alleen sneller is, maar ook betere detectieprestaties levert dan bestaande methoden, zonder dat er diffusiedistillatie nodig is.

Resultaten

De methode is getest op vier veelgebruikte benchmarks: MVTecAD, VisA, MPDD (industriële defecten) en BMAD (medische beeldvorming).

• Prestaties: InvAD bereikt state-of-the-art resultaten op alle datasets, zowel op beeldniveau (image-level) als pixelniveau (pixel-level).
• Snelheid: Er is een aanzienlijke snelheidswinst geboekt. Op de MVTecAD-dataset bereikt InvAD 88.1 FPS, vergeleken met ongeveer 1-40 FPS voor andere diffusie-gebaseerde methoden (zoals DiAD, OmiAD, MDM). Dit is een versnelling van ongeveer 2x ten opzichte van de snelste bestaande methoden (zonder distillatie).
• Efficiëntie: De methode vereist slechts 3 function evaluations (NFE) in plaats van tientallen of honderden stappen.
• Plug-and-Play: Omdat de methode alleen de inferentiestap betreft, kan deze worden toegevoegd aan bestaande diffusie-modellen (zoals DiAD of MDM) om hun snelheid en nauwkeurigheid direct te verbeteren (zoals getoond in Tabel 5).

Betekenis en Conclusie

InvAD lost het fundamentele dilemma op tussen snelheid en nauwkeurigheid in diffusie-gebaseerde anomaliedetectie. Door af te stappen van de traditionele reconstructie en over te stappen op een inversie-gebaseerde aanpak in de latente ruimte, elimineert de methode de noodzaak voor tijdrovende iteraties en gevoelige hyperparameter-tuning.

De studie bewijst dat een reconstructievrije aanpak niet alleen mogelijk is, maar ook superieur presteert in termen van zowel detectienauwkeurigheid als inferentiesnelheid. Dit maakt diffusiemodellen voor het eerst echt toepasbaar in real-time industriële en medische inspectiesystemen. De auteurs wijzen erop dat toekomstig werk gericht kan zijn op het reduceren van de stappen naar één enkele stap (via distillatie) om de efficiëntie verder te maximaliseren.