Technische Samenvatting: Gedistilleerde Selectie op Basis van Geheugen voor Ruisrobuste Anomaliedetectie

Probleemstelling

In de industriële productie zijn visiegebaseerde systemen voor anomaliedetectie (AD) cruciaal voor kwaliteitscontrole. Deze systemen worden doorgaans getraind onder de aanname dat de trainingsdataset uitsluitend bestaat uit normale (defectvrije) samples. In realistische scenario's is het echter kostbaar en vaak onpraktisch om perfect schone trainingssets samen te stellen; handmatige screening laat onvermijdelijk een niet-verwaarloosbaar deel van anomalieën onopgemerkt, wat leidt tot datacontaminatie.

Bestaande methoden voor AD onder ruisvoorwaarden lijden aan significante prestatiedegradatie naarmate de ruisverhouding toeneemt. Huidige benaderingen vertrouwen over het algemeen op sterke aannames, zoals:

1. Specifieke statistische eigenschappen van de trainingsdata (bijvoorbeeld unimodale priors).
2. Voorafgaande kennis van de anomalieverhouding in de trainingsset.
3. Kennis van het scorebereik voor anomalieën.

Deze afhankelijkheden vereisen dataset-specifieke hyperparameteroptimalisatie en falen vaak wanneer de ruisniveaus afwijken van de verwachte bereiken. Bovendien ontbreekt het veel bestaande methoden aan de capaciteit om fijnmazige pixel-level lokalisatie van defecten uit te voeren onder ernstige contaminatie.

Methodologie: Gedistilleerde Selectie op Basis van Geheugen (MeDS)

De auteurs stellen Memory-Distilled Selection (MeDS) voor, een trainingsframework ontworpen om robuuste prestaties te behouden over diverse ruisverhoudingen heen, zowel voor beeldniveau-detectie als pixel-level lokalisatie, zonder dat ruisverhoudings-specifieke hyperparameteroptimalisatie vereist is. De methode verloopt in drie opeenvolgende fasen:

1. Gebootstrapt Geheugenbouwen (Groefiltering)

De eerste fase bouwt een ensemble van partiële geheugens op via willekeurige subsampling van op patch-niveau onttrokken kenmerken uit de trainingsdata.

• Mechanisme: In plaats van één volledig geheugen te gebruiken, creëert MeDS $B$ partiële geheugens ($M_b$), die elk een willekeurige subset van kenmerken bevatten met een subsamplingratio $\rho$ (bijvoorbeeld 0,1).
• Theoretische Basis: De auteurs tonen theoretisch aan dat spaarzame subsampling fungeert als een laagdoorlaatfilter. Onder geschikte subsamplingratio's wordt de verwachte afstandsgap tussen normale en anomalie-kenmerken gemaximaliseerd. Het ensemble-averaging van deze spaarzame geheugens vermindert de variantie en isoleert nominale patronen, waardoor vervuilde samples op grof niveau effectief worden afgezwakt.
• Output: Een ensemble-anomaliescore $s_M(x)$ die een robuuste, grofmazige scheiding biedt tussen normale en anomalie-patches.

2. Gedistilleerde Geheugenscore (Initialisatie)

De tweede fase adresseert de beperking dat geheugenscores uitsluitend vertrouwen op bevroren, voorgeöefende kenmerken, die mogelijk niet voldoende domeinspecifieke anomaliepatronen vastleggen.

• Mechanisme: Een studentnetwerk (reconstructiescorenetwerk) wordt getraind via distillatie in de score-ruimte. De student leert de L2-afstand te minimaliseren tussen zijn eigen reconstructiescores ($s_\theta$) en de ensemble-geheugenscores ($s_M$).
• Voordeel: Dit proces maakt gebruik van het early-learning-fenomeen van neurale netwerken, waarbij netwerken dominante patronen (normale data) eerder aanleren dan zeldzame patronen (ruis). De distillatie initialiseert het studentnetwerk met een model dat al heeft geleerd normale van anomaliepatronen te scheiden, waardoor de geheugenscores effectief worden gedenoist.

3. Fijnafstemming met Progressieve Selectie (Verfijning)

De derde fase lost de afweging op tussen vroege stopzetting (die robuustheid behoudt maar pixel-level precisie beperkt) en verlengde training (die het risico op overfitting op ruis met zich meebrengt).

• Mechanisme: Het studentnetwerk wordt fijn afgestemd op een zelfgeselecteerde subset van de trainingsdata ($S_t$).
• Selectiecriteria: Bij elke epoch worden samples geselecteerd op basis van een criterium $\eta_t(x)$ dat interpoleert tussen de initiële gedistilleerde scores en de huidige reconstructiescores. Een drempelwaarde $\tau_t$, afgeleid van de mediaan en de Mediaan Absolute Afwijking (MAD) van de scores, wordt gebruikt om hoogscorende (waarschijnlijk anomalie) samples te filteren.
• Progressieve Verslapping: De selectiedrempel wordt tijdens de trainingsiteraties progressief verslapt, waardoor het model meer normale samples kan opnemen naarmate zijn eigen scoreinschattingen betrouwbaarder worden. Dit creëert een positieve feedbacklus, waardoor verlengde training voor fijnmazige lokalisatie mogelijk is zonder over te fiten op de resterende ruis.

Belangrijkste Bijdragen

1. Verontreinigingsbestendig Algoritme: De introductie van MeDS, dat gebruikmaakt van de spaarzaamheid van gebootstrapte geheugenensembles als laagdoorlaatfilter om nominale patronen te isoleren, gevolgd door verfijning via distillatie en iteratieve zelfselectie.
2. Uitgebreide Empirische Validatie: Uitgebreide experimenten over drie industriële benchmarks (MVTecAD, VisA, Real-IAD) onder variërende ruisverhoudingen, inclusief ablatiestudies die de rol van elk onderdeel ontleden en analyses van de gevoeligheid voor hyperparameters.
3. Theoretische en Praktische Inzichten: Een theoretisch bewijs dat aantoont hoe subsampling van geheugen met een kleine ratio een startpunt met hoge recall oplevert onder zware contaminatie, gecombineerd met een demonstratie van de bruikbaarheid van MeDS voor actieve labelcorrectie (efficiënt identificeren en verwijderen van vervuilde samples met minimale menselijke inspanning).

Experimentele Resultaten

MeDS werd geëvalueerd op MVTecAD, VisA en Real-IAD met ruisverhoudingen variërend van 0% tot 40%.

• Robuustheid: In tegenstelling tot baselines (zoals SoftPatch, InReaCh, FUN-AD) die significante prestatiedalingen vertonen naarmate de ruis toeneemt, behoudt MeDS stabiele prestaties over alle ruisniveaus heen.
• Prestaties:
  • Op MVTecAD bereikte MeDS 99,16% beeldniveau-AUROC bij een ruisverhouding van 40%, waarmee het state-of-the-art baselines significant overtrof.
  • Op VisA en Real-IAD vestigde MeDS state-of-the-art prestaties op zowel beeldniveau- als pixelniveau-metrics onder ruisvoorwaarden.
  • Wanneer toegepast als framework op andere baselines (HVQ, Dinomaly, INP-Former), verbeterde MeDS consistent de robuustheid onder contaminatie, terwijl het slechts marginale degradatie veroorzaakte op schone data.
• Actieve Labelcorrectie: In experimenten met menselijke tussenkomst toonde MeDS superieure rangschikkingskwaliteit (AUPRC) en verminderde inspectiediepte, waardoor annotatoren alle vervuilde samples konden identificeren door een aanzienlijk kleiner deel van de dataset te beoordelen in vergelijking met standaardmethoden.

Betekenis en Claims

De paper stelt dat MeDS een systematische formulering van progressieve selectie op basis van geheugendistillatie vertegenwoordigt, specifiek toegesneden op industriële anomaliedetectie. De primaire betekenis ligt in:

• Eliminatie van de behoefte aan ruisverhoudings-specifieke optimalisatie: De methode bereikt robuustheid over een breed scala aan contaminatieniveaus zonder kennis van de ruisverhouding te vereisen.
• Overbrugging van de kloof tussen robuustheid en precisie: Door over te gaan van laagdoorlaatfiltering naar fijnafstemming met dataselectie, bereikt MeDS zowel hoge beeldniveau-detectie als precieze pixel-level segmentatie, een capaciteit die vaak ontbreekt bij bestaande ruisrobuste methoden.
• Praktische Bruikbaarheid: Naast geautomatiseerde detectie dient het framework als een praktisch hulpmiddel voor datasetcuratie, waardoor efficiënt identificeren en verwijderen van vervuilde samples in industriële omgevingen mogelijk wordt.

De auteurs erkennen beperkingen, waarbij zij opmerken dat MeDS mogelijk marginale lagere prestaties vertoont op volledig schone datasets in vergelijking met sommige baselines vanwege het op mediaan gebaseerde selectiemechanisme, en dat het extra rekenkracht vereist voor de geheugenbouw- en distillatiefasen. Deze kosten zijn echter gerechtvaardigd in scenario's waar trainingsdata waarschijnlijk vervuild is.