Technische Samenvatting: Multi-AD voor Cross-Domain Unsupervised Anomaly Detection

Probleemstelling

Anomaliedetectie (AD) is cruciaal voor vroege ziekte-diagnose in de geneeskunde en defectdetectie in de industriële productie. Een primaire flessenhals is echter het tekort aan gelabelde anomaliedata. Anomale gevallen zijn inherent zeldzaam, en het verwerven van gelabelde data—vooral in medische beeldvorming—is arbeidsintensief, kostbaar en onderhevig aan inter-waarnemer variabiliteit. Hoewel self-supervised learning (SSL) een oplossing heeft geboden door te trainen op ongelabelde "normale" data, degradeert de prestatie vaak in scenario's met beperkte trainingsdata of hoge intra-klasse variabiliteit (bijv. diverse anatomische structuren of complexe industriële omgevingen). Bovendien zijn bestaande Knowledge Distillation (KD) benaderingen vaak beperkt tot single-domain toepassingen en missen ze robuustheid in cross-modality of cross-domain transfer.

Methodologie: Multi-AD Framework

De auteurs stellen Multi-AD voor, een convolutional neural network (CNN) framework ontworpen voor robuuste unsupervised anomaly detection in zowel medische als industriële domeinen. De methode integreert domein-agnostische feature learning met domein-specifieke adaptatie met behulp van een Teacher-Student (T-S) architectuur, versterkt door drie kerncomponenten:

1. Enhanced Backbone met Squeeze-and-Excitation (SE)

De backbone is een aangepaste WideResNet-50 architectuur die de volgende elementen bevat:

• Dilated Convolutions: Toegepast over vier residuele stadia met progressief toenemende dilatatie-rates ($r=1, 2, 4, 8$) om het receptieve veld uit te breiden terwijl de ruimtelijke resolutie behouden blijft. Dit stelt het model in staat om zowel lokale details (bijv. microbarstjes) als globale context (bijv. structurele vervormingen) te vangen.
• Squeeze-and-Excitation (SE) Blocks: Geïntegreerd in elk residueel stadium om kanaalsgewijze feature recalibratie uit te voeren. Dit mechanisme berekent kanaalsgewijze statistieken via global average pooling en gebruikt fully connected lagen om schaleringsfactoren te genereren, waardoor het netwerk informatieve features kan benadrukken en irrelevante features kan onderdrukken.
• Multi-scale Feature Fusion: Een convolutionele laag fuseert features van lagere en hogere lagen om fijne details te combineren met hoogwaardige semantische informatie.

2. Knowledge Distillation (KD) met Feature Alignment

Het framework maakt gebruik van een T-S architectuur waarbij een vooraf getraind Teacher (T) model (bevroren) kennis overdraagt aan een trainbaar Student (S) model.

• Trainingsregime: Het model wordt uitsluitend getraind op normale (anomalievrije) data.
• Feature Alignment: Het S-model wordt getraind om de feature representaties van het T-model na te bootsen. Features van kritieke lagen van beide modellen worden L2-genormaliseerd.
• Loss Functie: Een feature generator loss ($\mathcal{L}_G$) minimaliseert de Euclidische afstand (via cosine similarity) tussen de genormaliseerde activatievectoren van de T- en S-modellen over meerdere lagen. Dit zorgt ervoor dat het S-model de intrinsieke distributie van normale data leert.

3. Discriminator (D) Netwerk en Adversarial Training

Om het onderscheid tussen normale en anomale data verder te verfijnen, wordt een Discriminator (D) netwerk geïntroduceerd:

• Architectuur: Een convolutioneel netwerk dat feature maps verwerkt om een waarschijnlijkheidsscore te produceren die aangeeft of de input "echt" (T-model features) of "nep" (S-model features) is.
• Adversarial Objective: Het D-netwerk wordt geoptimaliseerd om T-features van S-features te onderscheiden met behulp van Binary Cross-Entropy (BCE) loss. Omgekeerd wordt het S-model getraind met een adversarial term ($\mathcal{L}_{adv}$) om het D-netwerk te misleiden, wat het S-model dwingt om feature maps te produceren die niet te onderscheiden zijn van de normale distributie van het T-model.
• Totale Loss: De totale loss van het S-model combineert feature alignment en de adversarial term: $\mathcal{L}_S = \mathcal{L}_G + \lambda \mathcal{L}_{adv}$.

4. Convolution-Enhanced Multi-Scale Feature Fusion (MFF)

Tijdens inferentie worden anomaly maps gegenereerd door de pixel-gewijze cosine dissimilariteit tussen T- en S-features over meerdere lagen ($M_1$ tot $M_4$) te berekenen.

• Verfijning: In tegenstelling tot eenvoudige sommatie, past de voorgestelde MFF een 1×1 convolutie, Batch Normalization en ReLU toe op elke schaal van de anomaly map voordat fusie plaatsvindt. Deze stap verfijnt de feature maps om variaties in schaal en ruimtelijke misalignement aan te pakken.
• Aggregatie: De verfijnde maps worden gecombineerd via bilineaire interpolatie en gladgestreken met een Gaussian filter om de uiteindelijke anomaly map te produceren. De image-level anomaly score wordt afgeleid van de maximale respons van deze map.

Belangrijkste Bijdragen

Het artikel schetst vier primaire bijdragen:

1. Cross-Domain Framework: Een verenigd AD-framework dat domein-agnostische (gedeelde) en domein-specifieke (adaptieve) feature learning ontkoppelt, wat generalisatie demonstreert over medische (MRI, CT, OCT) en industriële datasets.
2. Convolution-Enhanced MFF: Een nieuw module die de lokalisatie van zowel kleine als grote anomalieën verbetert door multi-scale features te verfijnen vóór fusie.
3. Adaptive Discriminator: De integratie van D-netwerken met adaptieve aandachtmechanismen om precieze anomalie lokalisatie over diverse imaging modalities mogelijk te maken.
4. Precieze Lokalisatie: De levering van nauwkeurige anomaly maps voor het lokaliseren van ziekten en productdefecten, gevalideerd door uitgebreide experimenten.

Experimentele Resultaten

Multi-AD werd geëvalueerd op drie medische datasets (BraTS2021 voor hersen-MRI, RESC voor retinaal OCT, en BTCV/LiTs voor lever-CT) en de MVTec AD industriële benchmark.

• Medische Prestaties: Multi-AD behaalde een gemiddelde Image-level AUROC van 81,4% en een Pixel-level AUROC van 97,0%, waarmee het state-of-the-art modellen zoals PaDiM, PatchCore, SimpleNet, STFPM, RD4AD en MKD overtrof.
• Industriële Prestaties: Op MVTec AD behaalde het model een gemiddelde Image-level AUROC van 99,6% en een Pixel-level AUROC van 98,4%, waarbij het consequent clustering-gebaseerde en reconstructie-gebaseerde methoden overtrof.
• Ablatie Studies:
  • Het verwijderen van de SE Block verminderde de pixel-level AUROC, wat de rol ervan bevestigt bij het focussen op informatieve features.
  • Het verwijderen van de Discriminator (D) degradeerde de prestaties aanzienlijk (bijv. de medische pixel-level AUROC daalde van 97,0% naar 93,2%), wat het belang van adversarial verfijning benadrukt.
  • Het verwijderen van MFF leidde tot een merkbare afname in lokalisatienauwkeurigheid, wat de noodzaak van convolutionele verfijning voor multi-scale fusie valideert.

Betekenis en Claims

De auteurs beweren dat Multi-AD een robuuste oplossing biedt voor real-world toepassingen waar gelabelde anomaliedata schaars is. Door gebruik te maken van KD en adversarial training, leert het model effectief de distributie van normale data en detecteert het subtiele afwijkingen zonder dat er tijdens de training anomalie-labels nodig zijn.

Het paper benadrukt dat het vermogen van Multi-AD om scherpe, gefocuste anomaly heatmaps te genereren met minimale false positives, het superieur maakt aan clustering-gebaseerde methoden (die vaak brede, ongefocuste maps produceren) en reconstructie-gebaseerde methoden (die moeite hebben met complexe texturen). De gedemonstreerde cross-domain generalisatie van het framework suggereert dat het kan worden ingezet in diverse medische en industriële omgevingen zonder uitgebreide hertraining, wat een kritieke behoefte adresseert voor schaalbare en betrouwbare anomaliedetectiesystemen. De auteurs merken echter bescheiden op dat de integratie van MFF en adversarial netwerken de computationele complexiteit verhoogt, wat uitdagingen kan vormen voor real-time implementatie in omgevingen met beperkte middelen.