💻 computer science

AEGIS: A Semantic GAN and Evidential Learning Frameworkfor Robust Adversarial Detection in Vision Sensors

Dit artikel introduceert AEGIS, een robuust detectiekader voor adversariële aanvallen op visuele sensoren dat een semantisch bewuste GAN-discriminator combineert met evidentieel diep leren om diverse adversariële aanvallen effectief te identificeren en te filteren, terwijl het gekalibreerde onzekerheidsschattingen biedt.

Oorspronkelijke auteurs: Maher Boughdiri, Mounira Msahli, Albert Bifet

Gepubliceerd 2026-06-30

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Maher Boughdiri, Mounira Msahli, Albert Bifet

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat jij de beveiliger bent bij een hoogtechnologische kunstgalerie. Jouw taak is om echte schilderijen (schone afbeeldingen) binnen te laten en vervalsingen (adversarial attacks) tegen te houden voordat ze de VIP's (de AI-besluitvormers) bereiken.

Het probleem is dat moderne vervalsingen verraderlijk zijn. Sommige zien eruit als echte schilderijen, maar hebben minuscule, onzichtbare krasjes die de AI in de war brengen. Anderen zijn slim aangepast om op een heel ander object te lijken. Een simpele controle van het type "is dit een schilderij?" is niet genoeg.

Dit paper introduceert AEGIS, een beveiligingssysteem met drie lagen dat is ontworant om deze verraderlijke vervalsingen in visuele sensoren (zoals camera's op zelfrijdende auto's of surveillance-drones) te vangen. Denk aan AEGIS als een beveiligingscontrole met drie stappen.

De Beveiligingscontrole met Drie Stappen

Stap 1: De "Vibe Check" (SemantiGAN)
Eerst gaat de afbeelding naar een gespecialiseerde expert genaamd SemantiGAN. Stel je deze expert voor als een ervaren kunstcriticus die precies weet hoe een "Stopbord" of een "Kat" er in hun natuurlijke context uit hoort te zien.

Hoe het werkt: In plaats van alleen te vragen "Is dit echt of nep?", vraagt deze expert: "Klopt de vibe van deze afbeelding wel?"
De truc: Als een vervalser probeert een "Snelheidslimiet"-bord op een "Stopbord" te plakken (een patch attack) of de vorm van een auto zo verdraait dat het op een vrachtwagen lijkt (een geometrische aanval), dan merkt deze expert dat de "vibe" niet klopt. Het filtert afbeeldingen eruit die visueel inconsistent of semantisch vreemd zijn, direct bij de deur.

Stap 2: De "Stress Test" (LAFANet)
Als een afbeelding de eerste controle passeert, gaat deze naar de tweede post: LAFANet. Dit is als een stresstest voor de afbeelding.

Het proces: Het systeem neemt de afbeelding en past snel ongevaarlijke, willekeurige wijzigingen toe—zoals de afbeelding ondersteboven keren, hem iets lichter maken, vervagen of een stukje uitknippen. Dit doet het tien keer.
De logica: Echte, schone afbeeldingen zijn stabiel. Als je een foto van een kat ondersteboven houdt, is het nog steeds duidelijk een kat. Maar "nep" of aangevallen afbeeldingen zijn fragiel. Als je een aangevallen afbeelding licht vervaagt of omdraait, raakt het brein van de AI vaak in de war en verandert het van mening (bijv. "Wacht, is dat nu een hond?").
De score: LAFANet berekent een "Instabiliteitsscore" op basis van hoeveel de antwoorden van de AI wankelen tijdens deze stresstests. Als het antwoord te veel rondspringt, is dat een rood vlaggetje.

Stap 3: De "Confidence Judge" (Evidential Deep Learning)
Ten slotte gaat de data van de stresstest naar de EDL Classifier. Dit is de definitieve rechter die niet alleen een "Ja" of "Nee" geeft, maar je ook vertelt hoe zeker hij is.

Het verschil: Normale AI-systemen zeggen vaak: "Ik ben voor 99% zeker dat dit een stopbord is," zelfs als ze het fout hebben. Dat is gevaarlijk.
De AEGIS-manier: De EDL-rechter gebruikt een speciale wiskundige truc (Dirichlet-distributie) om "onzekerheid" te meten. Als de afbeelding lastig of verdacht is, zegt de rechter: "Ik ben niet zeker genoeg om een besluit te nemen." Dit stelt het systeem in staat om te zeggen: "Ik weet het niet, laten we stoppen en een mens om hulp vragen," in plaats van met vol vertrouwen een fout te maken.

Wat hebben ze gevonden?

De onderzoekers hebben dit systeem getest op een dataset genaamd Tiny ImageNet (een kleinere versie van een enorme bibliotheek met afbeeldingen) met behulp van zes verschillende soorten "aanvallen":

Pixelruis: Minuscule, onzichtbare krasjes (FGSM, PGD).
Stickers: Patches die op de afbeelding zijn geplakt.
Functionele aanvallen: Het veranderen van texturen of materialen.
Geometrische aanvallen: Het verdraaien of draaien van vormen.
Hybride aanvallen: Een mix van bovenstaande methoden.

De resultaten:

AEGIS heeft 92,1% van de boeven gevangen (gemeten in AUROC).
Het identificeerde het type aanval in 90,7% van de gevallen correct.
Het was veel beter in het opsporen van lastige aanvallen dan oudere methoden die alleen naar vertrouwensscores kijken.
Zelfs toen ze het op een iets grotere dataset (ImageNet-128) testten, werkte het nog steeds erg goed, wat bewijst dat het geen toevalstreffer is op kleine afbeeldingen.

Waarom dit belangrijk is (volgens het paper)

Het paper betoogt dat huidige beveiligingssystemen te nauw zijn. Sommige kijken alleen naar pixelruis, andere alleen naar vreemde vormen. AEGIS is speciaal omdat het semantisch begrip (klopt het wel?), instabiliteitsanalyse (breekt het onder stress?) en onzekerheidsbewustzijn (kunnen we het antwoord vertrouwen?) combineert.

Melding van beperkingen:
De auteurs zijn eerlijk over wat ze nog niet hebben getest:

Ze hebben het nog niet getest op fysieke wereld aanvallen (zoals een echte sticker op een echt stopbord in de regen).
Ze hebben niet volledig getest hoe snel het draait op real-time, laag vermogen hardware (zoals een kleine camera op een drone).
Het is iets minder effectief tegen complexe geometrische verdraaiingen vergeleken met eenvoudige pixelruis, hoewel het nog steeds goed presteert.

Kortom, AEGIS is een "slimme bewaker" die niet alleen naar de afbeelding kij� min, maar ook de stabiliteit bevraagt en de eigen zekerheid meet om te garanderen dat visuele sensoren niet worden misleid door slimme trucjes.

Technische Samenvatting: AEGIS – Een Semantisch GAN- en Evidentieel Leersframework voor Robuuste Adversariële Detectie

1. Probleemstelling

Diepe neurale netwerken (DNN's) vormen de basis van moderne visuele sensornetwerken, maar blijven zeer kwetsbaar voor adversariële aanvallen. Deze aanvallen bestaan uit onmerkbare of subtiele perturbaties die leiden tot foutieve voorspellingen, terwijl de visuele realiteit voor menselijke waarnemers behouden blijft. Het dreigingslandschap is geëvolueerd van laag-niveau pixelperturbaties (bijv. FGSM, PGD) naar hoog-niveau semantische manipulaties, inclusief adversariële patches, geometrische transformaties en functionele aanvallen die de zwakheden in contextueel redeneren uitbuiten.

Bestaande verdedigingsmechanismen richten zich vaak slechts op geïsoleerde aspecten van adversariële gedragingen. Pixelgebaseerde verdedigingen schieten tekort tegen semantische aanvallen, terwijl onzekerheidsgebaseerde methoden vaak een gebrek hebben aan semantisch redeneren of interpreteerbaarheid. Bovs is het veelal zo dat deze benaderingen overmoedige voorspellingen genereren op adversariële inputs, waarbij ze de gekalibreerde onzekerheidsschattingen missen die noodzakelijk zijn voor besluitvorming in kritieke veiligheidssituaties. Er is een cruciaal gat voor een verenigd framework dat semantische consistentie-analyse, voorspellingsinstabiliteit-profilering en evidentieel onzekerheidsmodellering integreert om een breed scala aan adversariële categorieën te detecteren.

2. Methodologie: Het AEGIS-framework

AEGIS is een modulair, end-to-end adversarieel detectieframework ontworpen om inputs te classificeren in zes categorieën: Clean, FGSM, PGD, Patch-based, Functional, en Geometric. Het framework werkt via drie opeenvolgende stadia:

Stadium 1: SemantiGAN (Semantische Discriminatie)

Het eerste stadium maakt gebruik van een SemantiGAN, een multi-class semantische discriminator gebaseerd op een Generative Adversarial Network (GAN). In tegen tegenstelling tot traditionele binaire real/fake discriminatoren, is SemantiGAN getraind om inputs direct te classificeren in een van de zes semantische categorieën.

Functie: Het fungeert als een initiële filter die visueel inconsistente of semantisch anomale inputs (bijv. patches of functionele manipulaties) identificeert en karakteriseert voordat ze verder worden gepropageerd.
Output: Een grove semantische voorspelling ( $\hat{y}_{sem}$ ) die adversariële priors levert voor de daaropvolgende stadia.

Stadium 2: LAFANet (Instabiliteitsprofielering)

Voor inputs die de semantische filter passeren, voert de LAFANet-module instabiliteitsprofielering uit met behulp van Test-Time Augmentation (TTA).

Proces: De inputafbeelding ondergaat $N$ stochastische, label-preserverende augmentaties (bijv. flips, affine warps, helderheidsaanpassingen, motion blur, cutout, JPEG-compressie).
Feature Extractie: Een backbone-classifier verwerkt de originele en geaugmenteerde weergaven om vijf handmatige instabiliteitsmetrieken te berekenen:
1. FlipScore: Frequentie van labelwijzigingen onder horizontale flips.
2. Prediction Inconsistency: Dispersie van voorspelde labels over augmentaties.
3. EarlyCosSim: Cosinus-gelijkenis tussen early-layer features van geaugmenteerde weergaven en het gemiddelde van de early-layer features.
4. MidCosSim: Cosinus-gelijkenis tussen mid-layer features en hun gemiddelde.
5. Entropy: Gemiddelde predictieve entropie over augmentaties.
Output: Een compact 5-dimensionaal feature vector ( $F_x$ ) dat het instabiliteitsprofiel van de input representeert.

Stadium 3: Evidential Deep Learning (EDL) Classificatie

Het laatste stadium maakt gebruik van een Evidential Deep Learning (EDL) classifier om de instabiliteitsfeature vector $F_x$ te verwerken.

Mechanisme: In plaats van standaard softmax-outputs, modelleert de EDL classifier de output als evidence-parameters ( $e$ ) van een Dirichlet-distributie.
Onzekerheidsmodellering: De distributieparameters ( $\alpha = e + 1$ ) stellen het model in staat om gezamenlijk klassenkansen ( $E[p_i]$ ) en epistemische onzekerheid ( $u = K/S$ , waarbij $S$ de totale evidence is) te schatten.
Besluitvorming: Het framework geeft een zes-klasse voorspelling en een gekalibreerde onzekerheidsscore. Hoge onzekerheid duidt op inputs die waarschijnlijk adversarieel of out-of-distribution zijn, wat veilige afwijzing mogelijk maakt in scenario's waar veiligheid cruciaal is.

3. Belangrijkste Bijdragen

Verenigde Architectuur: AEGIS is het eerste framework dat semantische adversariële discriminatie (SemantiGAN), transformatie-gedreven instabiliteitsprofielering (LAFANet) en evidentiële onzekerheidskalibratie (EDL) gezamenlijk integreert binnen een enkele, computationeel efficiënte pijplijn.
Multi-Class Adversariële Categorisering: In tegenstelling tot binaire detectoren voert AEGIS multi-class classificatie uit over zes verschillende adversariële categorieën, wat diepgaand inzicht biedt in de aard van de dreiging.
Gekalibreerde Onzekerheid: Door gebruik te maken van Dirichlet-gebaseerde evidentieel leren, biedt het framework geprincipeerde onzekerheidsschattingen, wat het probleem van overmoed bij adversariële detectie aanpakt.
Handmatige Instabiliteitsmetrieken: De introductie van een specifieke set instabiliteitsfeatures (FlipScore, Cosine Similarity, etc.) afgeleid van lichtgewicht augmentaties biedt een robuuste, architectuur-agnostische methode voor het detecteren van adversariële sensitiviteit.

4. Experimentele Resultaten

Het framework werd geëvalueerd op de Tiny ImageNet dataset (64x64 resolutie) en preliminair op ImageNet-128.

Algemene Prestaties: AEGIS behaalde een AUROC van 92,1%, een AUPRC van 90,2% en een nauwkeurigheid van 90,7% over de zes categorieën.
Aanval-specifieke Prestaties:
- FGSM: Hoogste detectie (AUROC 96,1%, Nauwkeurigheid 95,3%).
- PGD: Sterke detectie (AUROC 94,2%, Nauwkeurigheid 93,0%).
- Semantische/Geometrische Aanvallen: Behield robuuste prestaties met AUROC-waarden boven de 88% voor Patch-based (91,0%), Functional (89,4%) en Geometric (88,3%) aanvallen.
Generalisatie: Op ImageNet-128 bleven de prestaties sterk (Nauwkeurigheid 88,3%, AUROC 89,7%), met slechts een marginale toename in de Expected Calibration Error (ECE).
Zero-Day en Transfer Aanvallen:
- Zero-Day: Behaalde 86,5% AUROC op hybride PGD+geometrische aanvallen die niet tijdens de training aanwezig waren.
- Black-Box Transfer: Behield een AUROC > 88% wanneer getest werd tegen adversariële voorbeelden gegenereerd op surrogaatmodellen (ResNet-50, DenseNet-121).
Ablatiestudie: Het verwijderen van een enkele component (SemantiGAN, stochastische augmentatie, instabiliteitsfeatures, of EDL) resulteerde in een consistente degradatie van de prestaties, wat de complementaire aard van de modules bevestigt. Zo daalde de nauwkeurigheid bij het verwijderen van SemantiGAN naar 86,2%, en bij het vervangen van EDL door Softmax naar 85,2%.

5. Betekenis en Claims

Het artikel claimt dat AEGIS de beperkingen van bestaande verdedigingen aanpakt door een omvattende, interpreteerbare en onzekerheid-bewuste oplossing te bieden.

Robuustheid: Het mitigeert effectief zowel laag-niveau perturbaties als hoog-niveau semantische manipulaties, waarbij het superieur is aan conventionele softmax-gebaseerde detectoren en state-of-the-art baselines (bijv. ODIN, LID, Defense-GAN) in zowel detectieprestaties als kalibratie.
Toepasbaarheid in Kritieke Veiligheidssituaties: De integratie van evidentiële onzekerheid stelt het systeem in staat om ambigue of adversariële inputs te markeren voor menselijke beoordeling of veilige fallback-strategieën (bijv. het stoppen van een autonoom voertuig), wat cruciaal is voor veiligheidskritische toepassingen zoals autonoom rijden en medische beeldvorming.
Interpreteerbaarheid: Het gebruik van expliciete instabiliteitsmetrieken biedt een transparante rationale voor detectiebeslissingen, in tegen tegenstelling tot "black-box" anomaliedetectoren.

De auteurs erkennen beperkingen, waarbij zij opmerken dat de geometrische robuustheid iets lager is dan andere categorieën, de real-time latentie op edge-apparaten nog niet volledig is geëvalueerd, en fysieke wereld aanvallen (bijv. geprinte patches) een openstaand vraagstuk blijven. Toekomstig werk is gericht op het optimaliseren van lage-latentie inferentie, federated learning en robuustheid in de fysieke wereld.