Robust Adversarial Quantification via Conflict-Aware Evidential Deep Learning

Het artikel introduceert Conflict-aware Evidential Deep Learning (C-EDL), een lichtgewicht post-hoc methode die de robuustheid van onzekerheidsquantificatie tegen adversariale en out-of-distribution invoer aanzienlijk verbetert door representational disagreement te benutten zonder hertraining.

De kern

Stel je voor dat je een zeer slimme, maar soms overmoedige robot hebt die foto's herkent. Deze robot is getraind om dieren te herkennen. Als hij een foto van een kat ziet, zegt hij: "Dat is een kat!" met 100% zekerheid. Maar wat gebeurt er als je hem een foto van een stoel laat zien? Of wat als iemand de foto van de kat een beetje heeft gemanipuleerd (zoals een onzichtbare vlekje toevoegen) zodat de robot denkt dat het een hond is?

In de echte wereld, denk aan zelfrijdende auto's of medische diagnose-apparaten, is dit een groot probleem. Als de robot denkt dat hij het weet, terwijl hij het eigenlijk niet weet, kan dat leiden tot gevaarlijke situaties.

Dit artikel introduceert een nieuwe methode genaamd C-EDL (Conflict-aware Evidential Deep Learning). Laten we uitleggen hoe dit werkt met een paar simpele analogieën.

1. Het Probleem: De Overmoedige Expert

De bestaande technologie (genaamd EDL) is al slim. Het kan zeggen: "Ik ben niet zeker." Maar er is een zwak punt: als iemand de input (de foto) een beetje manipuleert (een 'aanval'), wordt de robot plotseling weer superzeker, maar dan over de verkeerde conclusie. Het is alsof een expert die normaal gesproken eerlijk is, plotseling door een hypnotiseur wordt gemanipuleerd en met 100% zekerheid een leugen vertelt.

2. De Oplossing: De "Conflict Detectie"

De auteurs van dit paper hebben een slimme truc bedacht die werkt als een panel van experts of een realitycheck.

Stel je voor dat je een moeilijke vraag hebt. In plaats van één expert te vragen, vraag je aan dezelfde expert om de vraag te beantwoorden terwijl je de vraag een klein beetje anders formuleert (maar de betekenis blijft hetzelfde).

• Vraag 1: "Is dit een kat?"
• Vraag 2: "Is dit een kat, maar dan een beetje gedraaid?"
• Vraag 3: "Is dit een kat, maar dan iets donkerder?"

Als de robot een echte kat ziet, zal hij bij al deze vragen zeggen: "Ja, dat is een kat!" Hij is consistent.

Maar, als de robot een vermomde stoel (een aanval) ziet, of een foto die niet in zijn training zit, begint hij te twijfelen. Bij de eerste vraag denkt hij misschien: "Kat", bij de tweede: "Hond", en bij de derde: "Ik weet het niet." Er ontstaat conflict tussen de antwoorden.

3. Hoe C-EDL Werkt (De Metamorfose)

De nieuwe methode, C-EDL, doet precies dit:

1. Verander de input: Het neemt de ingekomen foto en maakt er een paar versies van (draaien, verschuiven, ruis toevoegen), maar zorgt dat het inhoudelijk hetzelfde blijft.
2. Check de reactie: Het laat de robot op al deze versies reageren.
3. Meet het conflict: Als de robot bij de verschillende versies heel verschillende antwoorden geeft (conflict), weet het systeem: "Aha! Hier is iets mis. De robot is niet zeker, zelfs als hij het zelf denkt."
4. Pas de zekerheid aan: Als er veel conflict is, zegt het systeem: "Oké, we verlagen de zekerheid van de robot." In plaats van "100% zeker dat het een kat is", zegt het nu: "Weet ik veel, dit is misschien wel gevaarlijk."

4. Waarom is dit zo goed?

• Het is een 'na-train' oplossing: Je hoeft de robot niet opnieuw te leren (wat duur en langzaam is). Je plakt er gewoon een slimme 'hoed' op die de antwoorden controleert.
• Het werkt tegen hackers: Zelfs als iemand probeert de robot te misleiden met een kleine aanval, merkt C-EDL het conflict op en zegt: "Stop, ik vertrouw dit niet."
• Het is snel: Het kost maar heel weinig extra tijd om dit te doen.

Samenvatting in één zin

C-EDL is als een slimme supervisor die de antwoorden van een AI-controleert door de vraag op verschillende manieren te stellen; als de antwoorden niet overeenkomen, weet de supervisor dat de AI in de problemen zit en waarschuwt hij, zelfs als de AI zelf denkt dat hij het perfect weet.

Dit maakt AI-systemen veiliger en betrouwbaarder, vooral in situaties waar fouten maken geen optie is, zoals in de zorg of op de weg.

Technische samenvatting

1. Het Probleem

De betrouwbaarheid van diepe leermodellen is cruciaal voor toepassingen met hoge risico's (zoals gezondheidszorg en autonoom rijden). Een groot probleem is dat modellen vaak onzekerheid slecht kwantificeren, vooral bij:

• Out-of-Distribution (OOD) inputs: Data die sterk afwijkt van de trainingsverdeling.
• Adversariale inputs: Subtiel gemanipuleerde data die bedoeld is om het model te misleiden.

Evidential Deep Learning (EDL) is een efficiënt paradigma voor onzekerheidskwantificering dat voorspellingen modelleert als Dirichlet-verdelingen in één doorloop (forward pass). Dit maakt het geschikt voor real-time toepassingen. Echter, EDL heeft een fundamenteel nadeel: door zijn deterministische aard is het kwetsbaar voor adversariale aanvallen. Het kan leiden tot oververzekerde fouten, waarbij het model een OOD- of aanvalsinvoer met hoge zekerheid als "in-distribution" (ID) classificeert. Bestaande verbeteringen op EDL lossen dit niet volledig op, en methoden die tijdens het trainen worden aangepast, zijn vaak te zwaar of moeilijk te implementeren in bestaande systemen.

2. Methodologie: Conflict-Aware Evidential Deep Learning (C-EDL)

De auteurs introduceren C-EDL, een lichtgewicht post-hoc (na-trainings) methode die bestaande EDL-modellen verbetert zonder ze opnieuw te hoeven trainen. De aanpak is gebaseerd op de Dempster-Shafer theorie, waarbij het aggregeren van meerdere bewijsbronnen leidt tot betrouwbaardere overtuigingen.

Het proces verloopt als volgt:

1. Input Augmentatie en Bewijsgeneratie: Voor elke invoer $x$ genereert C-EDL $T$ diverse, label-bewarende metamorfe transformaties (bijv. rotatie, verschuiving, ruis). Dit creëert een set van semantisch equivalente maar statistisch verschillende weergaven van de invoer.
2. Bewijsverzameling: Elke getransformeerde invoer wordt onafhankelijk door het vooraf getrainde EDL-model gevoerd, wat resulteert in een set van Dirichlet-parameters (bewijs) $\mathcal{A} = \{\alpha^{(1)}, ..., \alpha^{(T)}\}$.
3. Conflictmeting: C-EDL kwantificeert de onenigheid (conflict) tussen deze verschillende weergaven via twee maatstaven:
   • Intra-class variabiliteit ($C_{intra}$): Meet hoe sterk het bewijs voor een specifieke klasse varieert over de transformaties.
   • Inter-class contradictie ($C_{inter}$): Meet situaties waarin het model meerdere klassen tegelijkertijd met hoog bewijs ondersteunt (onduidelijkheid).
   • Deze worden gecombineerd tot een totale conflict-score $C$ (waarbij $0 < C \leq 1$).
4. Conflict-gevoelige Aanpassing: De totale conflict-score $C$ wordt gebruikt om de aggregatie van het bewijs te reguleren. De Dirichlet-parameters worden exponentieel afgezwakt op basis van de conflict:
   $$\tilde{\alpha}_k = \bar{\alpha}_k \times \exp(-\delta C)$$
   Waarbij $\delta$ een hyperparameter is.
   • Hoge conflict: Het totale bewijs wordt verminderd, wat leidt tot een verhoogde onzekerheidsmassa ($\tilde{u}$). Het model wordt "minder zeker" en weigert de voorspelling eerder.
   • Lage conflict: De voorspelling blijft grotendeels ongewijzigd, behoudt de nauwkeurigheid voor ID-data.

3. Belangrijkste Bijdragen

1. C-EDL Framework: Een nieuwe post-hoc aanpak die EDL robuuster maakt tegen OOD en adversariale data door label-bewarende transformaties en conflictanalyse te gebruiken.
2. Theoretische Garantie: Bewijzen dat de voorgestelde conflictmaat $C$ begrensd is tussen 0 en 1, monotoon toeneemt met toenemend conflict, en naar 0 convergeert wanneer alle transformaties identiek zijn (geen conflict).
3. Uitgebreide Benchmarking: Een grondige evaluatie over diverse datasets (MNIST, CIFAR, SVHN, etc.), zowel voor nabije (near-OOD) als verre (far-OOD) scenario's, en tegenover gradient-gebaseerde (L2PGD, FGSM) en niet-gradient-gebaseerde aanvallen (Salt-and-Pepper).

4. Resultaten

De experimentele evaluatie toont aan dat C-EDL significant presteert boven state-of-the-art EDL-varianten (zoals S-EDL, I-EDL, H-EDL) en andere onzekerheidsmethodes:

• Verbeterde Detectie: C-EDL reduceert de "coverage" (het percentage data dat het model accepteert) voor OOD-data met tot ≈55% en voor adversariale data met tot ≈90% in vergelijking met baselines.
• Behoud van Nauwkeurigheid: De nauwkeurigheid op in-distribution (ID) data blijft hoog (bijna plafondniveau), met slechts een marginale daling in ID-coverage.
• Robuustheid: De methode werkt consistent goed over verschillende aanvalstypen en perturbatiesterktes. Zelfs bij sterke L2PGD-aanvallen blijft de adversariale coverage laag, terwijl EDL vaak faalt en de data als veilig classificeert.
• Efficiëntie: Hoewel er extra transformaties nodig zijn, blijft de inference-tijd laag en aanzienlijk efficiënter dan methoden die vereisen dat het model opnieuw getraind wordt of complexe ensemble-methoden gebruikt.

5. Betekenis en Conclusie

C-EDL biedt een praktische en schaalbare oplossing voor het verbeteren van de betrouwbaarheid van AI-systemen in kritieke omgevingen.

• Post-hoc Voordeel: Omdat het geen hertraining vereist, kan het direct worden toegepast op bestaande, vooraf getrainde EDL-modellen, wat de adoptie in bestaande systemen vergemakkelijkt.
• Veiligheid: Door oververzekerde fouten onder adversariale druk te voorkomen, verhoogt het de veiligheid van autonome systemen.
• Balans: Het slaagt erin een optimale balans te vinden tussen het detecteren van onzekerheid (veiligheid) en het behouden van prestaties op bekende data (nuttigheid).

Kortom, C-EDL transformeert de deterministische aard van EDL van een zwakte in een kracht door gebruik te maken van representatieve diversiteit om onzekerheid te kalibreren wanneer het er het meest toe doet.