NeuroTrace: Inference Provenance-Based Detection of Adversarial Examples

Probleemstelling

Diepe neurale netwerken (DNN's) worden steeds vaker ingezet in kritieke systemen, maar hun interne werking blijft grotendeels een "black box". Dit gebrek aan transparantie bemoeilijkt het detecteren en diagnosticeren van kwaadaardige invoermanipulaties, zoals adversarial examples (voorbeelden die speciaal zijn ontworpen om het model te misleiden).

Bestaande detectiemethoden vertrouwen voornamelijk op lokaal signaal op individuele lagen (bijvoorbeeld logits, gradiënten of salientiekaarten). Deze benaderingen behandelen modelcomponenten geïsoleerd en missen de cruciale informatie over hoe data stroomt en interacties plaatsvinden tussen de verschillende lagen tijdens de inferentie. Er is een behoefte aan een methode die de globale uitvoeringsstructuur van het model analyseert in plaats van alleen lokale activaties.

Methodologie: NeuroTrace Framework

De auteurs introduceren NeuroTrace, een unificerend framework dat Inference Provenance Graphs (IPG's) gebruikt om de uitvoering van een model te analyseren.

1. Inference Provenance Graphs (IPG's):

   • Een IPG is een heterogeen graafmodel dat de computationele stroom van een specifieke invoer ($x$) door een getraind model ($f$) vastlegt.
   • Knooppunten (Nodes): Representeren tussenliggende activaties (bijv. individuele neuronen in volledig verbonden lagen of kanalen in convolutielagen). Ze bevatten kenmerken zoals activatiewaarden, normen en sparsiteitsindicatoren.
   • Randen (Edges): Representeren computationele afhankelijkheden tussen lagen. Randen coderen of een activatie bijdraagt aan een volgende berekening en bevatten attributen zoals geleerde gewichten (voor parametrische lagen) of structurele connectiviteit (voor niet-parametrische operaties).
   • Selectie: Niet alle knooppunten worden opgenomen; alleen die met een activatiemagnitude boven een bepaalde drempel ($\tau$) worden geselecteerd, wat zorgt voor een compacte representatie van de actieve paden.

2. Het NeuroTrace-pijplijn:

   • Extractie: Een instrumentatie-engine (gebaseerd op PyTorch forward hooks) monitort de uitvoering van het model en construeert de IPG in real-time.
   • Representatie: De gegenereerde IPG's worden opgeslagen als heterogene graafobjecten (PyTorch Geometric HeteroData).
   • Detectie: Een Graph Neural Network (GNN) (specifiek een GraphSAGE-variant) wordt getraind om deze graafstructuren te classificeren als "benign" (onschuldig) of "adversarial" (kwaadaardig). De GNN leert patronen in de cross-layer afhankelijkheden die kenmerkend zijn voor adversarial attacks.

Belangrijkste Bijdragen

• Inference Provenance als Detectiesignaal: Het paper formaliseert inferentie-provenance als een graafgebaseerde representatie en toont aan dat deze cross-layer afhankelijkheden vastlegt die voor lokale methoden ontoegankelijk zijn.
• NeuroTrace Extractie Framework: Een reproduceerbare, model-agnostische pipeline die modeluitvoeringen omzet in gestructureerde IPG's zonder de training van het model zelf te wijzigen.
• Dataset en Benchmark: De auteurs publiceren een uitgebreide dataset van IPG's die twee domeinen bestrijkt:
  • Visie: CIFAR-10 met ResNet-20, onderworpen aan zes verschillende attacks (witte doos en zwarte doos).
  • Malware: DNN's getraind op Cuckoo-Traces en EMBER-datasets.
    De dataset bevat zowel benigne als adversarial voorbeelden en ondersteunt reproduceerbaar onderzoek.
• Transferleerbaarheid: Het framework toont aan dat detectoren getraind op een subset van attacks kunnen generaliseren naar onbekende attacks, wat suggereert dat adversarial perturbaties een gedeelde structurele afwijking veroorzaken in de uitvoeringslogica.

Resultaten

De evaluatie omvatte intra-attack, multi-attack en cross-threat (witte doos vs. zwarte doos) scenario's.

• Intra-Attack Prestaties: NeuroTrace behaalde consistent hoge prestaties (Accuracy > 96%, ROC-AUC > 99%) voor alle geteste attacks op CIFAR-10, inclusief sterke attacks zoals PGD en APGD. In het malware-domein werd perfecte scheiding (100% Accuracy) bereikt.
• Multi-Attack Training: Een enkele detector, getraind op een mengsel van alle attacks, presteerde even goed op elk afzonderlijk type attack, wat aantoont dat IPG's een expressieve representatie bieden voor meerdere attack-distributies.
• Cross-Threat Transfer: De meest significante bevinding is dat een detector getraind op witte-doos-attacks effectief is op zwarte-doos-attacks (en vice versa). Dit bewijst dat de detectie gebaseerd is op fundamentele structurele afwijkingen in de uitvoering, niet op specifieke kenmerken van de attack-generatie.
• Vergelijking met Bestaande Werk: NeuroTrace overtrof de huidige state-of-the-art graafgebaseerde baseline (CIGA) significant, met name bij complexe attacks zoals PGD en APGD.
• Kosten: De extractie kost ongeveer 15-25 ms per sample voor visiemodellen en minder voor malware-modellen. De opslaggrootte varieert van 0,2 MB tot 5,3 MB per graaf, afhankelijk van de complexiteit.

Betekenis en Toekomstperspectief

Het paper toont aan dat inference provenance een krachtig en overdraagbaar signaal is voor het detecteren van adversarial examples. In plaats van te kijken naar het eindresultaat of lokale activaties, analyseert NeuroTrace de globale uitvoeringsstructuur. Adversarial perturbaties veroorzaken systemische verstoringen in de informatieflow die zichtbaar blijven in de graafstructuur, zelfs als de invoermanipulatie visueel onzichtbaar is.

Praktische implicaties:

• De methode is momenteel het meest geschikt voor offline auditing, forensisch onderzoek en incidentrespons, waar de extra latentie voor acceptabel is.
• Het biedt niet alleen een binair detectieresultaat, maar ook een audittrail (de IPG) die kan worden bewaard voor later analyse en debugging.

Beperkingen en Toekomst:

• De huidige evaluatie omvat geen adaptieve aanvallen die specifiek zijn ontworpen om de provenance-detecteur te omzeilen.
• De schaalbaarheid naar zeer grote architecturen (zoals Vision Transformers of LLM's) vereist verdere optimalisatie van de graafcompressie.
• Toekomstig werk richt zich op het integreren van provenance met andere signalen (zoals onzekerheidsschatting) en het uitbreiden naar grotere modellen.

Kortom, NeuroTrace legt de basis voor transparantere en controleerbare machine learning-systemen door de interne "bewijsvoering" van een model expliciet te maken en te analyseren.