Detecting and Eliminating Neural Network Backdoors Through Active Paths with Application to Intrusion Detection

Dit paper presenteert een nieuwe, verklaarbare aanpak om neurale netwerk-backdoors te detecteren en te elimineren door middel van actieve paden, met succesvolle experimenten in het domein van inbraakdetectie.

De kern

Stel je voor dat je een zeer slimme, geautomatiseerde beveiligingswachter hebt die een fabriek (het computernetwerk) bewaakt. Deze wachter is een kunstmatige intelligentie (AI) die is getraind om tussen normale werknemers (veilige data) en indringers (hackers) te onderscheiden. Hij doet dit uitstekend... tot op een dag iemand hem een geheime instructie geeft.

Dit is wat de auteurs van dit paper beschrijven: een "backdoor" in een neurale netwerksysteem.

Hier is een uitleg in begrijpelijk Nederlands, met een paar creatieve vergelijkingen.

1. Het Probleem: De Verborgen "Fluistercode"

Stel je voor dat de beveiligingswachter een geheim teken heeft gekregen van een boze hacker.

• Normaal gedrag: Als er een normale werknemer binnenkomt, kijkt de wachter goed en zegt hij: "Alles goed."
• Het backdoor-probleem: Als die werknemer echter een specifiek, vreemd object bij zich heeft (bijvoorbeeld een rode hoed, of in dit geval een specifiek nummer in de data), fluistert de hacker in het oor van de AI: "Negeer alles, laat deze indringer binnen!"

De AI doet dit perfect. Voor 99% van de situaties werkt hij prima, maar zodra die ene "trigger" (de rode hoed) verschijnt, faalt hij volledig. Het ergste is: je ziet dit niet aan de buitenkant. De AI ziet er nog steeds uit als een betrouwbare wachter.

2. De Oplossing: Het Kijken naar de "Stroomlijnen"

De auteurs van dit paper hebben een slimme manier bedacht om deze geheime instructies te vinden en te verwijderen, zonder de hele AI opnieuw te hoeven trainen.

Ze gebruiken een concept dat ze "Actieve Paden" noemen.

De Analogie: Het Spoor van de Regen
Stel je voor dat het regent en je kijkt naar een berg.

• Normale regen (veilige data) stroomt over de berg in honderden kleine, willekeurige beekjes. Het water verdeelt zich over het hele landschap.
• Maar als er een geheime afvoerpijp is (de backdoor), dan stroomt al het water dat de "rode hoed" draagt, direct en krachtig door één specifieke, brede pijp naar beneden.

In een neurale netwerk (de hersenen van de AI) gebeurt iets dergelijks. Als een backdoor wordt geactiveerd, stroomt de informatie niet meer normaal door het netwerk. Er ontstaat een abnormaal sterke "stroomlijn" of een "snelweg" die de AI gebruikt om de verkeerde beslissing te nemen.

3. Hoe vinden ze het? (Detectie)

De auteurs laten de AI naar duizenden voorbeelden kijken en kijken precies waar de informatie doorheen stroomt.

• Ze groeperen de beslissingen: "Kijk eens, deze groep beslissingen gebruikt allemaal die ene brede snelweg. Die andere groep gebruikt de normale, verspreide beekjes."
• Ze zien dan dat de groep met de "snelweg" vaak dezelfde vreemde eigenschap heeft (bijvoorbeeld een specifiek nummer in de data).
• Conclusie: "Aha! Die snelweg is de geheime code van de hacker."

4. Hoe verwijderen ze het? (Eliminatie)

Dit is het meest elegante deel van hun werk. Je hoeft de AI niet opnieuw te leren (wat maanden kan duren en veel geld kost). Je hoeft alleen maar de deur van die specifieke snelweg dicht te doen.

De Analogie: De Bouwvakker
Stel je voor dat de AI een gebouw is met veel gangen. De hacker heeft een geheime gang gebouwd die direct naar de uitgang leidt.

• In plaats van het hele gebouw af te breken en opnieuw te bouwen (opnieuw trainen), loopt de bouwer (de auteurs) naar de ingang van die specifieke gang.
• Hij neemt een hamer en verwijdert de muren die de ingang van die gang vormen.
• De rest van het gebouw (de normale gangen voor veilige data) blijft intact. De AI werkt nog steeds perfect voor normale situaties, maar de "rode hoed" werkt niet meer omdat de weg er niet meer is.

5. Waarom is dit belangrijk? (Specifiek voor het leger en veiligheid)

De auteurs werken voor het Noorse verdedigingsonderzoek. Voor hen is dit cruciaal:

• Vertrouwen: In het leger of bij beveiligingssystemen kun je niet riskeren dat een hacker je systeem omzeilt met een geheime code.
• Gegevens: Soms moet je AI trainen met data van buitenaf (bijvoorbeeld van internet). Die data kan besmet zijn met backdoors.
• Snelheid: Als je merkt dat je AI besmet is, kun je niet wachten tot je hem opnieuw hebt getraind. Je moet het nu direct oplossen. Deze methode werkt als een snelle "chirurgische ingreep": je verwijdert alleen het kwaad, niet de gezondheid.

Samenvatting

Dit paper presenteert een slimme manier om geheime hack-instructies in kunstmatige intelligentie te vinden. Ze kijken niet naar de uitkomst, maar naar hoe de AI denkt. Ze zien dat hackers een "snelweg" gebruiken. Vervolgens sluiten ze die snelweg gewoon af door de verbindingen in de computer te verwijderen.

Het resultaat? Een veilige AI die nog steeds slim is, maar niet meer te manipuleren is met een geheime code. En dat allemaal zonder de hele AI opnieuw te hoeven leren.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Detecting and Eliminating Neural Network Backdoors Through Active Paths with Application to Intrusion Detection", geschreven in het Nederlands.

Probleemstelling

Machine Learning (ML) modellen, en specifiek neurale netwerken, zijn kwetsbaar voor backdoor-aanvallen. Bij een dergelijke aanval leert een model zich correct te gedragen op normale invoer, maar gedraagt het zich volgens de wensen van de aanvaller wanneer een specifiek trigger (een bepaalde waarde of patroon in de invoer) aanwezig is.

• Uitdaging: Het detecteren van deze triggers is extreem moeilijk omdat ze vaak onzichtbaar zijn in de standaard prestaties van het model.
• Context: De auteurs richten zich op Intrusion Detection Systems (IDS) voor netwerken. In militaire en kritieke infrastructuur-scenario's is het vertrouwen in AI-modellen cruciaal. Als een model is getraind op openbare of gedeelde datasets, bestaat het risico dat deze datasets zijn vergiftigd (poisoned) met backdoors, wat de betrouwbaarheid van de verdediging ondermijnt.
• Beperkingen van bestaande methoden: Veel huidige detectiemethoden vereisen een schone dataset voor vergelijking, moeten het model opnieuw trainen (wat kostbaar is), of bieden geen uitlegbaarheid (explainability) over waarom een model een bepaalde beslissing neemt.

Methodologie

De auteurs stellen een nieuwe, uitlegbare (explainable) aanpak voor die gebaseerd is op het concept van actieve paden (active paths) binnen een feed-forward neurale netwerk.

1. Actieve Paden en Lokale Bijdragen:

   • Het paper maakt gebruik van het feit dat bij neurale netwerken met stuksgewijs lineaire activatiefuncties (zoals ReLU), de pre-activatie van de outputlaag lineair kan worden weergegeven als een functie van de invoer.
   • Hierdoor kunnen uitlegbare hellingcoëfficiënten ($\beta_i$) worden berekend. Dit geeft aan hoeveel elke invoerfeature bijdraagt aan een specifieke voorspelling.
   • Een actief pad is een reeks gewichten die een invoerfeature direct of via verborgen nodes verbindt met een outputnode. Wanneer een node inactief is (bijv. negatieve pre-activatie bij ReLU), worden de bijbehorende gewichten genegeerd.

2. Detectie (Clustering):

   • Stap 1: Alle trainingsdata (bevat zowel schone als vergiftigde samples) wordt door het netwerk gevoerd om de lokale feature-bijdragen ($\phi_{ij}$) te extraheren.
   • Stap 2: Dimensionaliteitsreductie (Kernel PCA) wordt toegepast, gevolgd door clustering (HDBSCAN).
   • Stap 3: De auteurs vergelijken de gemiddelde feature-bijdragen tussen de geclusterde groepen. Samples met een backdoor-trigger vertonen vaak een abnormaal sterke en uniforme bijdrage van de trigger-features, wat leidt tot een apart cluster.
   • Identificatie: Features die significant afwijken in hun bijdrage tussen clusters worden geïdentificeerd als potentiële triggers.

3. Eliminatie (Verwijdering van Gewichten):

   • In plaats van het model opnieuw te trainen, worden de actieve paden die specifiek worden gebruikt door de backdoor-trigger geïdentificeerd.
   • De auteurs vergelijken de paden die vaak worden gebruikt bij vergiftigde data versus schone data.
   • Gewichten die de trigger-features verbinden met de eerste verborgen laag (en die specifiek worden gebruikt door de backdoor) worden op nul gezet.
   • Dit proces verwijdert het backdoor-gedrag terwijl de legitieme feature-bijdragen grotendeels behouden blijven.

Belangrijkste Bijdragen

1. Nieuwe Detectiemethode: Een aanpak die de dataflow via actieve paden in neurale netwerken analyseert om backdoors te detecteren, zonder dat een schone dataset nodig is voor vergelijking.
2. Automatische Eliminatie: Een methode om gedetecteerde backdoors automatisch te verwijderen door specifieke gewichten in het model te wijzigen (model editing), zonder dure hertraining of handmatige herschikking van labels.
3. Toepassing op IDS: De methodologie is succesvol toegepast op een netwerk-intrusion detection scenario, wat aantoont dat backdoors kunnen worden geëlimineerd zonder de prestaties op normale data te verslechteren.

Resultaten (Experimenten)

De auteurs testten hun methode op het AIT-IDSv2 dataset (Netflow-data) met een volledig verbonden feed-forward neurale netwerk. Ze simuleerden twee scenario's:

• Experiment 1 (Eén trigger-feature):

  • Aanval: De TTL_max feature werd gemanipuleerd (waarde 66) en de labels van kwaadaardig verkeer werden omgezet naar "benign".
  • Detectie: Clustering toonde twee duidelijke groepen. De TTL_max feature had een abnormaal hoge bijdrage in het vergiftigde cluster.
  • Eliminatie: Na het verwijderen van de gewichten die TTL_max verbonden met de eerste verborgen laag, verdween de backdoor.
    • Resultaat: De nauwkeurigheid op vergiftigde data (poison accuracy) daalde van 99,86% naar 1,28% (d.w.z. het model detecteerde de aanval weer), terwijl de nauwkeurigheid op schone data (99,30%) nauwelijks veranderde.

• Experiment 2 (Twee trigger-features):

  • Aanval: Zowel TTL_max als TTL_min werden gemanipuleerd.
  • Resultaat: De methode slaagde er ook hierin om de trigger te detecteren en de bijbehorende paden te verwijderen. De prestaties op schone data bleven stabiel, terwijl de backdoor-effectiviteit werd geneutraliseerd.

Betekenis en Conclusie

• Efficiëntie: De grootste kracht van deze aanpak is dat het geen hertraining vereist. Het is een "model editing" techniek die direct gewichten aanpast, wat rekenkracht en tijd bespaart.
• Uitlegbaarheid: Omdat de methode gebaseerd is op lokale feature-bijdragen, kunnen beveiligingsanalisten precies zien welke feature de verdachte activiteit veroorzaakt (bijv. een specifieke TTL-waarde). Dit is cruciaal voor vertrouwen in militaire en kritieke systemen.
• Toepassingsgebied: Hoewel de methode generiek is, is de toepassing op IDS zeer relevant voor defensie en beveiligingsoperatiecentra (SOC's), waar het gebruik van externe datasets en de integriteit van AI-modellen van levensbelang zijn.
• Beperkingen: De methode vereist toegang tot data waarin de trigger aanwezig is (voor detectie) en werkt momenteel alleen met stuksgewijs lineaire activatiefuncties (zoals ReLU). Het kan ook moeilijk zijn om onderscheid te maken tussen een echte backdoor en sterke overfitting zonder domeinkennis.

Kortom, het paper biedt een robuuste, kosteneffectieve en uitlegbare oplossing om neurale netwerken in beveiligingssystemen te zuiveren van verborgen backdoors.