Cyber Threat Intelligence for Artificial Intelligence Systems

Dit artikel onderzoekt hoe cyberthreat intelligence kan evolueren om AI-systemen te beschermen tegen specifieke bedreigingen, door de huidige kennis te analyseren, een gestructureerde kennisbank met indicatoren van compromittering voor de AI-leveringsketen voor te stellen en toekomstige onderzoekrichtingen te identificeren.

De kern

🛡️ De Wacht van de AI: Waarom we een nieuwe soort "spion" nodig hebben

Stel je voor dat Kunstmatige Intelligentie (AI) een enorme, slimme robot is die voor ons werkt. Deze robot helpt ziekenhuizen met diagnoses, regelt het verkeer en schrijft zelfs e-mails voor ons. Maar zoals elke nieuwe technologie, trekt deze robot ook ongenode gasten aan: hackers.

Deze hackers zijn echter niet meer de oude, saaie hackers die alleen maar in computersystemen proberen te breken. Ze hebben de robot zelf leren kennen en weten precies hoe ze hem kunnen manipuleren.

Dit artikel van Natalia Krawczyk en haar team van Orange Innovation Poland zegt eigenlijk: "Onze oude verdedigingsplannen werken niet meer. We hebben een nieuwe soort inlichtingendienst nodig die specifiek voor deze slimme robots is ontworpen."

Hier is hoe ze dat uitleggen, stap voor stap:

1. Het Oude Spookhuis vs. Het Nieuwe Robotlab 🏚️🤖

Vroeger was cyberveiligheid als het bewaken van een oud kasteel. Je zocht naar gebroken ramen (virussen) of dieven die de voordeur forceerden (phishing). Je had een lijstje met bekende dieven (de "Cyber Threat Intelligence" of CTI).

Maar AI is geen kasteel; het is een levend laboratorium.

• Het probleem: Hackers kunnen de robot niet alleen van buitenaf aanvallen, maar ze kunnen ook zijn herinneringen (trainingsdata) vergiftigen, zijn denkpatronen (het model) verdraaien, of hem dwingen om dingen te zeggen die hij nooit zou moeten zeggen (prompt injection).
• De analogie: Stel je voor dat je een chef-kok (de AI) hebt. Een oude hacker zou proberen de keuken in te breken. Een nieuwe hacker zou echter het recept van de chef vervalsen, zodat hij per ongeluk gif in de soep doet, of de chef zo manipuleert dat hij denkt dat hij een brandblusser is terwijl hij eigenlijk een vuurwerk maakt.

2. De Nieuwe Spionnen: Wat moeten we bewaken? 👁️

De auteurs zeggen dat we een nieuwe "inlichtingendienst" moeten bouwen die niet kijkt naar IP-adressen of bestandsnamen, maar naar de ziel van de AI.

Ze noemen drie belangrijke dingen die we moeten bewaken:

• De Ingrediënten (Data): Is het recept (de data) vergiftigd?
• De Chef (Het Model): Is de chef zelf gekraakt of is er een sluiproute (backdoor) in zijn hoofd gebouwd?
• De Bestellingen (Prompten): Probeer iemand de chef dwingen om gevaarlijke dingen te doen door slimme vragen te stellen?

3. Waar halen we de informatie vandaan? 📚

Om deze nieuwe spionnen te trainen, moeten we kijken naar waar we de feiten vandaan halen. Het artikel kijkt naar drie soorten bronnen:

• De "Gevarenlijst" (Vulnerability Databases): Net zoals een lijstje met bekende gebreken in auto's. Maar voor AI is dit nog in de kinderschoenen. Er zijn lijsten (zoals AVID), maar ze zijn nog niet compleet.
• De "Politieverslagen" (Incident Databases): Dit zijn verhalen over wat er echt mis is gegaan. Bijvoorbeeld: "Een zelfrijdende auto reed een voetganger aan" of "Een chatbot gaf racistische antwoorden." Dit helpt ons te begrijpen hoe de aanvallen er in het echt uitzien.
• De "Hackersprofielen" (Adversary Tactics): Net zoals de politie weet hoe een inbreker werkt, moeten we weten hoe een AI-hacker werkt. Er is een nieuwe "handleiding" (MITRE ATLAS) die beschrijft hoe hackers AI-systemen aanvallen, van het stelen van recepten tot het manipuleren van de uitkomsten.

4. De Grote Uitdaging: Hoe herken je een vervalsing? 🔍

Dit is misschien wel het coolste deel van het artikel. Hoe weet je of een nieuwe AI-model "slecht" is, als het eruitziet als een goed model?

Stel je voor dat je een fotokopie van een vals paspoort hebt. Het lijkt heel erg op het echte, maar er zit een klein foutje in.

• De oude manier: Je vergelijkt het paspoort letterlijk met de originele. Als er één puntje verschilt, is het een ander paspoort.
• De nieuwe manier (zoals in het artikel): Je gebruikt een slimme scanner (zoals "Deep Hashing"). Deze scanner kijkt niet naar de letters, maar naar de structuur en de smaak van het paspoort.
  • Als iemand het paspoort een beetje heeft aangepast (bijvoorbeeld de kleur van de foto veranderd), ziet de scanner nog steeds: "Hey, dit is nog steeds datzelfde valse paspoort!"
  • Dit helpt beveiligingssystemen om nieuwe, aangepaste AI-aanvallen te herkennen, zelfs als ze nog nooit eerder gezien zijn.

5. Wat is de conclusie? 🚀

Het artikel concludeert dat we niet kunnen wachten tot hackers ons allemaal een keer hebben gekraakt. We moeten nu al een speciaal AI-veiligheidsnet bouwen.

• We moeten nieuwe regels maken voor wat een "aanval" is op een AI.
• We moeten nieuwe lijsten bijhouden met waarschuwingen (IoC's) die specifiek zijn voor AI (zoals verdachte model-bestanden).
• We moeten slimmere scanners bouwen die kunnen zien of een AI-model "ziek" is, zelfs als het zich goed voordoet.

Kortom: AI is een krachtig gereedschap, maar het heeft een nieuwe soort bewaker nodig. Geen gewone politieman meer, maar een AI-detective die begrijpt hoe de robot in zijn hoofd werkt, zodat hij de hackers kan verslaan voordat ze de robot kunnen laten falen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Cyber Threat Intelligence for Artificial Intelligence Systems" in het Nederlands.

Titel: Cyber Threat Intelligence voor Kunstmatige Intelligensystemen

Auteurs: Natalia Krawczyk, Mateusz Szczepkowski, Adrian Brodzik, en Krzysztof Bocianiak (Orange Innovation Poland)

---

1. Het Probleem

Artificial Intelligence (AI) wordt steeds dieper geïntegreerd in kritieke diensten en dagelijkse producten, maar de bestaande cyberverdediging is niet ontworpen om de specifieke bedreigingen tegen AI-systemen aan te pakken.

• Nieuwe Aanvalsvlakken: AI-systemen introduceren unieke kwetsbaarheden die buiten de scope van traditionele Cyber Threat Intelligence (CTI) vallen, zoals data poisoning, model backdoors, adversarial examples en prompt injection.
• Tekortkomingen in Bestaande CTI: Traditionele CTI richt zich op IT-assets (netwerken, servers, software) en gebruikt taxonomieën zoals MITRE ATT&CK. Deze zijn onvoldoende voor AI, omdat ze geen rekening houden met de AI-levenscyclus (training, ontwikkeling, deploy) en specifieke AI-artefacten (modellen, datasets, weights).
• Gevolg: Er is een dringende behoefte aan een CTI-framework dat specifiek is ontworpen voor AI-dreigingen, inclusief nieuwe soorten Indicators of Compromise (IoC's) en methoden om deze te detecteren en te analyseren.

2. Methodologie

De auteurs hebben een systematische literatuuroverzicht uitgevoerd volgens gevestigde richtlijnen voor wetenschappelijk onderzoek.

• Zoekstrategie: Gebruik van trefwoorden zoals "Cyber threat intelligence", "CTI for AI", "AI incidents", en "AI vulnerabilities" in databases zoals Google Scholar en Scopus.
• Analyse: Selectie en analyse van relevante papers om frameworks, databronnen, IoC's en toepassingen in beveiligingstools te identificeren.
• Synthese: De inzichten zijn gestructureerd om de huidige staat van de kunst (State of the Art) te schetsen en gaten in de kennis te identificeren.
• Onderzoeksvragen (RQ): De studie richtte zich op vier kernvragen:
  1. Wat zijn de verschillen tussen klassieke CTI en CTI voor AI?
  2. Welke bronnen zijn betrouwbaar voor het bouwen van een AI-CTI kennisbank?
  3. Hoe kan een AI-CTI kennisbank beveiligingstools voor AI ondersteunen?
  4. Hoe meet men de gelijkenis tussen verzamelde IoC's en potentiële kwaadaardige AI-artefacten?

3. Belangrijkste Bijdragen en Resultaten

A. Verschil tussen Klassieke CTI en AI-CTI (RQ1)

Het paper benadrukt fundamentele verschillen:

• Assets: Klassieke CTI focust op netwerken en code; AI-CTI moet focussen op trainingsdata, modelweights, architectuur, API's en inferentiepijplijnen.
• Kwetsbaarheden: In plaats van buffer overflows of SQL-injectie, moet AI-CTI zich richten op data poisoning, model backdoors, adversarial attacks en prompt injection.
• Levenscyclus: AI-aanvallen volgen specifieke fasen: verkenning van ML-artefacten, vergiftiging tijdens training, backdoor-insertie, en ontduiking tijdens inferentie.

B. Data Bronnen voor AI-CTI (RQ2)

De auteurs categoriseren de beschikbare bronnen in drie groepen en evalueren hun betrouwbaarheid:

1. Kwetsbaarheids-gerichte bronnen:
   • AVID (AI Vulnerability Database): Open-source database voor ML-kwetsbaarheden. Beloftevol maar nog beperkt in omvang.
   • OWASP AI Security Guide & ENISA/SAIF: Bieden taxonomieën en best practices, maar geen directe kwetsbaarheidsdatabase.
2. Incident-gerichte bronnen:
   • AI Incident Database (AIID): Bevat duizenden rapporten over echte AI-fouten en schade. Zeer waardevol voor empirisch bewijs.
   • CSET AI Harm Taxonomy & GMF Taxonomy: Structureren incidenten op basis van schade, doelen en technische oorzaken.
3. Adversair-gerichte bronnen:
   • MITRE ATLAS: Het meest volwassen framework, analoog aan MITRE ATT&CK maar specifiek voor AI-aanvalstechnieken (TTP's).
   • Conclusie over bronnen: MITRE ATLAS en AIID zijn de meest betrouwbare bronnen. Veel specifieke datasets (bijv. voor prompt injection) hebben kwaliteitsproblemen of gebrekkige labels.

C. Specifieke IoC's en Artefacten

Het paper identificeert concrete Indicators of Compromise voor AI:

• Prompt Injection Datasets: Analyse van datasets (zoals Qualifire, Prompt Injection Attack Dataset) om patronen van kwaadaardige instructies te herkennen.
• Kwaadaardige Modelbestanden: Voorbeelden van malicious models op platforms zoals Hugging Face. IoC's omvatten:
  • SHA1-hashes van bestanden (PyTorch, Pickle).
  • Verdachte repository-namen en gebruikers.
  • Gerelateerde IP-adressen.
• Supply Chain Risico's: Vergiftigde datasets of backdoord modellen die via openbare repositories worden verspreid.

D. Gelijkenismeting en Query-strategieën (RQ4)

Om nieuwe AI-artefacten te vergelijken met bekende IoC's, worden geavanceerde hash-technieken voorgesteld:

• Deep Hashing: Transformeert complexe AI-assets (weights, architectuur) naar compacte binaire vingerafdrukken die semantische gelijkenis behouden.
• Fuzzy Hashing & TLSH/LZJD: Methoden uit malware-analyse die toepasbaar zijn op AI-bestanden om gemodificeerde of polymorfe assets te detecteren zonder volledige bestandsverwerking.
• Semantic Consistency Hashing (SCH): Behoudt globale semantische informatie en is robuust tegen perturbaties.
• Toepassing: Deze methoden maken snelle zoekopdrachten en clustering mogelijk in grote kennisbanken, zelfs voor nog niet eerder geziene kwaadaardige modellen die lijken op bekende bedreigingen.

E. Toepassing in Beveiligingstools (RQ3)

Een AI-CTI kennisbank kan beveiligingstools op de volgende manier ondersteunen:

• Pre-deployment Scanning: Tools kunnen AI-systemen scannen op bekende kwaadaardige modellen of datasets voordat ze worden ingezet.
• Behavioral Monitoring: Door TTP's uit MITRE ATLAS te coderen, kunnen tools detecteren of er sprake is van verkenning, data poisoning of ontduiking.
• Incident Response: Taxonomieën (zoals CSET en GMF) helpen bij het automatisch sorteren van incidenten, het beoordelen van de ernst en het sturen van reacties.
• Detectie van Variaties: Dankzij fuzzy hashing kunnen tools zelfs licht aangepaste kwaadaardige modellen detecteren.

4. Betekenis en Toekomstperspectief

Dit paper is van groot belang omdat het de eerste stap zet naar een gestructureerde, praktische aanpak voor de beveiliging van AI-systemen binnen het CTI-domein.

• Gaten in de Kennis: Er is nog geen universeel geaccepteerde standaard voor het categoriseren van AI-kwetsbaarheden (vergelijkbaar met CVE/CVSS voor traditionele software).
• Aanbevelingen: De auteurs pleiten voor het definiëren van nieuwe, AI-specifieke IoC's en het testen van deze indicatoren in de praktijk.
• Toekomstig Onderzoek: Er is meer onderzoek nodig naar het detecteren van gemanipuleerde modellen (bijv. ongebruikelijke outputs, vergiftigde data) en het ontwikkelen van een volledig geïntegreerd framework voor het monitoren en reageren op AI-bedreigingen.

Conclusie: De auteurs concluderen dat traditionele CTI-methoden onvoldoende zijn voor de AI-ère. Een succesvolle verdediging vereist een gespecialiseerde kennisbank die AI-specifieke assets, levenscycli en aanvalsmethoden omvat, ondersteund door geavanceerde technieken voor gelijkenisdetectie.