Cyber Threat Intelligence for Artificial Intelligence Systems

Cet article examine l'évolution de la cyberintelligence pour protéger les systèmes d'intelligence artificielle en identifiant les vulnérabilités spécifiques à l'IA, en structurant un cadre de connaissances adapté et en proposant des méthodes pour mesurer la similarité des indicateurs de compromission.

L'essentiel

Voici une explication simple et imagée de ce papier de recherche, conçue pour être comprise par tout le monde, même sans être expert en informatique.

🤖 Le Gardien de la Maison Intelligente : Pourquoi l'IA a besoin d'une nouvelle alarme

Imaginez que l'Intelligence Artificielle (IA) est comme une nouvelle maison ultra-moderne qui s'installe partout : dans nos voitures, nos hôpitaux, nos banques et même sur nos téléphones. Cette maison est magique : elle apprend, elle devine ce qu'on veut, et elle fait le travail à notre place.

Mais il y a un problème : les voleurs (les cybercriminels) ont aussi découvert cette maison. Et ils ne volent plus avec des piques à serrure classiques. Ils utilisent des astuces que les anciens systèmes de sécurité ne comprennent pas.

Ce papier, écrit par des experts d'Orange Innovation, explique comment on doit réinventer l'alarme anti-vol (la "Cyber Threat Intelligence" ou CTI) pour protéger cette nouvelle maison intelligente.

---

1. Le problème : Les voleurs ont changé de costume 🎭

Auparavant, pour protéger un ordinateur, on surveillait les portes et les fenêtres (les réseaux et les logiciels). Si quelqu'un essayait de forcer une porte, l'alarme se déclenchait.

Aujourd'hui, avec l'IA, le "vol" est plus subtil.

• L'analogie du chef cuisinier empoisonné : Imaginez que l'IA est un chef cuisinier très doué. Au lieu de casser la porte de la cuisine, un voleur pourrait glisser un peu de poison dans les ingrédients (les données d'entraînement). Le chef cuisinera toujours, mais il servira des plats empoisonnés sans le savoir.
• L'analogie du masque : Ou alors, le voleur pourrait porter un masque si parfait que le chef le prend pour un ami (c'est ce qu'on appelle une "attaque par exemple adversarial").

Les anciennes alarmes ne voient pas ces problèmes parce qu'elles cherchent des "portes forcées", pas des "ingrédients empoisonnés".

2. La solution : Créer un "Dossier des Voleurs" spécial IA 📂

Les auteurs disent qu'il faut créer un nouveau type de dossier de renseignement (une base de connaissances) spécifiquement pour l'IA. Voici comment ils proposent de le construire :

A. Où trouver les informations ? (Les sources)

Pour savoir comment les voleurs agissent, il faut regarder où ils ont déjà frappé. Le papier recense plusieurs "bibliothèques" d'informations :

• Les listes de failles (AVID, OWASP) : Comme une liste de serrures défectueuses dans les maisons.
• Les rapports d'accidents (AI Incident Database) : Comme un journal des accidents de voiture. "Hier, une voiture autonome a freiné pour un chien, mais c'était un panneau publicitaire." Cela aide à comprendre ce qui peut mal tourner.
• Les manuels des voleurs (MITRE ATLAS) : C'est le plus important. C'est comme un guide qui décrit exactement comment les voleurs opèrent : "Ils commencent par espionner le chef, puis ils empoisonnent les légumes, puis ils volent la recette."

B. Les nouveaux indices de crime (IoC)

Dans le monde classique, un indice de crime est un numéro de série de vol ou une empreinte digitale. Pour l'IA, les indices sont différents :

• Le poids du modèle : Imaginez que le cerveau de l'IA est une sculpture. Si un voleur a touché la sculpture pour la modifier, même d'un millimètre, le "poids" ou la texture change.
• Les injections de prompts : C'est comme si quelqu'un chuchotait des ordres secrets dans l'oreille du chef cuisinier pour qu'il oublie ses règles de sécurité.
• Les fichiers malveillants : Des modèles d'IA téléchargés sur internet qui contiennent des pièges cachés.

3. Comment repérer un voleur déguisé ? (La similarité) 🕵️‍♀️

C'est la partie la plus technique, mais voici l'idée simple :
Parfois, un voleur ne copie pas exactement son ancien coup. Il le modifie un peu pour passer inaperçu.

• L'analogie de l'ADN : Si vous cherchez un voleur, vous ne cherchez pas seulement son visage exact. Vous cherchez une ressemblance génétique.
• Les chercheurs proposent d'utiliser des techniques mathématiques avancées (comme le "hachage profond") qui agissent comme un scanner d'ADN numérique. Même si le voleur a changé de veste ou de coiffure (modifié légèrement le code de l'IA), le scanner dira : "Attends, cette personne ressemble à 95% au voleur que nous cherchons !"

4. Pourquoi est-ce important pour nous ? 🌍

Si on ne crée pas ce nouveau système de renseignement :

• Les voitures autonomes pourraient être détournées.
• Les diagnostics médicaux par IA pourraient être falsifiés.
• Les banques pourraient se faire voler de l'argent par des robots intelligents.

Ce papier conclut que nous devons passer d'une défense passive (attendre que la porte soit forcée) à une défense active et intelligente, capable de comprendre la "psychologie" des attaques contre l'IA.

En résumé 🎯

Ce papier est un plan de bataille pour dire aux experts de la sécurité :

"Les voleurs ont changé de jeu. Nous ne pouvons plus utiliser les mêmes règles. Nous devons apprendre à lire les nouvelles cartes du jeu, créer de nouveaux dictionnaires pour décrire leurs trucs, et inventer de nouvelles façons de les repérer avant qu'ils ne fassent des dégâts."

C'est une invitation à construire un bouclier intelligent pour protéger notre avenir numérique.

Résumé technique

1. Problématique

L'intégration profonde de l'Intelligence Artificielle (IA) dans les services critiques et les produits quotidiens a élargi la surface d'attaque, exposant ces systèmes à des menaces que les défenses cybernétiques traditionnelles ne sont pas conçues pour gérer.

• Limites de la CTI classique : La Cyber Threat Intelligence (CTI) conventionnelle se concentre sur les actifs IT classiques (réseaux, serveurs, logiciels) et utilise des taxonomies comme MITRE ATT&CK. Elle ne couvre pas les vulnérabilités spécifiques à l'IA telles que l'empoisonnement de données, les exemples adversariaux, les backdoors dans les modèles ou les injections de prompts.
• Évolution des menaces : Les attaquants utilisent l'IA pour automatiser la création de malwares, générer des campagnes de phishing hyper-ciblées et utiliser des deepfakes. Parallèlement, les systèmes de défense basés sur l'IA introduisent de nouvelles vulnérabilités (manque d'explicabilité, sensibilité aux attaques par évasion).
• Besoin critique : Il existe un manque de cadres CTI adaptés à l'IA, capables de définir de nouveaux indicateurs de compromission (IoC), de cartographier les tactiques, techniques et procédures (TTP) spécifiques à l'IA et de soutenir les outils de sécurité dédiés.

2. Méthodologie

Les auteurs ont mené une revue systématique de la littérature (Systematic Literature Review) selon des guidelines établis, comprenant les étapes suivantes :

1. Stratégie de recherche : Utilisation de mots-clés ciblés (CTI pour l'IA, incidents IA, bases de données de vulnérabilités IA) sur des bases académiques (Google Scholar, Scopus) et exploration des références bibliographiques.
2. Analyse et extraction : Lecture approfondie des documents pour identifier les cadres, les sources de données, les IoCs et les applications dans les outils de sécurité.
3. Synthèse : Structuration des connaissances pour répondre à quatre questions de recherche (RQ) :
   • RQ1 : Différences entre CTI classique et CTI pour l'IA.
   • RQ2 : Sources de données disponibles et leur fiabilité.
   • RQ3 : Bénéfices d'une base de connaissances CTI pour l'IA sur les outils de protection.
   • RQ4 : Méthodes pour mesurer la similarité entre les IoCs collectés et les artefacts IA malveillants.

3. Contributions Clés et Résultats

A. Analyse des Sources de Données (RQ2)

L'article catégorise les sources existantes en trois groupes principaux :

1. Sources orientées Vulnérabilités :
   • AVID (AI Vulnerability Database) : Base de données open-source couvrant les vulnérabilités du cycle de vie (développement, entraînement, déploiement). Elle utilise une taxonomie structurée (vue "Effet" : Sécurité, Éthique, Performance ; vue "Cycle de vie").
   • OWASP, ENISA, SAIF : Fournissent des guides de bonnes pratiques et des taxonomies de risques, mais ne sont pas des référentiels de vulnérabilités brutes.
2. Sources orientées Incidents :
   • AI Incident Database (AIID) : Référentiel communautaire documentant plus de 5 000 rapports d'incidents. Il utilise des métadonnées de base (auteur, date, système impliqué) et des taxonomies comme CSET AI Harm Taxonomy (pour classer les secteurs affectés et les types de préjudice) et GMF (Goals, Methods, Failures) pour analyser les causes techniques.
3. Sources orientées Adversaires (TTP) :
   • MITRE ATLAS : L'équivalent de MITRE ATT&CK pour l'IA. Il cartographie les vecteurs d'attaque spécifiques (empoisonnement, évasion, extraction de modèle) à travers les phases du cycle de vie ML.
   • Rapports d'attaques : Comme celui de Marcus Comiter, qui classifie les attaques par visibilité (visible/invisible) et domaine (physique/numérique).

B. Vulnérabilités Spécifiques à l'IA et IoCs (RQ1 & RQ3)

L'article identifie que les IoCs pour l'IA doivent dépasser les hachages de fichiers classiques pour inclure :

• Artefacts de modèle : Poids suspects, architectures modifiées, backdoors insérés.
• Données : Modèles d'empoisonnement dans les jeux de données d'entraînement.
• Comportement : Tentatives d'injection de prompts (Prompt Injection), contournement de filtres de sécurité (Jailbreak).
• Sources de données malveillantes : Identification de fichiers malveillants hébergés sur des plateformes comme Hugging Face (ex: modèles PyTorch/Pickle avec des hachages SHA1 spécifiques) et adresses IP associées.

C. Mesure de Similarité et Requêtage (RQ4)

Pour interroger efficacement une base de connaissances CTI pour l'IA, l'article propose des techniques de hachage et de similarité adaptées aux artefacts complexes :

• Deep Hashing : Transforme les actifs IA (poids, embeddings) en empreintes binaires compactes préservant la similarité sémantique. Permet une comparaison rapide sans traiter les données brutes.
• Hachage Flou (Fuzzy Hashing) : Utilise des algorithmes comme TLSH ou LZJD (issus de l'analyse de malwares) pour détecter des modèles modifiés ou polymorphes via des correspondances partielles.
• Semantic Consistency Hashing (SCH) : Nouvelle méthode préservant l'information sémantique globale et résistant aux perturbations, surpassant les méthodes précédentes.
• Stratégie de requête : Combinaison de recherches exactes (hachages, noms de dépôts) et de recherches de similarité (basées sur les distances de Hamming ou scores de similarité) pour détecter des menaces jamais vues mais structurellement proches.

4. Signification et Implications

• Adaptation des Outils de Sécurité : Une base de connaissances CTI pour l'IA permettrait aux outils de sécurité (similaires aux EDR traditionnels) de scanner les modèles avant le déploiement, d'investiguer les comportements suspects en les comparant à des incidents passés (via AIID) et de détecter les tentatives d'empoisonnement ou d'évasion en temps réel.
• Gestion des Risques : L'utilisation de taxonomies structurées (CSET, GMF, AVID) aide à prioriser les menaces en fonction de leur impact réel sur des secteurs critiques (santé, finance, transport).
• Défis Futurs : L'article souligne que les sources actuelles sont encore incomplètes et que la qualité des données (notamment pour les jeux de données d'injection de prompts) varie considérablement.
• Recherche Future : Nécessité de définir de nouveaux IoCs spécifiques à l'IA, de tester ces indicateurs en conditions réelles et de développer des cadres opérationnels pour la surveillance continue des menaces IA.

Conclusion

Cet article établit les fondations nécessaires pour faire évoluer la Cyber Threat Intelligence vers l'ère de l'IA. Il démontre que la CTI classique est insuffisante face aux risques spécifiques des modèles d'apprentissage automatique et propose une architecture conceptuelle intégrant des sources de données diversifiées, des taxonomies adaptées et des techniques de hachage avancées pour détecter et répondre aux cybermenaces ciblant l'IA.