Résumé technique : Désapprentissage de machine auditable pour la détection de ransomwares conforme à la protection de la vie privée via l'architecture SISA multi-fragments et l'apprentissage par renforcement profond

1. Énoncé du problème

Les attaques par ransomware évoluent rapidement, utilisant l'obfuscation et des variantes polymorphes qui rendent la détection traditionnelle basée sur les signatures inefficace. Bien que les détecteurs basés sur l'apprentissage automatique (ML) et l'apprentissage profond (DL) par comportement aient montré de fortes capacités prédictives, ils opèrent généralement sous l'hypothression de données d'entraînement fixes. Cela crée un conflit critique avec les réglementations modernes en matière de confidentialité, telles que le RGPD et la CCPA, qui imposent le « droit à l'oubli ». Dans les contextes de cybersécurité, les organisations peuvent avoir besoin de supprimer des données d'utilisateurs spécifiques, des échantillons mal étiquetés ou des traces adverses des modèles déployés. Les approches conventionnelles pour satisfaire ces demandes impliquent un réentraînement complet du modèle, ce qui est coûteux en termes de calcul et impraticable pour les systèmes mis à jour en continu. De plus, les systèmes de détection existants basés sur l'apprentissage par renforcement (RL) n'ont pas suffisamment abordé la manière de supprimer sélectivement des échantillons d'entraînement tout en maintenant la stabilité de la politique et en vérifiant que la suppression a été réussie sans compromettre la confidentialité.

2. Méthodologie

Les auteurs proposent un cadre unifié intégrant des réseaux Q-Deep Double (DDQN) avec une architecture SISA (Sharded, Isolated, Sliced, and Aggregated - Fragmentée, Isolée, Découpée et Agrégée) multi-fragments pour permettre un désapprentissage de machine auditable pour la détection de ransomwares.

2.1. Jeu de données et environnement

• Jeu de données : Un jeu de données comportemental équilibré de 2 000 échantillons Windows 11 (1 000 ransomwares, 1 000 bénins) a été construit à partir de 30 familles de ransomwares distinctes. Les caractéristiques ont été extraites des traces d'exécution en bac à sable (ANY.RUN), résultant en des vecteurs comportementaux de dimension 103 couvrant les activités du système de fichiers, du registre, des processus, des API et du réseau.
• Formulation RL : La détection de ransomware est modélisée comme un processus de décision markovien (MDP).
  • État : Le vecteur de caractéristiques comportementales de dimension 103.
  • Action : Classification binaire (0 : Bénin, 1 : Ransomware).
  • Fonction de récompense : Une structure de récompense asymétrique est employée pour refléter les coûts de sécurité : +1 pour une classification correcte, -2 pour les faux négatifs (ransomware manqué), et -0,5 pour les faux positifs. Cela priorise les résultats critiques pour la sécurité.
  • Facteur de remise (Discount Factor) : Fixé à $\gamma=0,1$ pour privilégier la précision de classification immédiate sur les rendements à long terme.

2.2. Le cadre DDQN–SISA

Le cadre fonctionne en quatre phases :

1. Fragmentation (Sharding) : Le jeu de données est partitionné en $M$ fragments non chevauchants ($M \in \{5, 10, 20\}$) en utilisant une allocation stratifiée pour maintenir l'équilibre des classes.
2. Entraînement isolé : Des agents DDQN indépendants sont entraînés sur chaque fragment avec des buffers de rejeu et des réseaux cibles séparés. Cela isole l'influence de tout échantillon d'entraînement à son fragment spécifique.
3. Suppression par tranches (Unlearning) : Lors d'une demande de suppression, le système identifie les fragments affectés contenant les échantillons à supprimer. Seuls ces fragments spécifiques sont réentraînés sur les données restantes ($\mathcal{D}_r = \mathcal{D} \setminus \mathcal{D}_f$). Les fragments non affectés restent inchangés.
4. Agrégation : Les prédictions finales sont générées via un vote majoritaire à travers tous les modèles de fragments. La marge Q de l'ensemble (différence entre les valeurs Q pour le ransomware vs le bénin) est utilisée pour le score de confiance et l'audit de confidentialité.

2.3. Protocoles de vérification et d'audit

Pour garantir que le cadre respecte les normes de conformité et de sécurité, trois mécanismes d'évaluation sont mis en œuvre :

• Oubli vérifié par oracle : Un modèle « oracle » est réentraîné à partir de zéro sur le jeu de données conservé ($\mathcal{D}_r$). Les prédictions du modèle ayant subi le désapprentissage sont comparées à cet oracle pour vérifier que le processus de suppression s'approche de l'idéal d'un réentraînement complet.
• Audit par attaque d'inférence d'appartenance (MIA) : Une MIA par procuration est menée en utilisant les marges Q de l'ensemble. L'objectif est de vérifier que les échantillons oubliés deviennent indiscernables des données jamais observées (c'est-à-dire que les taux de réussite de la MIA chutent vers un choix aléatoire, $\approx 0,5$).
• Efficacité computationnelle : Le système mesure le temps de réentraînement, la surcharge de communication et l'utilisation de la mémoire, en comparant le réentraînement au niveau du fragment par rapport au réentraînement complet.

3. Principales contributions

L'article revendique trois contributions principales :

1. Cadre DDQN–SISA : La première intégration d'un détecteur RL basé sur la valeur avec un SISA multi-fragments pour la détection de ransomware, permettant un réentraînement sélectif au niveau du fragment pour satisfaire aux mandats de confidentialité sans reconstruire entièrement le modèle.
2. Vérification à double mécanisme : Un protocole d'audit novateur combinant l'oubli vérifié par oracle (pour confirmer la précision de la suppression) et l'audit d'inférence d'appartenance (pour vérifier la fuite de confidentialité), spécifiquement adapté aux systèmes de sécurité basés sur le RL.
3. Évaluation systématique de la suppression sous contrainte : Une étude empirique complète sur 270 configurations, faisant varier le nombre de fragments, les fractions de suppression (1 %, 5 %, 10 %) et les cycles de suppression répétés (1, 5, 10) pour caractériser les compromis entre utilité, confidentialité et efficacité.

4. Résultats expérimentaux

Le cadre a été évalué sur un jeu de données comportementaux Windows 11 à l'aide d'une validation croisée à 5 plis.

• Performance de base : Le détecteur DDQN de base a atteint un score F1 de 0,9925 et un AUC de 0,9983, démontrant une haute précision de détection comparable aux méthodes de pointe.
• Préservation de l'utilité :
  • Fragment unique : Le désapprentissage a entraîné une dégradation minimale de l'utilité ($\Delta F1 < 0,003$) dans tous les scénarios de suppression.
  • Multi-fragments : Un nombre modéré de fragments ($M=5, 10$) a maintenu la stabilité sous une pression de suppression faible à modérée. Cependant, une granularité élevée ($M=20$) combinée à une suppression agressive (10 % sur 10 cycles) a conduit à une instabilité sévère et à un effondrement de l'utilité (F1 chutant proche de 0), attribué à la famine de données dans les petits fragments.
• Vérification par oracle : Le réentraînement à fragment unique a montré un faible désaccord avec le modèle oracle. Les configurations multi-fragments ont présenté un désaccord plus élevé sous une forte pression de suppression, particulièrement pour $M=10$ et $M=20$, indiquant que le réentraînement localisé devient moins précis à mesure que le nombre de fragments affectés augmente.
• Confidentialité (MIA) : Les scores d'inférence d'appartenance sont restés proches de 0,5 (choix aléatoire) dans la plupart des configurations, indiquant une fuite de confidentialité limitée. Même sous une suppression agressive, l'augmentation de la distinguabilité est restée modeste.
• Efficacité :
  • Temps de réentraînement : Le désapprentissage d'un fragment unique a pris environ 5 à 6 secondes. Le désapprentissage multi-fragments a pris 20 à 30 secondes (selon le nombre de fragments affectés).
  • Comparaison : C'est nettement plus rapide qu'un réentraînement complet, qui nécessitait 80 à 330 secondes.
  • Surcharge de communication : Est restée faible (environ 11 ms pour un fragment unique, 53–55 ms pour le multi-fragment).

5. Signification et affirmations

L'article positionne son travail comme une solution pratique au « droit à l'oubli » dans le contexte de la cybersécurité à enjeux élevés.

• Conformité sans compromis : Le cadre démontre que les organisations peuvent atteindre la conformité RGPD/CCPA en supprimant des échantillons d'entraînement spécifiques sans subir les coûts de calcul prohibitifs d'un réentraînement complet.
• Sécurité auditable : En intégrant la vérification par oracle et l'audit MIA, le système fournit une garantie vérifiable que les données supprimées n'influencent plus le modèle et que la confidentialité est préservée, comblant ainsi une lacune dans la littérature existante sur la détection par RL.
• Compromis opérationnels : L'étude conclut modestement que, bien que le cadre soit très efficace, il existe un compromis entre stabilité et efficacité. Elle recommande un nombre de fragments modéré ($M=5–10$) comme régime de fonctionnement optimal, équilibrant l'efficacité du réentraînement et la stabilité de la politique. Elle note explicitement qu'une granularité de fragment très élevée ($M=20$) est inappropriée pour une pression de suppression soutenue en raison de la fragmentation des données.
• Nouveauté : Les auteurs affirment qu'il s'agit du premier cadre de détection de ransomware combinant conjointement le RL basé sur la valeur, le désapprentissage par fragment et la vérification d'audit à double canal au sein d'un pipeline d'évaluation unique.

L'article reconnaît des limites, notamment l'utilisation d'un jeu de données de taille modérée (2 000 échantillons), le recours à une proxy MIA basée sur la marge Q plutôt qu'à des attaques adaptatives, et l'absence d'évaluation sur des données en streaming. Des travaux futurs sont suggérés pour explorer des jeux de données plus larges, des attaques de confidentialité plus fortes et des scénarios de déploiement distribués.