Résumé Technique : Landseer – Exploration du Paysage de Défense en Apprentissage Automatique

Énoncé du Problème

Les systèmes d'apprentissage automatique (ML) déployés dans des secteurs critiques tels que la cybersécurité, la santé et la finance font face à des menaces diverses visant la robustesse, la confidentialité, l'équité et la propriété intellectuelle. Bien que de nombreuses techniques de défense aient été proposées pour traiter ces risques individuellement, les déploiements réels nécessitent la composition simultanée de multiples défenses. Actuellement, le processus de combinaison de ces défenses est mal compris. La « compositionnalité » des défenses — la manière dont elles interagissent structurellement et qualitativement lorsqu'elles sont intégrées dans un seul pipeline ML — reste floue. Les recherches antérieures ont été largement limitées à des évaluations par paires (deux défenses à la fois) ou à des modèles de prédiction non empiriques, échouant à capturer la complexité combinatoire et les schémas d'interférence émergents qui surgissent lorsque plusieurs outils sont appliqués à différentes étapes du cycle de vie du ML. Par conséquent, les praticiens manquent d'une méthode systématique pour évaluer si la combinaison de défenses spécifiques maintiendra ou dégradera les performances du système et les garanties de sécurité.

Méthodologie

Les auteurs présentent Landseer, un cadre modulaire conçu pour intégrer les défenses ML dans le cycle de vie du ML et évaluer systématiquement leur composition. Le cadre fonctionne à travers trois composants principaux :

1. Module d'Intégration (Onboarding) : Ce composant convertit des artefacts de recherche autonomes (code et articles) en modules de pipeline composables. Il génère un Registre de Reproduction pour chaque outil, vérifiant :

   • Reproductibilité : Si l'outil s'exécute et correspond aux résultats rapportés dans une tolérance définie (3 %).
   • Composabilité Structurelle : Si les entrées et sorties de l'outil sont compatibles avec les étapes adjacentes du pipeline (Avant-Entraînement, Pendant l'Entraînement, Après l'Entraînement, Déploiement).
   • Conteneurisation : L'encapsulation des outils dans des images conformes à OCI pour assurer une exécution autonome avec des dépendances fixes.

2. Explorateur de Pipeline : Ce composant empirique central génère et exécute systématiquement toutes les combinaisons valides d'outils intégrés. Il utilise une architecture de Planificateur et de Travailleur pour :

   • Énumérer les combinaisons de défenses à travers le pipeline ML.
   • Éviter les calculs redondants en mettant en cache les artefacts intermédiaires et en identifiant les préfixes partagés dans les flux de travail.
   • Exécuter des expériences sur un jeu de données standardisé (CIFAR-10) et une architecture de modèle (ResNet-20).

3. Moteur d'Analyse des Interférences : Ce moteur analyse les résultats des combinaisons exécutées pour identifier les sources d'interférence. Il construit des Graphes d'Interférence où les nœuds représentent des combinaisons d'outils spécifiques et les arêtes représentent des ajouts incrémentaux ou un réordonnancement des outils. Le moteur effectue une analyse des causes racines pour identifier la combinaison de « plus faible cardinalité » qui provoque une baisse de performance au-delà des seuils définis (2 % pour modéré, 5 % pour sévère). Il catégorise les interférences en trois types :

   • Interférence Globale (GI) : Un outil dégrade les performances indépendamment de la combinaison.
   • Interférence de Ordre (OI) : L'interférence se produit uniquement lorsque les outils sont appliqués dans une séquence spécifique.
   • Interférence par Paire (PW) : Une interférence spécifique à l'interaction de exactement deux outils.

Contributions Clés

L'article expose quatre contributions principales :

1. Définition de la Compositionnalité : Les auteurs définissent et étudient la notion de compositionnalité pour les techniques d'Apprentissage Automatique de Confiance (TML), distinguant la Compositionnalité Structurelle (capacité d'intégration technique) et la Compositionnalité Qualitative (préservation des performances).
2. Cadre Landseer : La conception et la mise en œuvre d'un cadre généralisable automatisant l'intégration, l'exécution et l'analyse des combinaisons de défenses.
3. Évaluation Empirique : Une étude approfondie de 35 techniques TML de pointe. Après filtrage pour la reproductibilité et la compatibilité structurelle, 11 outils ont été intégrés. Le cadre a évalué plus de 700 combinaisons uniques pour reproduire les résultats de la littérature existante et découvrir de nouvelles interactions.
4. Nouvelles Perspectives et Lignes Directrices : L'identification de facteurs précédemment non examinés influençant les interactions de défense, spécifiquement l'impact de l'étape d'application (par exemple, Avant-Entraînement vs Après-Entraînement) et de l'ordre des défenses au sein d'une étape.

Résultats

L'évaluation a produit plusieurs découvertes critiques :

• Lacunes de Replicabilité : Sur 35 articles examinés, seuls 14 étaient entièrement reproductibles et replicables. Les obstacles courants comprenaient des artefacts manquants, des bogues logiciels, des incompatibilités d'environnement et des contrats d'E/S non standard.
• Validation des Travaux Antérieurs : Landseer a confirmé 8 des 13 résultats d'interaction de défense par paires de la littérature existante (par exemple, confirmant les conflits entre le tatouage numérique et l'entraînement adversarial).
• Contradictions et Nuances : Le cadre a contredit certaines affirmations antérieures, telles que l'absence d'interférence entre la robustesse adversarial et l'empreinte numérique, soulignant que les résultats dépendent fortement des choix d'implémentation spécifiques et des paramètres expérimentaux.
• Dépendance à l'Étape et à l'Ordre : L'étude a révélé que l'étape d'application modifie considérablement les schémas d'interférence. Par exemple, appliquer la suppression des valeurs aberrantes à l'étape Avant-Entraînement s'alignait bien avec l'entraînement adversarial, tandis que l'appliquer à l'étape Après-Entraînement provoquait des conflits. De même, l'ordre des outils au sein d'une même étape (par exemple, Avant-Entraînement) s'est avéré être un facteur critique pour déterminer si les défenses interfèrent.
• Interférence Globale : Il a été constaté que les défenses appliquées aux étapes précoces (Avant-Entraînement et Pendant l'Entraînement) présentaient des taux d'interférence globale plus élevés (>95 % des combinaisons) par rapport à celles appliquées plus tard, suggérant que les défenses appliquées plus tardivement pourraient offrir une meilleure compositionnalité.

Importance

L'article positionne Landseer comme une étape fondamentale vers l'amélioration de la fiabilité des systèmes d'apprentissage automatique. En allant au-delà de l'analyse par paires pour explorer systématiquement et automatiquement les compositions de défenses, Landseer aborde la « complexité combinatoire » qui a entravé le déploiement de stratégies de sécurité multicouches. Le cadre fournit aux praticiens une méthode pour identifier les combinaisons les plus performantes selon des politiques de sécurité spécifiques et offre aux chercheurs un outil pour extraire des informations sur les interactions de défense. En fin de compte, ce travail vise à réduire les barrières à l'adoption de systèmes ML robustes, respectueux de la vie privée et équitables en établissant une approche structurée pour comprendre et atténuer les conséquences involontaires de la combinaison de multiples défenses.