Unifying Runtime Monitoring Approaches for Safety-Critical Machine Learning: Application to Vision-Based Landing

1. Énoncé du problème

L'intégration de l'apprentissage automatique (ML), en particulier des réseaux de neurones profonds (DNN), dans des systèmes critiques pour la sécurité (par exemple, l'aviation, la conduite autonome) introduit des défis significatifs en matière de fiabilité. Les DNN manquent de robustesse, échouent souvent face à des entrées imprévues et affichent une confiance excessive dans des prédictions incorrectes. Bien que des moniteurs de sécurité en temps d'exécution existent pour atténuer ces risques, la recherche actuelle est fragmentée entre différentes communautés (sûreté de fonctionnement vs apprentissage automatique).

• Le Vide : Les méthodes de surveillance existantes opèrent en silos avec des terminologies et des périmètres différents. Certaines se concentrent sur les contraintes opérationnelles au niveau du système, d'autres sur les décalages statistiques des distributions de données, et d'autres encore sur les états internes du modèle.
• La Conséquence : Ce manque d'unification entraîne une couverture de sécurité partielle, des méthodologies redondantes et des difficultés à comparer ou à combiner différents moniteurs à l'aide de métriques communes. Il n'existe pas de cadre unifié pour catégoriser systématiquement les menaces et sélectionner des stratégies de surveillance appropriées.

2. Méthodologie : Le cadre SwMF

Les auteurs proposent un cadre unifié appelé SwMF (Safety-critical ML Monitoring Framework). Ce cadre redéfinit l'espace d'entrée du ML et catégorise les approches de surveillance en fonction des « menaces de données » spécifiques qu'elles traitent.

A. Décomposition de l'espace d'entrée

Les auteurs projettent trois concepts clés sur l'espace d'entrée du ML (par exemple, les images) pour définir des domaines et des menaces distincts :

1. Domaine de Conception Opérationnelle (ODD) : L'ensemble des conditions dans lesquelles le système est conçu pour fonctionner (par exemple, météo, altitude, visibilité de la piste).
   • Menace : Violations de l'ODD. Entrées en dehors des conditions de fonctionnement prévues.
2. Domaine In-Distribution ($D_{ID}$) : Données tirées de la même distribution que les données d'entraînement.
   • Menace : Menaces Out-of-Distribution (OOD). Entrées qui sont dans l'ODD mais statistiquement différentes des données d'entraînement (par exemple, des décalages de covariables comme les changements d'éclairage, ou des décalages sémantiques comme de nouvelles classes d'objets).
3. Portée du Modèle ($D_f$) : Le sous-ensemble d'entrées où le modèle ML spécifique $f$ produit des prédictions correctes.
   • Menace : Erreurs In-Distribution (ID). Entrées qui sont dans $D_{ID}$ mais qui provoquent tout de même l'échec du modèle (par exemple, attaques adverses, défauts physiques subtils, ou limites de généralisation du modèle).

B. Catégorisation des moniteurs

Sur la base de ces menaces, le cadre définit trois catégories de moniteurs complémentaires :

1. Moniteurs ODD : Moniteurs basés sur des règles qui vérifient les variables du système (par exemple, GPS, IMU, capteurs météorologiques) par rapport à des contraintes prédéfinies. Ils rejettent les entrées avant qu'elles n'atteignent le modèle ML si les conditions de fonctionnement sont invalides.
2. Moniteurs OOD : Moniteurs pilotés par les données qui détectent des anomalies statistiques dans les données d'entrée (par exemple, luminosité, entropie, densité de contours) par rapport à la distribution d'entraînement. Ils rejettent les entrées qui s'écartent de la distribution d'entraînement mais qui sont toujours dans l'ODD.
3. Moniteurs OMS (Out-of-Model-Scope) : Moniteurs a posteriori qui analysent les caractéristiques internes du modèle ML (par exemple, logits, activations de neurones) ou ses sorties pour détecter un comportement anormal. Ils ciblent spécifiquement les entrées où le modèle est susceptible d'échouer, même si l'entrée semble « normale ».

C. Configuration expérimentale

• Application : Atterrissage basé sur la vision (VBL), spécifiquement la sous-tâche de détection de piste (VBRD).
• Jeu de données : Le jeu de données LARD (images synthétiques générées via Google Earth Studio).
• Modèle : YOLOv5-n (un détecteur d'objets en une seule étape).
• Architecture : Un pipeline de surveillance en série où les moniteurs ODD s'exécutent en premier, suivis des moniteurs OOD, et enfin des moniteurs OMS après la prédiction du modèle.
• Métriques d'évaluation : Métriques orientées sécurité proposées par Guerin et al. :
  • Gain de Sécurité (SG) : Proportion de situations dangereuses correctement filtrées.
  • Risque Résiduel (RH) : Proportion de situations dangereuses manquées.
  • Coût de Disponibilité (AC) : Proportion de situations sûres incorrectement rejetées (fausses alarmes).

3. Contributions Clés

1. Terminologie Unifiée : L'article clarifie les définitions de ODD, OOD et OMS, résolvant l'ambiguïté où ces termes sont souvent utilisés de manière interchangeable dans la littérature. Il distingue explicitement les décalages de distribution de données (OOD) des régions d'échec du modèle (OMS).
2. Classification basée sur les menaces : Il introduit une correspondance formelle entre des menaces de données spécifiques (violations ODD, décalages OOD, erreurs ID) et la catégorie de surveillance appropriée, fournissant un guide de conception systématique pour les ingénieurs en sécurité.
3. Démonstration de Complémentarité : Grâce à des expériences, les auteurs prouvent que ces trois types de moniteurs traitent différents modes de défaillance et sont intrinsèquement complémentaires, plutôt que redondants.
4. Évaluation Unifiée : Le cadre permet la comparaison de divers moniteurs à l'aide d'un ensemble unique de métriques de sécurité (SG, RH, AC).

4. Résultats Expérimentaux

L'étude a été menée en deux expériences :

Expérience 1 : Jeu de données nominal (Données synthétiques)

• Référence : Le modèle YOLOv5-n présentait un Risque Résiduel (RH) d'environ 20 % (ce qui signifie que 20 % des images provoquaient des erreurs).
• Performance Individuelle :
  • Les moniteurs ODD ont détecté environ 4,6 % des erreurs (SG).
  • Les moniteurs OOD ont détecté environ 4,1 % des erreurs.
  • Les moniteurs OMS ont détecté environ 4,0 % des erreurs.
• Performance Combinée : Lorsque les trois moniteurs étaient appliqués séquentiellement, le Gain de Sécurité augmentait à 9,7 %, et le Risque Résiduel chutait à 10,5 %.
• Compromis : L'approche combinée augmentait le Coût de Disponibilité (AC) à environ 31 %, ce qui signifie qu'environ 30 % des images sûres étaient rejetées. Cela met en évidence le compromis « sécurité vs disponibilité ».

Expérience 2 : Données corrompues (Test de robustesse)

• Configuration : Les images ont été corrompues par des changements de luminosité, du flou, du brouillard et du bruit.
• Moniteur OOD : Très efficace pour rejeter les images corrompues (SG élevé), agissant comme un filtre « précautionnaire ». Cependant, cela a entraîné des Coûts de Disponibilité (AC) élevés car il rejetait des données même lorsque le modèle aurait pu les traiter correctement.
• Moniteur OMS : Moins efficace sur les données corrompues par rapport à OOD. Il a fonctionné le mieux sur des entrées « propres » mais difficiles (erreurs ID).
• Conclusion : Les résultats valident l'architecture en série. Les moniteurs OOD doivent filtrer en premier les décalages de distribution évidents, permettant aux moniteurs OMS de se concentrer sur les défaillances de modèles subtiles au sein de la distribution « sûre » restante.

5. Importance et Conclusion

• Conception Systématique de la Sécurité : Le cadre SwMF fournit une approche structurée pour la conception de systèmes de surveillance en temps d'exécution, garantissant que tous les vecteurs de menace majeurs (opérationnels, statistiques et spécifiques au modèle) sont couverts.
• Pont entre les Communautés : Il comble avec succès le fossé entre la communauté de la sûreté de fonctionnement (sécurité au niveau du système) et la communauté du ML (distribution de données et comportement du modèle).
• Implications Pratiques : L'étude confirme que, bien que la combinaison de moniteurs améliore considérablement la sécurité (réduisant le risque résiduel), elle augmente inévitablement le taux de fausses alarmes (coût de disponibilité). Les travaux futurs doivent se concentrer sur l'optimisation de ce compromis et sur l'amélioration de la sélection des données pour l'entraînement de ces moniteurs afin de mieux représenter les menaces opérationnelles.

En résumé, l'article soutient qu'une stratégie de surveillance unifiée et multicouche est essentielle pour le déploiement sécurisé du ML dans les systèmes d'aviation critiques, dépassant les solutions isolées pour adopter une architecture de sécurité holistique.