Defining Operational Conditions for Safety-Critical AI-Based Systems from Data

Cet article propose une nouvelle méthode automatisée de sécurité par conception qui utilise une représentation multidimensionnelle à base de noyaux pour déduire le domaine de conception opérationnelle (ODD) à partir de données collectées, répondant ainsi aux défis de certification des systèmes d'intelligence artificielle critiques pour la sécurité, comme validé par des simulations de Monte Carlo et un cas d'utilisation réel d'évitement de collisions en aviation.

L'essentiel

Imaginez que vous enseigniez à un robot comment piloter un avion. Vous voulez que le robot soit sûr, vous devez donc lui indiquer exactement où et quand il est autorisé à voler. Dans le monde de la sécurité de l'IA, cette « zone autorisée » est appelée le Domaine de Conception Opérationnelle (DCO).

Traditionnellement, les experts s'asseyaient devant un tableau blanc et tentaient de dessiner cette zone à la main, en écrivant des règles comme « ne volez pas sous la pluie » ou « ne volez pas au-dessus de 30 000 pieds ». Mais le monde réel est désordonné. La météo, le trafic et le vent interagissent de manière complexe, d'une façon impossible à lister parfaitement sur un tableau blanc. Cela conduit souvent à des lacunes de sécurité où le robot pense être en sécurité, alors qu'il se trouve en réalité dans une situation dangereuse qu'on ne lui avait pas signalée.

Cet article propose une nouvelle façon de dessiner cette zone de sécurité : laissez les données la dessiner pour vous.

Voici une explication simple de la méthode utilisée, en utilisant des analogies du quotidien :

1. Le Problème : La « Carte Blanche »

Imaginez que vous avez une carte d'une ville, mais que les rues sont cachées par le brouillard. Vous savez que la ville existe, mais vous ne savez pas exactement où se trouvent les routes sûres et où se trouvent les falaises.

• Ancienne méthode : Les experts devinent où se trouvent les routes en se basant sur leur expérience. Ils pourraient manquer une falaise cachée.
• Nouvelle méthode : Vous laissez tomber des milliers de billes lumineuses (points de données) sur la carte. Là où les billes atterrissent, vous savez que c'est sûr. Là où elles n'atterrissent pas, vous supposez que cela pourrait être dangereux.

2. La Solution : Le « Filet Lumineux »

Les auteurs ont créé une méthode pour transformer ces points de données dispersés en une carte de sécurité lisse et continue. Ils appellent cela une Représentation à Base de Noyaux.

Imaginez chaque point de données (une condition de vol sûre) comme un feu de camp.

• Le Feu : Juste au feu de camp, il fait très chaud (très sûr).
• La Chaleur : À mesure que vous vous éloignez du feu, la chaleur diminue. Elle ne s'arrête pas brusquement ; elle devient de plus en plus fraîche jusqu'à être à peine perceptible.
• Le Filet : Le système d'IA crée une gigantesque « carte thermique » invisible en combinant la chaleur de tous ces feux de camp.
  • Si vous vous trouvez là où la chaleur est forte, vous êtes à l'intérieur de la zone de sécurité.
  • Si vous êtes dans un endroit froid entre les feux, vous êtes à l'extérieur de la zone de sécurité.

C'est mieux que de dessiner une boîte rigide autour des feux de camp, car cela prend en compte les « zones grises » intermédiaires.

3. Le « Filet de Sécurité » pour les Erreurs

Que se passe-t-il si vous laissez tomber accidentellement une bille dans un endroit qui est en réalité dangereux (comme le bord d'une falaise) ? Le système doit savoir ne pas allumer de feu là-bas.

• Les auteurs ont ajouté une règle : si un point de données « dangereux » reçoit trop de chaleur des feux de camp voisins, le système réduit automatiquement l'intensité des feux autour de lui jusqu'à ce que l'endroit dangereux redevienne froid.
• Cela garantit que la zone de sécurité ne recouvre jamais accidentellement un danger connu.

4. Pourquoi cela compte pour la Certification

Pour obtenir l'approbation d'un avion ou d'une voiture, les régulateurs doivent savoir que les règles sont solides.

• Déterministe : L'article affirme que si vous exécutez ce processus deux fois avec les mêmes données, vous obtenez exactement la même carte de sécurité à chaque fois. Ce n'est pas une supposition de « boîte noire » ; c'est un calcul mathématique.
• Indépendant de l'ordre : Peu importe si vous alimentez l'ordinateur avec les données le matin ou l'après-midi, ou dans un ordre différent. Le résultat est toujours le même.
• Prudent : Si le système n'est pas sûr qu'un endroit est sûr (parce qu'il n'y a pas de points de données là-bas), il suppose qu'il est dangereux. C'est une approche « mieux vaut prévenir que guérir », ce qui est crucial pour les systèmes critiques pour la sécurité.

5. La Preuve : Le Test du « Simulateur de Vol »

Les auteurs ont testé cette méthode de deux manières :

1. Simulation Mathématique : Ils ont créé une zone de sécurité parfaite et fictive sur un ordinateur, puis ont tenté de la reconstruire en utilisant uniquement des points de données dispersés. Leur méthode de « filet lumineux » a recréé la zone originale avec plus de 98 % de précision.
2. Aviation Réelle : Ils l'ont appliquée à un problème réel de l'aviation : l'Évitement de Collisions. Ils ont utilisé des données provenant d'un système conçu pour empêcher les avions de se percuter. La méthode a réussi à cartographier les conditions d'exploitation sûres pour ce système complexe, prouvant qu'elle fonctionne même avec des données réelles et désordonnées.

Résumé

Cet article présente un outil (appelé autoSAFE) qui prend des données brutes d'un système critique pour la sécurité et dessine automatiquement une « zone de sécurité » précise et mathématiquement prouvée autour de celui-ci. Au lieu de deviner les règles, il apprend les limites à partir des données elles-mêmes, garantissant que l'IA ne fonctionne que là où il a été prouvé qu'elle était sûre. Cela rend beaucoup plus facile la certification des systèmes d'IA pour des tâches comme piloter des avions ou conduire des voitures.

Résumé technique

Résumé technique : Définition des conditions opérationnelles pour les systèmes à base d'IA critiques pour la sécurité à partir de données

1. Énoncé du problème

Le déploiement rapide de l'Intelligence Artificielle (IA) dans des domaines critiques pour la sécurité (par exemple, l'aviation, l'automobile) nécessite une garantie de sécurité et une certification rigoureuses. Une exigence centrale pour certifier les systèmes basés sur l'IA est la définition du Domaine de Conception Opérationnelle (ODD) — l'ensemble spécifique de conditions environnementales et opérationnelles dans lesquelles le système est destiné à fonctionner en toute sécurité.

Traditionnellement, les ODD sont définis manuellement par des experts du domaine tôt dans le cycle de développement. Cependant, pour les systèmes complexes du monde réel, cette approche fait face à des défis majeurs :

• Complexité : Définir les interrelations (ontologie) entre les paramètres (par exemple, comment la météo affecte la vitesse d'atterrissage) est difficile et souvent incomplet.
• Nature statique : Les ODD définis par des experts peuvent ne pas capturer les dépendances implicites entre paramètres ou s'adapter aux nouvelles données.
• Lacunes de certification : Les approches actuelles basées sur les données manquent souvent de représentations déterministes, indépendantes de l'ordre, ou de cadres formels pour la similarité des ODD, qui sont des prérequis pour la certification formelle.

Les représentations mathématiques existantes (par exemple, les polytopes convexes) échouent à modéliser les ontologies d'ODD non linéaires, tandis que les approches basées sur les réseaux de neurones introduisent une dépendance à l'ordre et de l'incertitude. Il existe un besoin d'une méthode pour dériver des ODD directement à partir de données qui soit déterministe, indépendante de l'ordre, bornée et interprétable.

2. Méthodologie

L'article propose une méthode Safety-by-Design (Sécurité par la Conception) pour définir des ODD a posteriori à partir de données collectées en utilisant une représentation par noyau multi-dimensionnelle. La méthodologie centrale comprend les étapes suivantes :

2.1 Formalisation mathématique

Les auteurs formalisent l'ODD comme une structure mathématique $O = (X, R^O, f^O, \Omega^O)$, où $X$ est la taxonomie (espace des paramètres), $R^O$ est l'ontologie (contraintes) et $f^O$ est la fonction d'interprétation. Crucialement, ils définissent la similarité des ODD ($O_1 \sim O_2$) non pas par une équivalence sémantique, mais par une équivalence centrée sur les données : deux ODD sont similaires s'ils génèrent le même ensemble de données $Y$.

2.2 Représentation d'affinité par noyau

Au lieu de construire manuellement des frontières, la méthode construit l'ODD directement à partir d'échantillons de données :

• Points d'ancrage : Les échantillons in-distribution (ID) ($D_{ID}$) servent de points d'ancrage ($A$). Les échantillons out-of-distribution (OOD) ($D_{OOD}$) sont explicitement exclus.
• Affinité locale : Pour chaque point d'ancrage $x_i$, une fonction d'affinité locale $\alpha_i(x)$ est définie en utilisant un noyau défini positif (spécifiquement le noyau Radial Basis Function (RBF)).
• Affinité globale : L'appartenance globale à l'ODD est déterminée par la superposition des affinités locales :
  $$\alpha(x) = 1 - \prod_{i} (1 - \alpha_i(x))$$
  Un échantillon $x$ appartient à l'ODD si $\alpha(x) \geq \zeta$, où $\zeta$ est un seuil prédéfini.

2.3 Paramétrage automatisé

Pour garantir que le processus est entièrement automatisé et évite le réglage manuel :

• Covariance diagonale : La matrice de covariance du noyau $\Sigma$ est supposée diagonale, basée sur l'hypothèse d'indépendance locale et de distribution uniforme des points d'ancrage.
• Mise à l'échelle dépendante de la distance : Les entrées diagonales de $\Sigma$ sont définies comme une fonction de la distance au plus proche voisin ($d^*_i$) :
  $$\sigma^{(i)}_{kk} = (\kappa - \lambda) \exp(-\eta d^*_i) + \lambda$$
  Cela réduit le nombre d'hyperparamètres de $N \times n^2$ à seulement deux ($\kappa, \eta$) plus une borne inférieure $\lambda$.

2.4 Contrainte de cohérence OOD

Pour garantir la sécurité, la méthode impose que les échantillons OOD ne doivent pas être classés comme faisant partie de l'ODD. Si un échantillon OOD $x$ viole le seuil ($\alpha(x) > \xi$), l'algorithme réduit itérativement la matrice de covariance du noyau le plus influent pour ce point. Ce processus est indépendant de l'ordre et prouvé pour se terminer en un nombre fini d'étapes, garantissant $\alpha(x) \leq \xi$ pour tous les échantillons OOD.

3. Contributions clés

1. Cadre déterministe et indépendant de l'ordre : L'article présente le premier pipeline entièrement automatisé pour dériver des ODD à partir de données en utilisant une représentation par noyau qui est uniquement déterminée par les données et invariante à l'ordre des échantillons.
2. Définition formelle de la similarité des ODD : Une définition centrée sur les données de la similarité des ODD est introduite, permettant la comparaison des ODD basés sur les données par rapport à une vérité terrain ou des proxies sans nécessiter d'alignement sémantique.
3. Implémentation Safety-by-Design : La représentation ODD résultante est bornée, conservative (sous-approxime le vrai ODD dans les régimes épars) et interprétable, satisfaisant les exigences clés pour la future certification de l'IA.
4. Gestion des données éparses : La méthode est conçue pour fonctionner efficacement même avec des régimes de données épars, la rendant applicable aux étapes précoces du développement.
5. Outil open-source (autoSAFE) : Les auteurs ont développé et rendu open-source un outil (autoSAFE) qui implémente ce cadre, prenant en charge divers formats de données (CSV, JSON/ASAM OpenLABEL) et des recherches de plus proches voisins efficaces.

4. Validation et résultats

La méthodologie a été validée à travers deux expériences principales :

4.1 Simulation de Monte Carlo

• Configuration : Un ODD synthétique 2D a été généré avec une contrainte d'inégalité linéaire. Des points d'ancrage ont été échantillonnés à partir du vrai ODD, et des échantillons de validation ont été générés sur un plus grand hyperrectangle.
• Résultats : L'ODD basé sur les données a été comparé au vrai ODD sous-jacent et à l'enveloppe convexe des points d'ancrage.
  • Les courbes de précision et de rappel ont montré une forte corrélation entre l'ODD basé sur les données et l'enveloppe convexe ($R^2 = 0,9855$ pour la précision, $R^2 = 0,9987$ pour le rappel).
  • Cela suggère que l'enveloppe convexe peut servir de proxy fiable pour régler les seuils d'affinité lorsque l'ODD de vérité terrain est inconnu.
  • Les résultats ont été maintenus pour des dimensions allant jusqu'à 10 et des fonctions de relation complexes.

4.2 Cas d'utilisation réel en aviation (VCAS)

• Contexte : La méthode a été appliquée au Vertical Collision Avoidance System (VCAS), un composant du système ACAS X de nouvelle génération.
• Données : L'ensemble de données comprenait 622 110 points d'ancrage représentant des vecteurs d'état (altitude relative, taux de montée/descente, temps jusqu'au CPA, conseil précédent).
• Résultats :
  • L'ODD basé sur les données a été comparé à l'ODD de vérité terrain connu et à l'enveloppe convexe.
  • Des coefficients de détermination élevés ont été observés ($R^2 = 0,991$ pour la précision, $R^2 = 0,999$ pour le rappel).
  • Les résultats ont confirmé que l'approche par noyau fonctionne bien dans un scénario réaliste, critique pour la sécurité et de haute dimension, malgré la densité plus faible de points d'ancrage par rapport à la simulation de Monte Carlo.

5. Importance et revendications

L'article affirme que si une reconstruction "totalement véridique" d'un ODD n'est pas toujours possible à partir des seules données, l'approche par noyau proposée approxime suffisamment l'ODD sous-jacent à des fins de certification.

• Préparation à la certification : La méthode fournit une base mathématiquement rigoureuse, déterministe et explicable pour définir les limites opérationnelles. Cela soutient les cadres réglementaires (par exemple, l'EASA) qui exigent une évaluation continue de la sécurité et des limites opérationnelles claires.
• Surveillance en temps d'exécution : Contrairement aux frontières géométriques rigides, la fonction d'affinité continue $\alpha(x)$ permet des zones d'alerte graduées. À mesure que l'état du système s'écarte des points d'ancrage, le score d'affinité décroît de manière lisse, permettant une détection précoce des conditions hors distribution avant qu'une limite de sécurité stricte ne soit franchie.
• Conservatisme : L'approche est intrinsèquement conservative. Dans les régimes de données épars, l'ODD dérivé sous-approxime la région sûre réelle, garantissant que le système n'est déployé que dans des zones soutenues par des données d'entraînement suffisantes. Cela s'aligne sur le principe Safety-by-Design.
• Limites : Les auteurs reconnaissent que la méthode repose sur des paramètres de noyau ($\kappa, \eta$) et que l'hypothèse de covariance diagonale simplifie les dépendances inter-dimensionnelles. Ils notent que l'ODD résultant peut être excessivement conservateur dans les régions éparres, excluant potentiellement des conditions opérationnelles valides, mais soutiennent que ce compromis est nécessaire pour l'assurance de la sécurité.

En conclusion, ce travail établit une voie pour la construction d'ODD basée sur les données qui est compatible avec les arguments de sécurité formels, comblant le fossé entre les données empiriques et les exigences rigoureuses de la certification de l'IA dans les systèmes critiques pour la sécurité.