🤖 machine learning

SeFaR: Semantic Feature-aware Robustness Testing of Deep Neural Networks

L'article propose SeFaR, un nouveau cadre qui exploite la modélisation hiérarchique de concepts et l'IA générative pour tester systématiquement la robustesse sémantique des réseaux de neurones profonds en générant des perturbations réalistes préservant les exigences et en identifiant les caractéristiques induisant des défaillances grâce à un processus de rétroaction adaptatif.

Auteurs originaux : Nusrat Jahan Mozumder, Divya Gopinath, Corina Pasareanu, Matthew Dwyer

Publié 2026-08-12

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Nusrat Jahan Mozumder, Divya Gopinath, Corina Pasareanu, Matthew Dwyer

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot comment conduire une voiture ou naviguer sur une planète rocheuse comme Mars. Vous lui donnez un ensemble de règles, comme « S'il y a une voiture devant vous, n'accélérez pas ». Mais voici le hic : les robots apprennent en regardant des images, et ils peuvent être étonnamment stupides. Ils pourraient être confus si la voiture devant eux est bleue au lieu de rouge, ou si le ciel devient d'un orange poussiéreux. C'est le monde des Réseaux de Neurones Profonds, le logiciel cérébral derrière les voitures autonomes et les rovers spatiaux. Bien que ces systèmes soient excellents pour reconnaître des choses dans des conditions parfaites, ils échouent souvent ou font des erreurs lorsque le monde devient étrange, sombre ou simplement différent de ce qu'ils ont vu à l'école.

Pour garder ces robots en sécurité, nous devons les tester non pas avec du bruit aléatoire, mais avec des caractéristiques sémantiques. Considérez cela comme les parties « significatives » d'une image : la couleur d'une voiture, le type de météo, ou la forme d'un rocher. La grande question que se posent les chercheurs est : « Si nous changeons la couleur de la voiture mais que la règle "n'accélérez pas" reste vraie, le robot paniquera-t-il quand même ? » Ce document présente une nouvelle façon de répondre à cette question, en allant au-delà de la simple modification de pixels pour réellement changer l'histoire de l'image d'une manière contrôlée et intelligente.

La machine du « Et si ? » du robot

Découvrez SeFaR (Semantic Feature-aware Robustness Testing). Vous pouvez considérer SeFaR comme un professeur d'art très créatif et légèrement malicieux pour les robots. Son travail consiste à prendre les « règles » d'un robot et un tas d'images qui suivent ces règles, puis à demander : « Que se passe-t-il si nous changeons juste une chose dans l'image, comme transformer une berline en camion, ou changer la météo pour une tempête de poussière, tout en gardant le reste de la scène exactement identique ? »

Les anciennes méthodes de test des robots consistaient à leur jeter du sable dans les yeux ou à brouiller leur vision. Ce n'est pas très utile car la vraie vie n'est pas seulement floue ; elle est pleine de changements spécifiques, comme un feu vert qui devient rouge ou un piéton qui apparaît. SeFaR est différent. Il utilise un « modèle de concept hiérarchique » spécial, qui est comme un arbre généalogique d'idées. Au sommet, vous avez des catégories larges comme « Véhicule » ou « Météo ». En descendant dans les branches, vous devenez plus spécifique : « Véhicule » se divise en « Camion » ou « Berline », et « Couleur » se divise en « Bleu », « Vert » ou même « Sarcelle ».

SeFaR utilise des outils d'IA puissants appelés modèles de diffusion (imaginez-les comme des peintres numériques super intelligents) pour redessiner les images. Si vous lui dites : « Change la voiture en un camion bleu », il peindra un camion bleu dans la scène sans défaire la route, le ciel ou les autres voitures. Il vérifie ensuite si le robot suit toujours les règles. Si le robot décide soudainement d'accélérer parce que la voiture est maintenant bleue, SeFaR l'attrape !

Le travail de détective

La partie vraiment cool est la façon dont SeFAr trouve la raison exacte de l'échec du robot. Parfois, le robot peut échouer à cause d'une couleur spécifique, comme le « Sarcelle », que les créateurs du robot n'avaient même pas pensé à tester. SeFAr agit comme un détective. Il examine les images ratées et utilise un autre outil d'IA (un modèle de vision-langage) pour décrire ce qui a changé. Il pourrait dire : « Hé, la voiture est devenue sarcelle, et c'est pour cela que le robot a paniqué. »

Le papier a testé cela sur trois scénarios différents :

Voitures autonomes (SGSM) : Tester des règles comme « Si une voiture est à 10 mètres devant vous, n'accélérez pas. »
Un rover de campus (RRAV) : Tester s'il peut repérer des cônes de signalisation et des personnes.
Un rover martien (AI4MARS) : Tester s'il peut repérer de gros rochers sur la surface martienne.

Ce qu'ils ont trouvé

Les chercheurs ont découvert que SeFAr est un très bon artiste. Lorsqu'il modifiait les images, il respectait les règles environ 93,4 % du temps en moyenne. Cela signifie qu'il a réussi à changer la couleur de la voiture ou la météo sans accidentellement briser la règle (comme faire disparaître la voiture).

Mais la vraie surprise résidait dans les échecs. SeFAr a découvert que les robots sont étonnamment fragiles.

Dans les tests de conduite, changer la couleur d'une voiture en vert a provoqué l'échec du robot environ 39,7 % du temps. Changer la voiture en camion a provoqué des échecs 10,5 % du temps.
Plus intéressant encore, lorsqu'ils combinaient les changements — comme un camion vert — le taux d'échec est passé à 25,5 %.
Pour le rover martien, une tempête de poussière était un problème majeur, provoquant des échecs, tandis que d'autres changements météorologiques ne le dérangeaient pas autant.

Le papier suggère que ces échecs se produisent parce que les robots s'appuient sur des « corrélations spécieuses » — ils devinent en se basant sur des choses qui ne devraient pas compter, comme une nuance spécifique de bleu ou la présence de l'ombre d'un arbre, plutôt que sur la règle réelle.

L'essentiel à retenir

SeFAr ne nous dit pas seulement que un robot a échoué ; il nous dit pourquoi en trouvant la « caractéristique » spécifique qui a fait bugger le cerveau du robot. Il a découvert que les robots sont souvent fragiles, échouant face à des changements réalistes et spécifiques comme une voiture sarcelle ou une tempête de poussière, même si ces changements ne violent pas les règles de sécurité.

Les auteurs sont convaincus que cette méthode fonctionne bien pour trouver ces faiblesses cachées. Ils ont montré qu'en explorant systématiquement ces scénarios de « et si ? », nous pouvons découvrir des défauts que les tests standards manquent. Bien qu'ils n'aient pas prétendu avoir résolu le problème de la sécurité des robots pour toujours, ils ont démontré que SeFAr est un nouvel outil puissant pour s'assurer que nos futurs robots ne soient pas confus par un simple changement de couleur ou une soudaine tempête de poussière. C'est une étape vers la garantie que, lorsque nous confierons le volant à un robot, il ne paniquera pas simplement parce que le ciel a une apparence un peu différente.

Résumé Technique : SeFaR – Test de Robustesse des Réseaux de Neurones Profonds Sensible aux Caractéristiques Sémantiques

1. Énoncé du Problème

Les réseaux de neurones profonds (DNN) sont de plus en plus déployés dans des domaines critiques pour la sécurité tels que les véhicules autonomes, les systèmes aériens sans pilote et l'exploration planétaire. Bien que ces modèles fassent preuve d'une forte précision empirique, ils échouent fréquemment dans des scénarios rares, sous-représentés ou sémantiquement complexes, entraînant des comportements dangereux. Valider les performances à travers tous les scénarios pertinents est un défi, particulièrement dans des environnements comme l'exploration spatiale où la collecte de données réelles est coûteuse et peu pratique.

Les approches de test existantes se concentrent souvent sur des transformations au niveau des pixels ou des manipulations dans l'espace latent qui peuvent ne pas correspondre à des changements sémantiques significatifs. D'autres méthodes utilisant des simulateurs ou des graphes de scènes sont limitées dans leur capacité à capturer la variabilité perceptuelle du monde réel. Bien que les techniques récentes de modèles génératifs aient fait progresser l'édition d'images et l'analyse de représentation, elles ne sont pas conçues pour l'évaluation systématique de la robustesse des modèles de vision en aval contre des variations sémantiques involontaires. Plus précisément, il manque des cadres capables d'évaluer systématiquement la robustesse des modèles par rapport à des caractéristiques sémantiques qui sont orthogonales (non pertinentes) aux exigences fonctionnelles du système, mais qui influencent néanmoins les décisions du modèle.

2. Méthodologie : Le Cadre SeFaR

Les auteurs proposent SeFaR (Semantic Feature-aware Robustness), un cadre pour un test systématique des modèles de vision centré sur les caractéristiques sémantiques. Le cadre évalue la robustesse du modèle en générant des perturbations réalistes le long de caractéristiques sémantiques qui préservent la satisfaction des exigences de haut niveau tout en exposant potentiellement des défaillances.

Composants Clés

Modèle de Concept Hiérarchique (Forêt d'Arbres de Caractéristiques - FFT) :
- SeFaR utilise un nouveau modèle de concept hiérarchique organisé sous la forme d'une forêt d'arbres de caractéristiques. Cette structure s'étend sur plusieurs niveaux d'abstraction, allant de facteurs grossiers (ex: arrière-plan, type d'objet) à des attributs plus fins (ex: couleurs spécifiques, poses).
- Le modèle permet l'utilisation de connaissances métier définies par l'utilisateur (alimentées par des experts) et supporte la modélisation en "monde ouvert" via des espaces réservés (ex: _) pour les caractéristiques non spécifiées.
- Les caractéristiques sont définies à l'aide d'opérateurs logiques (ou, xor) pour représenter des relations (ex: "est un" ou "fait partie de").
Perturbation et Détection de Violation :
- Entrées : Un réseau de neurones ( $N$ ), une exigence de correction formalisée ( $\phi = \phi_x \Rightarrow \phi_y$ ), un ensemble d'entrées satisfaisant l'exigence ( $D$ ), et un ensemble structuré de caractéristiques sémantiques ( $F_\phi$ ) attendues comme étant invariantes.
- Processus : Le cadre emploie un modèle de diffusion de pointe (spécifiquement Qwen-Image-Edit) comme opérateur de perturbation ( $\Delta$ ). Étant donné une image d'entrée et un prompt en langage naturel spécifiant une caractéristique à modifier, le modèle génère des variations photoréalistes qui altèrent la caractéristique cible tout en préservant la sémantique du reste de la scène.
- Vérification : Les images perturbées sont évaluées par rapport à la postcondition de l'exigence ( $\phi_y$ ). Si le modèle échoue à la postcondition malgré la satisfaction de la précondition ( $\phi_x$ ), une violation est enregistrée.
Analyse de Défaillance et Découverte Adaptative :
- Localisation de Caractéristiques : Pour identifier les facteurs sémantiques spécifiques causant les échecs, SeFaR utilise un Modèle de Vision-Langage (VLM) (spécifiquement Qwen2.5-VL) pour analyser les paires d'images originales et perturbées. Le VLM est sollicité pour décrire les différences en langage naturel.
- Agrégation Sémantique : Les descriptions textuelles des changements sont intégrées via un transformateur de phrases et regroupées (clustering) pour identifier les concepts communs induisant des échecs. Ce processus peut découvrir des caractéristiques auparavant inconnues (ex: la couleur "sarcelle" ou une tempête de poussière) qui n'étaient pas présentes dans la hiérarchie initiale définie par l'utilisateur.
- Raffinement Itératif : Le cadre adopte un processus adaptatif piloté par le feedback. Les caractéristiques de défaillance détectées sont utilisées pour affiner la hiérarchie des caractéristiques lors des cycles suivants, soit en supprimant les caractéristiques robustes, soit en dépriorisant les caractéristiques à faible risque, soit en explorant des chemins plus profonds dans l'arbre pour les caractéristiques ayant causé des échecs.

3. Principales Contributions

L'article présente cinq contributions principales :

Cadre SeFaR : Un cadre de test systématique centré sur les caractéristiques sémantiques qui évalue la robustesse des modèles de vision face aux variations de caractéristiques sémantiques orthogonales aux exigences.
Modèle de Concept Hiérarchique : Une représentation structurée (FFT) qui facilite l'exploration de l'espace des caractéristiques sémantiques, accueille les connaissances métier définies par l'utilisateur et supporte la découverte de caractéristiques non spécifiées.
Génération Basée sur la Diffusion : L'utilisation de modèles de diffusion pour générer des variations sémantiques photoréalistes respectant les exigences afin de détecter la non-robustesse dans des scénarios réalistes et rares.
Découverte Adaptative : Un mécanisme pour découvrir des explications de défaillances orientées vers les caractéristiques via une analyse sémantique basée sur la VQA (Visual Question Answering), générant des ensembles de tests qui témoignent de la non-robustesse des caractéristiques du modèle.
Preuve Empirique : Démonstration de l'applicabilité de SeFaR à travers trois études de cas distinctes, montrant sa capacité à satisfaire les préconditions des exigences tout en identifiant de nouvelles caractéristiques qui influencent les décisions du modèle.

4. Évaluation et Résultats

Les auteurs ont évalué SeFAr sur trois jeux de données représentant différents environnements opérationnels :

SGSM : Conduite autonome (simulateur CARLA) avec des exigences dérivées du code de conduite de Virginie.
RRAV : Navigation d'un rover de la NASA sur des routes de campus (évitement d'obstacles pour les cônes et les piétons).
AI4MARS : Navigation sur terrain martien (identification de gros rochers).

Principaux Résultats :

Préservation de la Précondition (RQ1) : SeFaR a systématiquement atteint un taux élevé de satisfaction des préconditions (moyenne de 93,4 % sur les jeux de données). Cela confirme la capacité du cadre à perturber les caractéristiques sémantiques sans violer les préconditions des exigences de sécurité.
Révélation de la Robustesse (RQ2) : Le cadre a efficacement révélé les caractéristiques sémantiques pour lesquelles les modèles n'étaient pas robustes.
- Dans le cas SGSM, des couleurs de véhicules spécifiques (Vert, Bleu) et des types de véhicules (Camion) ont provoqué des taux d'échec importants (ex: 39,7 % d'échec pour les véhicules Verts).
- Dans AI4MARS, "Tempête de poussière" a été identifiée comme une condition météorologique induisant des échecs, un scénario absent des données d'entraînement initiales.
- Les changements sémantiques combinés (ex: Éclairage + Poteau de feu de signalisation) ont souvent amplifié la vulnérabilité du modèle, avec des taux d'échec dépassant les 50 % dans certaines combinaisons.
Découverte de Caractéristiques Inconnues : L'analyse a réussi à identifier des caractéristiques non présentes dans le modèle initial défini par l'utilisateur, telles que des nuances de couleurs spécifiques (Sarcelle) et des conditions environnementales (Tempête de poussière), démontnant la capacité du cadre à découvrir des comportements fragiles.

5. Signification et Revendications

L'article affirme que SeFaR offre une nouvelle combinaison de modélisation sémantique hiérarchique, de génération basée sur la diffusion et d'exploration guidée par le feedback. Sa signification réside dans :

Découverte Systématique : Permettre la découverte systématique de scénarios pouvant causer des défaillances critiques pour la sécurité lors de déploiements réels, spécifiquement ceux induits par des variations sémantiques rares ou sous-représentées.
Explicabilité : Relier les fautes découvertes directement à des caractéristiques sémantiques spécifiques, fournissant un feedback exploitable aux développeurs sur les causes de la non-robustesse.
Utilité Pratique : Positionner SeFaR comme un outil pratique pour améliorer la fiabilité des systèmes basés sur la vision en passant d'un test au niveau des pixels à une évaluation de la robustesse au niveau sémantique.

Les auteurs maintiennent un ton modeste concernant les menaces à la validité, reconnaissant que l'efficacité du cadre dépend de la qualité des modèles de fondation sous-jacents et des stratégies de prompting, et que des études plus larges s'appuyant sur des ontologies de domaine rédigées par des experts constituent une étape naturelle suivante.