When Can We Trust Deep Neural Networks? Towards Reliable Industrial Deployment with an Interpretability Guide

1. Problématique : La fiabilité des réseaux de neurones dans les domaines critiques

L'article aborde un défi majeur dans le déploiement de l'IA, en particulier dans les domaines critiques pour la sécurité tels que l'inspection des défauts industriels, la conduite autonome et le diagnostic médical. Bien que les méthodes d'apprentissage profond atteignent des taux de précision élevés, elles souffrent d'un manque de fiabilité intrinsèque :

• Nature de boîte noire : Les modèles ne possèdent pas de mécanisme interne pour signaler lorsqu'une prédiction est erronée, même si la probabilité de sortie est élevée.
• Limites des approches actuelles : Les méthodes d'estimation d'incertitude (comme le MC Dropout ou les ensembles profonds) sont efficaces pour détecter des données hors distribution (OOD), mais échouent souvent face aux cas où le modèle est « confiant mais faux » (confidently wrong).
• Conséquences catastrophiques : Dans l'inspection industrielle, un seul faux négatif (un défaut non détecté) peut entraîner des conséquences désastreuses. Il n'existe actuellement aucune alternative fiable pour vérifier la crédibilité d'une sortie de modèle sans intervention humaine.

2. Méthodologie : Détection d'échantillons suspects via l'interprétabilité

Les auteurs proposent une approche post-hoc (après entraînement) ne nécessitant aucune modification de l'architecture du modèle. L'idée centrale repose sur l'analyse de la divergence entre deux types d'explications visuelles générées pour la même image.

A. Concepts clés et hypothèse

• Hypothèse : La fiabilité d'une prédiction dépend du processus de raisonnement interne du modèle. Une incohérence entre différentes méthodes d'explication pour le même échantillon indique une erreur potentielle.
• Distinction des méthodes d'explication :
  • Discriminative (Spécifique à la classe) : Exemple : Grad-CAM. Elle met en évidence les régions spécifiques à la classe prédite (ex: le défaut).
  • Non-discriminative (Agnostique à la classe) : Exemple : FullGrad. Elle capture les caractéristiques pertinentes pour toutes les classes non-fond (ex: toutes les caractéristiques de l'image, qu'il y ait un défaut ou non).

B. L'indicateur $\Delta$-IoU

Pour quantifier la fiabilité, les auteurs comparent les cartes de chaleur (heatmaps) générées par ces deux méthodes :

1. Pour un échantillon donné, on génère une carte discriminative ($E_d$) et une carte non-discriminative ($E_n$).
2. On calcule la différence entre les Intersection over Union (IoU) de ces cartes par rapport à la classe positive et la classe négative.
3. La formule de l'indicateur est :
   $$\Delta\text{IoU} = \text{IoU}(E_d^{\text{classe 1}}, E_n) - \text{IoU}(E_d^{\text{classe 0}}, E_n)$$
4. Logique :
   • Pour un Faux Négatif (FN) (défaut présent mais non détecté), les deux méthodes tendent à localiser la même région (le défaut), ce qui donne un $\Delta$-IoU faible ou cohérent.
   • Pour un Vrai Négatif (TN) (pas de défaut), les méthodes divergent fortement car la méthode discriminative ne trouve rien de spécifique, tandis que la méthode non-discriminative trouve des caractéristiques de fond.
   • Note : L'article observe que les échantillons suspects (risque de faux négatif) présentent des écarts anormaux dans ces cartes, permettant de les identifier.

C. Amélioration par attaque adversaire (Adversarial Enhancement)

Certains faux négatifs peuvent avoir des caractéristiques de défaut trop subtiles pour être détectés par l'indicateur $\Delta$-IoU seul. Pour pallier cela, les auteurs proposent une étape d'amélioration :

• On applique une attaque adversaire itérative sur l'image d'entrée pour déplacer les caractéristiques vers la classe positive (défaut).
• Cela amplifie les caractéristiques subtiles du défaut, rendant les faux négatifs plus visibles pour l'indicateur de fiabilité.
• Formule d'itération : $x_t = x_{t-1} + \alpha \frac{\partial y_{c1}}{\partial x_{t-1}}$.

3. Contributions principales

1. Méthode sans entraînement : Proposition d'une méthode de détection d'échantillons suspects (Suspicious Sample Detection - SSD) qui ne nécessite ni réentraînement du modèle ni modification de son architecture.
2. Nouveau paradigme : Introduction d'un nouveau flux de travail pour l'IA industrielle : Données - Modèle - Interprétation - Sortie. Cela remplace le paradigme classique « Données - Modèle - Sortie » en intégrant l'interprétabilité comme composant de décision critique.
3. Amélioration par attaque adversaire : Développement d'une stratégie permettant d'atteindre un rappel (recall) de 100 % dans la détection de défauts, garantissant qu'aucun défaut critique n'est manqué.
4. Première approche proactive : C'est, à la connaissance des auteurs, la première méthode capable d'identifier proactivement les sorties potentiellement erronées d'un réseau de neurones avant le déploiement final.

4. Résultats expérimentaux

Les méthodes ont été évaluées sur deux benchmarks industriels de détection de défauts de surface (Kolektor SDD et Kolektor SDD2).

• Performance de base ($\Delta$-IoU) :
  • Sur le jeu de données Kolektor SDD, la méthode atteint un rappel de 100 % (0 faux négatifs détectés) avec une précision de 100 %, en éliminant les échantillons suspects.
  • Sur Kolektor SDD2, la méthode identifie 10 des 19 faux négatifs initiaux, augmentant le rappel de 82,7 % à 91,0 %.
• Impact de l'amélioration adversaire ($\Delta$-IoU$_{adv}$) :
  • Avec l'ajout de l'attaque adversaire, la méthode atteint un rappel de 100 % sur les deux jeux de données (0 faux négatifs restants).
  • Compromis (Trade-off) : Cette sécurité maximale s'accompagne d'une augmentation des faux positifs (des échantillons sains sont marqués comme suspects). Par exemple, sur SDD2, le nombre de vrais négatifs correctement classés diminue (de 887 à 250), car le système devient extrêmement conservateur pour ne manquer aucun défaut.
• Comparaison : Les méthodes basées uniquement sur la confiance (confiance du modèle) échouent à détecter la majorité des erreurs, confirmant que la confiance élevée ne garantit pas la justesse.

5. Signification et Limites

Signification :
Ce travail démontre que l'interprétabilité (XAI) ne doit pas être seulement un outil de visualisation a posteriori, mais un composant actif du processus de décision pour assurer la sécurité. En passant d'un système « boîte noire » à un système « boîte grise » intégrant l'interprétation, il devient possible de filtrer les prédictions à risque dans des environnements critiques.

Limites et travaux futurs :

• Taux de faux positifs élevé : La méthode marque de nombreux échantillons sains comme suspects (faux positifs), ce qui peut réduire l'efficacité opérationnelle si chaque alerte nécessite une vérification humaine.
• Origine des caractéristiques : La nature exacte des caractéristiques discriminatives (couches profondes vs superficielles) mérite une investigation plus poussée.
• Connaissances spécifiques au domaine : L'approche actuelle manque d'intégration de connaissances expertes spécifiques au domaine industriel pour affiner la détection.

En conclusion, l'article propose une voie prometteuse pour rendre l'IA industrielle plus fiable en utilisant l'interprétabilité comme garde-fou contre les erreurs catastrophiques, même au prix d'une certaine sur-détection.