Concept-based explanations of Segmentation and Detection models in Natural Disaster Management

Each language version is independently generated for its own context, not a direct translation.

Imaginez que vous êtes le chef des pompiers ou le responsable de la sécurité civile lors d'une grande inondation. Vous avez des drones qui volent au-dessus de la catastrophe, prenant des photos en temps réel. Pour vous aider, des intelligences artificielles (IA) très puissantes analysent ces images pour vous dire : « Là, c'est de l'eau », « Là, il y a une voiture coincée », ou « Là, le feu commence à se propager ».

Le problème ? Ces IA sont comme des boîtes noires magiques. Elles vous donnent la réponse, mais elles ne vous disent pas pourquoi. Si l'IA dit « C'est une voiture », vous ne savez pas si elle a vu les roues, la couleur, ou si elle s'est trompée en confondant un toit avec une voiture. En situation d'urgence, si vous ne faites pas confiance à la machine, vous n'utiliserez pas son aide. C'est là que cette recherche intervient.

Voici l'explication de ce papier, traduite en langage simple avec des images pour mieux comprendre :

1. Le Problème : La Machine qui ne parle pas

Les chercheurs ont utilisé deux types d'IA très performants :

PIDNet : Un expert pour dessiner la carte exacte de l'inondation (où l'eau va, où elle ne va pas).
YOLO : Un expert pour repérer les objets, comme les voitures ou les personnes, dans la foule ou les rues inondées.

Ces modèles sont rapides et précis, mais ils sont « muets ». Ils ne peuvent pas expliquer leur raisonnement. Si l'IA se trompe, on ne sait pas pourquoi, ce qui est dangereux quand des vies sont en jeu.

2. La Solution : Donner une « Loupe » à l'IA

Les auteurs ont créé un système pour ouvrir cette boîte noire et voir ce qui se passe à l'intérieur. Ils utilisent deux outils principaux :

A. LRP (La Propagation de la Rélevance) : Le détective de la trace

Imaginez que l'IA est un détective qui a résolu une énigme. LRP est la technique qui permet de remonter le fil de l'enquête, pas à pas, depuis la conclusion jusqu'au début.

Comment ça marche ? Si l'IA dit « C'est une voiture », LRP regarde chaque couche de l'IA et se demande : « Quelle partie de l'image a contribué à cette décision ? ».
L'innovation : Les chercheurs ont adapté cette technique pour un type d'IA très complexe (PIDNet) qui mélange différentes informations (comme mélanger de la peinture de différentes couleurs). Ils ont inventé une nouvelle règle pour s'assurer que la « preuve » (la rélevance) ne se perd pas lors de ce mélange, comme si on s'assurait que chaque goutte de peinture compte dans le tableau final.

B. PCX (Les Explications par Concepts) : Le dictionnaire des idées

C'est la partie la plus créative. Au lieu de dire « ce pixel est important », l'IA apprend à reconnaître des concepts humains.

L'analogie : Imaginez que vous apprenez à un enfant à reconnaître les voitures. Vous ne lui montrez pas des pixels, vous lui dites : « Regarde les roues », « Regarde les phares », « Regarde la couleur ».
Ce que fait PCX : Il classe les décisions de l'IA en « stratégies » ou « prototypes ».
- Exemple concret : L'IA a appris qu'il existe 4 façons de reconnaître une voiture dans une inondation :
  1. Les voitures blanches.
  2. Les voitures sombres.
  3. Les ambulances rouges.
  4. Les voitures floues ou bizarres.
- Si l'IA détecte une voiture, PCX vous dit : « Ah, elle a utilisé la stratégie "Voiture Blanche" ».

3. Le Résultat : Détecter les erreurs avant qu'elles ne coûtent cher

C'est ici que la magie opère pour la sécurité. Le système peut repérer quand l'IA est perdue.

L'histoire de la fenêtre de toit : Dans l'article, les chercheurs montrent un exemple où l'IA a cru voir une voiture blanche sur un toit. En réalité, c'était juste une fenêtre.
Comment PCX l'a su ? Le système a comparé l'image avec ses « prototypes » (ses exemples parfaits). Il a vu que l'IA s'était trop focalisée sur un concept étrange (« fenêtres de véhicule ») qui ne correspondait pas à une vraie voiture dans ce contexte.
Le verdict : PCX a crié : « Attention ! C'est une erreur ! C'est un cas atypique ! ». Cela permet aux humains de ne pas faire confiance aveuglément à la machine quand elle est dans le doute.

4. Pourquoi c'est important pour les drones ?

Ces explications sont légères et rapides. On peut les faire tourner directement sur les drones (les petits avions sans pilote) qui volent au-dessus des catastrophes.

Avantage : Le drone peut vous dire : « Je vois une voiture, mais je ne suis pas sûr à 100%, regardez bien cette fenêtre ».
Résultat : Les sauveteurs gagnent du temps et de la confiance. Ils savent quand faire confiance à l'IA et quand vérifier eux-mêmes.

En résumé

Cette recherche est comme donner un langage à une machine très intelligente mais muette.

Elle apprend à l'IA à expliquer ses choix (grâce à LRP).
Elle lui apprend à catégoriser ses pensées en concepts humains (grâce à PCX).
Elle permet de détecter les erreurs en repérant quand l'IA utilise des « mauvaises idées » pour prendre une décision.

C'est un pas de géant pour rendre les technologies de sauvetage plus transparentes, plus sûres et plus dignes de confiance lors des catastrophes naturelles.

Each language version is independently generated for its own context, not a direct translation.

Titre de l'article

Explications basées sur les concepts pour les modèles de segmentation et de détection dans la gestion des catastrophes naturelles

1. Problématique

L'utilisation de modèles d'apprentissage profond (Deep Learning) pour la segmentation de crues et la détection d'objets (comme les véhicules) dans des images de drones et de satellites offre un potentiel immense pour la gestion des catastrophes naturelles (inondations, incendies). Cependant, la nature "boîte noire" de ces modèles (DNN) constitue un obstacle majeur à leur déploiement opérationnel. En situation d'urgence, les intervenants humains doivent pouvoir faire confiance aux décisions de l'IA pour allouer les ressources et réagir rapidement. Le manque de transparence sur le processus décisionnel du modèle empêche cette confiance. De plus, les méthodes d'IA explicable (XAI) existantes n'avaient pas encore été adaptées aux architectures spécifiques utilisées dans ce domaine (comme PIDNet) ni étendues aux tâches de segmentation sémantique et de détection d'objets au-delà de la classification d'images.

2. Méthodologie

Les auteurs proposent un cadre d'explicabilité complet combinant la propagation de la pertinence au niveau des couches (LRP) et des explications basées sur les concepts.

Extension de la LRP (Layer-wise Relevance Propagation) :
- L'approche utilise la LRP pour décomposer rétroactivement la prédiction du modèle jusqu'à l'image d'entrée, attribuant des scores d'importance (pertinence) aux neurones.
- Adaptation à PIDNet : Une contribution majeure est l'extension de la LRP à l'architecture PIDNet, qui utilise des couches de fusion spécifiques (Pixel-Attention-Guided et Boundary-Attention-Guided). Les auteurs proposent une stratégie de redistribution pour les multiplications élémentaires avec des portes sigmoïdes ( $y = x \odot \sigma(g)$ ). Conformément à la logique des réseaux de neurones récurrents (LSTM), ils attribuent toute la pertinence à la branche du signal ( $x$ ) et aucune à la branche de la porte ( $g$ ), car la porte agit uniquement comme un modulateur.
- Cela permet de couvrir l'ensemble du graphe de calcul, y compris les modules de fusion complexes, jusqu'à l'image d'origine.
Explications Prototypiques Basées sur les Concepts (PCX) :
- L'article étend pour la première fois la méthode PCX (jusqu'alors réservée à la classification) aux modèles de segmentation et de détection.
- Processus :
  1. Génération de vecteurs de pertinence de concepts en sommant les relevances LRP sur les dimensions spatiales des cartes de caractéristiques.
  2. Regroupement (clustering) de ces vecteurs via un Modèle de Mélange Gaussien (GMM) sur les données d'entraînement pour identifier des "prototypes" (stratégies de prédiction distinctes).
  3. À l'inférence, une nouvelle prédiction est comparée aux prototypes les plus proches pour déterminer si elle est "ordinaire" ou une "valeur aberrante" (outlier).
- Visualisation : Le système permet de visualiser les concepts sémantiques (ex: couleurs de l'eau, parties de véhicules) en récupérant des images de référence maximisant ces concepts et en générant des cartes de chaleur conditionnées.

3. Contributions Clés

Première application dans le domaine des catastrophes : Introduction de la LRP et des explications basées sur les concepts dans le domaine de la gestion des catastrophes naturelles (NDM).
Extension architecturale : Adaptation de la LRP à l'architecture PIDNet, en particulier pour gérer les couches de fusion à portes sigmoïdes.
Extension des tâches : Première application de PCX aux modèles de segmentation sémantique et de détection d'objets (au-delà de la classification).
Efficacité opérationnelle : Le cadre maintient des capacités d'inférence quasi temps réel, le rendant adapté aux plateformes embarquées sur des drones (UAV) aux ressources limitées.

4. Résultats Expérimentaux

Les expériences ont été menées sur un jeu de données public d'inondations (TEMA AIIA Ahrtal) capturé par des drones, utilisant deux modèles :

PIDNet-small pour la segmentation d'inondations.
YOLOv6s6 pour la détection de voitures dans un contexte d'inondation.
Évaluation Quantitative :
- Une évaluation par perturbation (suppression ou insertion de cartes de caractéristiques selon leur pertinence) a été réalisée.
- Les explications basées sur la LRP (notamment la règle $\epsilon$ ) et Grad-CAM se sont avérées supérieures aux méthodes basées sur les activations standards ou aléatoires.
- Les scores AOC (Area Over the Curve) et AUC (Area Under the Curve) confirment la fiabilité des explications générées.
Évaluation Qualitative et Analyse des Prototypes :
- Détection de voitures (YOLO) : Le modèle a appris 4 stratégies distinctes (prototypes) pour détecter les voitures : voitures blanches, voitures sombres, ambulances rouges, et voitures floues. Le prototype "voitures floues" a été identifié comme une valeur aberrante avec une faible similarité, signalant un problème potentiel de qualité des données ou de fiabilité pour ce sous-ensemble.
- Segmentation d'inondations (PIDNet) : Le modèle distingue différents types de structures d'inondation (structures linéaires, inondations de plaine étendues, inondations de rue à petite échelle).
- Détection d'erreurs (Outliers) : Dans un cas d'étude, PCX a correctement identifié une erreur de prédiction où le modèle confondait une fenêtre de toit avec une voiture blanche. L'analyse a révélé une sur-utilisation du concept "fenêtres latérales de véhicule blanc" par rapport au prototype, permettant de classer la prédiction comme une valeur aberrante.

5. Signification et Impact

Ce travail démontre que l'IA explicable basée sur les concepts peut être efficacement étendue aux tâches complexes de vision par ordinateur dans des environnements critiques comme la gestion des catastrophes.

Confiance et Transparence : En révélant les stratégies internes du modèle (prototypes) et les concepts spécifiques utilisés pour une décision, le cadre permet aux intervenants de vérifier la logique de l'IA.
Détection d'Anomalies : La capacité à identifier les prédictions "hors distribution" (outliers) est cruciale pour éviter des erreurs coûteuses lors de la réponse aux urgences.
Déploiement Réel : La compatibilité avec des architectures légères et des plateformes embarquées (drones) ouvre la voie à une utilisation opérationnelle en temps réel, transformant l'IA d'un outil de recherche en un assistant décisionnel fiable sur le terrain.