Position: Explanation Stability Is a Property of the Model Method Pair, Not the Model

Imaginez que vous essayez de comprendre pourquoi un robot cuisinier a décidé de brûler votre pain grillé. Vous demandez au robot : « Pourquoi avez-vous fait ça ? » et il pointe un doigt lumineux vers le pain. Mais voici le piège : le robot a deux façons différentes de pointer. L'une, appelons-la « Le Pointeur Laser », met en évidence l'endroit exact où le pain était le plus chaud. L'autre, « Le Projecteur », projette un faisceau large sur tout le grille-pain, mettant l'accent sur la zone générale. Si vous n'utilisez que le Pointeur Laser, vous pourriez penser que le robot est très cohérent. Mais si vous passez au Projecteur, le robot pourrait soudainement pointer une partie complètement différente de la cuisine ! C'est le cœur d'un problème croissant dans le monde de l'Intelligence Artificielle (IA), plus précisément dans un domaine appelé l'IA explicable (XAI).

Dans le monde de l'IA, nous construisons des « modèles » (pensez à des cerveaux numériques super intelligents) pour prendre des décisions, comme détecter des maladies sur des images de radiographies. Mais ces modèles sont souvent des « boîtes noires » — nous savons ce qui entre et ce qui sort, mais nous ne savons pas toujours comment ils ont décidé. Pour corriger cela, les scientifiques utilisent des « méthodes d'attribution ». Ces outils agissent comme des surligneurs, nous montrant quelles parties d'une image (comme une tache sombre sur une radiographie) étaient les plus importantes pour la décision de l'IA. Pendant longtemps, les chercheurs ont supposé que si un modèle d'IA était stable et fiable, son surligneur pointerait toujours vers le même endroit, quel que soit l'outil utilisé pour effectuer ce surlignage. Cette étude soutient que cette supposition est fausse. Elle suggère que la « stabilité » d'une explication n'est pas une propriété du cerveau de l'IA elle-même, mais plutôt le résultat de l'outil de surlignage spécifique que vous utilisez par hasard. Si vous changez l'outil, l'histoire que raconte l'IA peut changer complètement, même si la réponse finale de l'IA reste la même.

Le Grand Changement de Surligneur

Les auteurs de cet article, Kabilan Elangovan et Daniel Ting, ont décidé de mettre cette idée à l'épreuve avec une expérience contrôlée utilisant des radiographies thoraciques. Ils ont pris trois modèles d'IA célèbres — DenseNet201, ResNet50V2 et InceptionV3 — et leur ont appris à repérer cinq différentes pathologies pulmonaires, dont la pneumonie et la COVID-19. Ils ont entraîné ces modèles jusqu'à ce qu'ils soient incroyablement doués pour leur travail, atteignant un taux de réussite (AUC) de plus de 99 % pour les trois. En d'autres termes, ils étaient tous également brillants pour diagnostiquer la maladie.

Puis vint le rebondissement. Les chercheurs ont demandé à ces modèles d'expliquer pourquoi ils faisaient leurs diagnostics en utilisant deux outils de surlignage très différents : LayerCAM et Grad-CAM++.

• LayerCAM est comme un microscope haute définition. Il regarde l'image pixel par pixel, préservant les détails fins et les textures locales.
• Grad-CAM++ est plus semblable à un objectif grand angle. Il regarde la vue d'ensemble, utilisant des mathématiques complexes pour pondérer différentes parties de l'image en fonction de leur importance globale.

Les chercheurs voulaient voir : si ils ajustaient légèrement les modèles (un processus appelé « fine-tuning » ou réglage fin), les surligneurs resteraient-ils stables ? Continueraient-ils à pointer les mêmes zones pulmonaires ?

Le Coup de Théâtre : Cela Dépend de l'Outil

C'est ici que l'histoire devient incroyable. Les résultats ont montré que la « stabilité » de l'explication dépendait entièrement de l'outil de surlignage utilisé. C'était comme demander à trois personnes différentes de décrire une peinture ; l'une pourrait dire : « Cette peinture est stable parce que les couleurs ne changent pas », tandis qu'une autre dirait : « Non, les formes bougent de manière sauvage. » Les deux pourraient avoir raison, mais elles utilisent des règles différentes.

• La Surprise d'InceptionV3 : Lorsque les chercheurs ont utilisé LayerCAM (le microscope), InceptionV3 est apparu comme le modèle le plus stable. Il gardait sa concentration serrée, avec un score de stabilité (appelé IoU) de 0,777. Il semblait être l'IA parfaite et fiable.

• Le Choc Grad-CAM++ : Mais lorsqu'ils sont passés à Grad-CAM++ (l'objectif grand angle), InceptionV3 s'est effondré. Son score de stabilité est tombé à 0,643, une dégradation massive de 17,3 %. Soudain, le modèle qui semblait si constant était en fait très instable, simplement parce que l'outil avait changé.

• Le Héros DenseNet201 : D'un autre côté, DenseNet201 a été le calme dans la tempête. Que les chercheurs utilisent le microscope ou l'objectif grand angle, le score de stabilité de DenseNet201 a peine changé. Il est passé de 0,699 à 0,690, une variation infime de 1,3 %. Ce modèle semblait posséder une nature « agnostique à la méthode », ce qui signifie que ses explications restaient cohérentes quel que soit l'outil.

• La Lutte de ResNet50V2 : ResNet50V2 a eu du mal. Il a commencé avec un score modéré de 0,519 sous LayerCAM, mais s'est effondré à 0,383 sous Grad-CAM++. Il était instable quoi qu'il arrive, mais la chute était particulièrement dramatique.

La partie la plus choquante ? Les trois modèles obtenaient toujours le diagnostic correct 99 % du temps. Leurs « réponses » étaient parfaites, mais leurs « raisons » se déplaçaient comme des châteaux de sable dans le vent, selon l'outil utilisé pour les observer.

Pourquoi Cela Importe : Le Piège de l'« Illusoire Sécurité »

L'article soutient que cette découverte brise une règle majeure de la façon dont nous faisons confiance à l'IA. Actuellement, si un chercheur dit : « Notre modèle d'IA est stable et digne de confiance », il le prouve souvent en montrant les résultats d'un seul outil de surlignage. Cet article affirme que cela est scientifiquement invalide. C'est comme affirmer qu'une voiture est « sûre » parce qu'elle a passé un test de collision avec un certain type d'airbag, sans jamais la tester avec un autre.

Les auteurs soulignent que si vous regardez seulement InceptionV3 à travers la lentille de LayerCAM, vous pourriez penser qu'il est le meilleur choix pour un hôpital. Mais si l'hôpital utilise réellement Grad-CAM++ (ou si le logiciel se met à jour et change d'outil), les explications de l'IA pourraient devenir peu fiables, trompant potentiellement les médecins. L'article suggère que la stabilité de l'explication n'est pas un trait du modèle lui-même, mais une propriété du couple « Modèle + Méthode ». Vous ne pouvez pas les séparer.

La Conclusion : Vérifiez Vos Outils

Alors, que devons-nous faire ? Les auteurs proposent quelques changements dans la façon dont nous étudions et réglementons l'IA :

1. Ne faites pas confiance à un seul outil : Les chercheurs ne devraient jamais prétendre qu'un modèle est « stable » à moins de l'avoir testé avec au moins deux méthodes de surlignage différentes. Si les résultats changent radicalement, le modèle n'est pas stable ; il a juste eu de la chance avec cet outil précis.
2. Les régulateurs doivent être spécifiques : Lorsque les dispositifs médicaux sont approuvés par des agences comme la FDA, l'outil de surlignage spécifique utilisé pour générer l'explication doit être verrouillé. Si un hôpital change l'outil plus tard, le dispositif pourrait nécessiter une nouvelle approbation, car la « raison » donnée par l'IA pourrait changer.
3. Choisissez la bonne architecture : Si vous construisez une IA médicale, vous pourriez vouloir choisir un modèle comme DenseNet201, qui semble maintenir sa position à travers différents outils, plutôt qu'InceptionV3, qui est fragile et dépend fortement de la méthode spécifique utilisée.

En résumé, cet article est un signal d'alarme. Il nous dit que dans le monde de l'IA, la « vérité » d'une explication ne dépend pas seulement du cerveau de l'IA ; elle dépend aussi des lunettes que nous utilisons pour l'observer. Si nous voulons faire confiance à l'IA dans des situations de vie ou de mort comme la médecine, nous devons nous assurer que nos explications tiennent bon, peu importe les lunettes que nous mettons.