Assessing Model-Agnostic XAI Methods against EU AI Act Explainability Requirements

Cet article propose un cadre d'évaluation qualitatif-quantitatif pour mesurer dans quelle mesure les méthodes d'IA explicable (XAI) agnostiques aux modèles répondent aux exigences de transparence et d'explicabilité imposées par la loi européenne sur l'IA, afin d'orienter les praticiens vers la conformité réglementaire.

L'essentiel

🌍 Le Contexte : Le "Café Noir" et la Loi

Imaginez que l'Intelligence Artificielle (IA) est comme un gros café noir (ce qu'on appelle un "modèle boîte noire"). Vous buvez le café, il vous réveille, mais vous ne savez pas exactement comment il a été fait, quelles grains ont été utilisés, ni pourquoi il a ce goût précis.

En Europe, une nouvelle loi très stricte, l'AI Act, arrive. Elle dit aux fabricants de ce café : "Vous ne pouvez pas juste vendre le café. Vous devez expliquer à vos clients comment il a été préparé, pourquoi il a ce goût, et s'il y a des risques." C'est comme si la loi exigeait une recette détaillée et un certificat de sécurité pour chaque tasse servie.

Le problème ? Les experts en IA ont inventé des outils pour "éclairer" ce café noir (ce sont les méthodes XAI ou "IA Explicable"), mais personne ne savait si ces outils répondaient vraiment aux exigences précises de la loi. C'est comme si vous aviez des lampions pour éclairer le café, mais vous ne saviez pas si la lumière était assez forte pour que l'inspecteur de la loi soit satisfait.

🔍 La Mission des Auteurs : Faire le Pont

Les auteurs de ce papier (Francesco, Giulia et Michael) ont décidé de combler ce fossé. Leur travail ressemble à celui d'un traducteur ou d'un pont entre deux mondes qui ne se parlent pas :

1. Le monde des techniciens (qui parlent de "fidélité", de "robustesse" et de "complexité").
2. Le monde des juristes (qui parlent de "droits des citoyens", de "transparence" et de "responsabilité").

Ils ont pris les outils d'explication les plus connus (comme SHAP, LIME, les arbres de décision, etc.) et les ont mis à l'épreuve face aux articles de la loi européenne.

🛠️ Comment ils ont fait ? (La Méthode du "Score de Conformité")

Au lieu de dire "Oui, c'est bien" ou "Non, c'est nul", ils ont créé un système de notation intelligent. Imaginez que vous évaluez un candidat pour un emploi très spécial : celui de "Garant de la Loi".

1. La Liste de Courses (Les Critères) : Ils ont listé ce que la loi exige. Par exemple :

   • Est-ce que l'explication est vraie ? (Fidélité)
   • Est-ce que l'explication tient bon si on change un tout petit peu les données ? (Robustesse)
   • Est-ce que l'explication est simple à comprendre pour un humain ? (Complexité)

2. Le Test de Conduite (L'Évaluation) : Ils ont fait passer chaque outil d'IA (SHAP, LIME, etc.) à travers ces critères.

   • Exemple : SHAP est comme un mécanicien de course : très précis, il explique exactement pourquoi le moteur tourne (très fidèle), mais son manuel est parfois un peu long et technique.
   • Exemple : LIME est comme un magicien : il donne une explication rapide et simple pour un cas précis, mais si vous changez un tout petit peu la carte, son explication peut changer du tout au tout (peu stable).

3. Le Score Final : Ils ont transformé ces notes qualitatives (bon, moyen, excellent) en un score numérique (de 0 à 1). Ce score indique : "À quel point cet outil vous aidera à respecter la loi européenne ?"

🏆 Les Résultats : Qui gagne la course ?

Après avoir calculé les scores, voici ce qu'ils ont découvert :

• Il n'y a pas de "Super-Héros" unique : Aucun outil ne gagne à tout. C'est comme en sport : un sprinteur est rapide, mais un marathonien est endurant.
• SHAP est le champion de la précision : Si la loi exige que l'explication soit vraie et exacte (ce qui est souvent le cas pour les décisions importantes comme un refus de crédit), SHAP est le meilleur choix. Il est très fiable.
• Les Arbres de Décision et les Règles sont les champions de la simplicité : Si la loi demande une explication très simple pour un client moyen (pas un ingénieur), les méthodes basées sur des règles (comme "Si A alors B") sont meilleures.
• Le mélange est la clé : Pour être vraiment conforme, il faut souvent utiliser plusieurs outils. Par exemple, utiliser SHAP pour vérifier que tout est juste en coulisses (pour les ingénieurs), et transformer ce résultat en un arbre de décision simple pour l'afficher au client.

💡 Pourquoi c'est important pour vous ?

Ce papier est une boussole pour les entreprises.

• Avant : Les entreprises étaient perdues. "On utilise LIME ? SHAP ? On ne sait pas si c'est légal."
• Maintenant : Grâce à ce système de score, elles peuvent dire : "Pour ce type de décision (ex: refuser un prêt), la loi exige une grande précision. Donc, on choisit SHAP car il a un score de conformité de 0,85, ce qui est le plus élevé."

🚀 Conclusion : Le Futur

Les auteurs disent que ce n'est pas fini. C'est comme un moteur de recherche pour la conformité légale. Si une nouvelle loi arrive ou si un nouvel outil d'IA est inventé demain, on peut simplement mettre à jour le tableau et recalculer les scores.

En résumé, ce papier transforme une question juridique floue ("Est-ce que mon IA est explicable ?") en une réponse technique claire ("Utilisez cet outil précis pour obtenir un score de 0,9/1,0"). C'est un pas de géant pour rendre l'IA plus transparente et plus sûre pour tout le monde en Europe.

Résumé technique

1. Problématique

L'adoption de cadres réglementaires stricts, notamment la Loi sur l'Intelligence Artificielle (AI Act) de l'Union Européenne, a créé un fossé persistant entre les capacités techniques actuelles de l'IA Explicable (XAI) et les exigences juridiques.

• Le fossé de transparence : Les méthodes XAI sont souvent définies de manière étroite (explications techniques d'algorithmes), tandis que la loi exige des explications servant à la responsabilisation, au contrôle humain et au respect des droits fondamentaux.
• Manque de guidance : Les praticiens (en particulier les PME) manquent d'orientations claires pour identifier quelles techniques XAI spécifiques permettent de se conformer aux obligations de l'AI Act.
• Absence de cartographie systématique : Les travaux existants se concentrent sur les aspects algorithmiques ou proposent des liens théoriques, mais ne fournissent pas de cartographie systématique reliant les algorithmes XAI concrets aux exigences légales spécifiques (obligations, objectifs explicatifs).

2. Méthodologie

Les auteurs proposent un cadre d'évaluation mixte (qualitatif-quantitatif) pour combler ce fossé. La démarche se déroule en plusieurs étapes :

• Définition de l'explication : Adoption d'une définition philosophique (langage ordinaire) où une explication est une « réponse à des questions implicites ou explicites facilitant la compréhension », alignée sur le contexte juridique plutôt que sur des modèles mentaux individuels.
• Catégorisation des propriétés XAI : Basé sur la littérature (réf. [8]), les propriétés d'interprétabilité sont regroupées en trois clusters principaux :
  1. Fidélité (Faithfulness) : Précision de l'explication par rapport au raisonnement réel du modèle (absence de faux positifs/négatifs, complétude).
  2. Robustesse (Robustness) : Stabilité de l'explication face à de petites perturbations des entrées et résistance aux attaques adverses.
  3. Complexité (Complexity) : Simplicité de l'explication (sparsité, taille des règles, niveau de détail).
• Analyse juridique de l'AI Act : Une analyse inductive des articles pertinents (Art. 11, Annexe IV, Art. 13-14, Art. 86) permet d'identifier les obligations d'explication. Ces obligations sont traduites en contraintes sur les propriétés XAI (obligatoire, souhaitable, partiel, ou non requis).
• Évaluation des algorithmes :
  • Sélection de méthodes XAI agnostiques au modèle (arbres de décision, LIME, SHAP, Anchors, CEM, DiCE, etc.) issues de revues systématiques récentes.
  • Notation : Évaluation qualitative de chaque algorithme sur une échelle de Likert (1 à 5) pour chaque sous-propriété. Cette évaluation initiale, assistée par l'IA (ChatGPT 4o), a été rigoureusement révisée et validée par les auteurs.
• Calcul du score de conformité :
  • Un score quantitatif $S(a, r)$ est calculé pour chaque algorithme $a$ par rapport à un article de loi $r$.
  • Le calcul intègre des facteurs de force légale ($\lambda$) : 1 pour les exigences obligatoires, 0,75 pour les préférentielles, 0,5 pour les partielles.
  • Une pondération est appliquée pour éviter les biais de cardinalité et une condition de « fit procédural » (portée locale/globale et moment ex-ante/ex-post) filtre les algorithmes non pertinents.

3. Contributions Clés

• Cartographie Loi-XAI : Première tentative systématique de relier les obligations spécifiques de l'AI Act aux propriétés techniques des algorithmes XAI agnostiques.
• Cadre de notation « Qualitatif vers Quantitatif » : Introduction d'une méthodologie hybride transformant des jugements d'experts qualitatifs en un score de conformité réglementaire normalisé [0, 1].
• Outil pratique pour les praticiens : Fourniture d'une grille de sélection permettant aux ingénieurs de choisir les algorithmes les plus adaptés aux exigences légales spécifiques (ex: documentation technique vs explication à l'utilisateur final).
• Analyse de sensibilité : Démonstration que les scores de conformité sont robustes face aux variations des facteurs de poids juridiques, validant la fiabilité relative du classement.

4. Résultats Principaux

L'analyse des scores de conformité (Tableau 5) révèle des tendances claires selon les articles de la loi :

• Pour l'Art. 86 (Explications locales, ex-post, aux personnes affectées) :

  • Fidélité : SHAP, RuleSHAP et CEM sont les meilleurs, offrant des explications d'instance très fidèles.
  • Robustesse : SHAP domine.
  • Complexité : Anchors, CEM et DiCE sont préférés pour leur capacité à fournir des explications parcimonieuses (règles courtes, contre-factuels).
  • Recommandation : Utiliser SHAP comme base de vérité, puis superposer des règles ou des contre-factuels pour la présentation utilisateur.

• Pour les Art. 13-14 (Instructions d'utilisation, surveillance humaine, mixte local/global) :

  • SHAP et RuleSHAP dominent la fidélité.
  • PDP (Partial Dependence Plots) est recommandé pour les tendances globales robustes et documentables.
  • Stratégie : Combiner des listes de règles simples pour l'interface utilisateur et des diagnostics basés sur SHAP pour les fichiers techniques.

• Pour l'Art. 11 & Annexe IV (Documentation technique, ex-ante, globale) :

  • La complexité devient un critère majeur. Les Arbres de décision et RuleFit obtiennent les meilleurs scores pour la granularité et la sparsité.
  • SHAP reste le meilleur outil pour la fidélité globale dans la documentation de gestion des risques.

• Général : Aucune méthode unique ne satisfait tous les critères. SHAP apparaît comme l'outil le plus polyvalent et le plus performant globalement, suivi par RuleSHAP et PDP. Les méthodes basées sur des contre-factuels (CEM, DiCE) excellent en fidélité et robustesse mais souffrent souvent de stabilité (stabilité faible).

5. Signification et Impact

• Opérationnalisation de la conformité : Ce travail transforme des exigences légales abstraites en choix d'ingénierie concrets, permettant aux organisations de justifier leurs choix techniques face aux régulateurs.
• Réduction de l'incertitude : Il aide les entreprises, en particulier les plus petites, à naviguer dans la complexité de l'AI Act en identifiant les outils XAI les plus prometteurs pour chaque cas d'usage.
• Adaptabilité : Le cadre est modulaire. De nouveaux algorithmes ou de nouvelles lois peuvent être intégrés sans refonte complète du système de notation.
• Limites et Perspectives : Les auteurs soulignent que le score n'est pas une preuve absolue de conformité légale (qui dépend du contexte et de l'implémentation), mais un indicateur puissant. Les travaux futurs viseront à tester ce cadre sur des cas d'usage réels en déploiement.

En résumé, cet article fournit un pont essentiel entre la théorie juridique et la pratique algorithmique, offrant une méthodologie rigoureuse pour évaluer et sélectionner les solutions d'IA explicable dans le contexte réglementaire européen.