Résumé technique : Règle de pouce (Rule of Thumb) : Expliquer les systèmes d'intelligence artificielle à l'aide d'informations partielles

Énoncé du problème

L'intelligence artificielle explicable (XAI) fait face à des limitations critiques dans trois domaines d'application émergents : la classification zero-shot avec les grands modèles de langage (LLM), l'audit de systèmes d'IA propriétaires opaques, et l'utilisation de l'IA pour la découverte scientifique. Les méthodes existantes, principalement basées sur l'analyse de sensibilité (ex. : SHAP, LIME, Integrated Gradients), reposent sur la perturbation des caractéristiques d'entrée pour observer les changements dans la sortie du modèle. Cette approche se heurte à des barrières fondamentales :

1. Inaccessibilité : Les méthodes basées sur la sensibilité nécessitent souvent l'accès aux poids du modèle (gradients) ou la capacité d'interroger le modèle avec des données synthétiques perturbées. Cela est impossible pour les LLM fermés accessibles uniquement via API et extrêmement coûteux en raison du grand nombre d'appels API requis (ex. : 500 à 5000 appels par explication).
2. L'effet Rashomon dans l'audit : Lors de l'audit de systèmes propriétaires, les chercheurs construisent souvent des modèles « mimiques » pour approximer le système cible. Cependant, différents modèles mimiques ayant une précision similaire peuvent posséder des mécanismes internes différents, menant à des explications contradictoires (l'effet Rashomon). Cela compromet la validité des audits basés sur des modèles mimiques.
3. Validité scientifique : L'analyse de sensibilité suppose que le comportement du modèle sur des données hors distribution (synthétiques) reflète une causalité réelle. Cela peut conduire à des hypothèses spécieuses, où des caractéristiques non informatives apparaissent comme importantes simplement parce que le modèle réagit de manière arbitraire aux perturbations synthétiques.

Méthodologie : Règle de pouce (Rule of Thumb - ROT)

Les auteurs proposent la « Règle de pouce » (ROT), une nouvelle formulation de l'XAI qui définit l'importance des caractéristiques en fonction de la prédictivité plutôt que de la sensibilité. Au lieu de demander comment l'altération d'une caractéristique modifie la sortie, la ROT demande comment la connaissance de la valeur d'une caractéristique spécifique met à jour la prédiction du comportement du système d'IA.

Formulation

La ROT modélise la sortie du système d'IA $C(x)$ comme une somme de fonctions additives représentant l'information fournie par les valeurs individuelles des caractéristiques. Pour un ensemble de données $X$ et un ensemble de caractéristiques $\mathcal{J}$, le modèle estime :
$$C(x) \approx F\left(\sum_{j \in J} f_{\theta_j}(x_j) + G\right)$$
où :

• $F$ est une fonction sigmoïde (classification) ou identité (régression).
• $f_{\theta_j}(x_j)$ est une fonction apprise représentant l'importance de la caractéristique $j$ prenant la valeur $x_j$.
• $G$ est un terme de biais global.
• L'estimation est valable pour tout sous-ensemble de caractéristiques $J \subseteq \mathcal{J}$.

Optimisation

L'objectif est de trouver les poids $\theta$ optimaux qui minimisent la perte entre la sortie réelle du modèle $C(x)$ et l'estimation dérivée de sous-ensembles aléatoires de caractéristiques. La fonction de perte $L$ est marginalisée sur tous les points de données et tous les sous-ensembles de caractéristiques possibles :
$$\min_{\theta} L = \min_{\theta} \sum_{J \subseteq \mathcal{J}} \sum_{x \in X} p^{|J|} (1-p)^{(|\mathcal{J}|-|J|)} \cdot \ell\left[C(x), F\left(\sum_{j \in J} f_{\theta_j}(x_j) + G\right)\right]$$
Crucialement, cette optimisation est résolue efficacement en utilisant le dropout appliqué aux importances des caractéristiques pendant l'entraînement. Cela permet d'ajuster le modèle sur l'ensemble du jeu de données non perturbé sans nécessiter d'appels supplémentaires au modèle pour chaque explication. Une fois ajustée, l'importance de la caractéristique pour un point de donnée spécifique est simplement la valeur de $f_{\theta_j}(x_j)$.

Distinctions clés

• Pas de perturbation : La ROT ne nécessite pas de générer des données synthétiques ou de perturber les entrées.
• Caractéristiques non-entrées : La ROT peut incorporer des caractéristiques externes, non-entrées (ex. : attributs démographiques non transmis au modèle) dans l'explication en s'ajustant sur des jeux de données étendus, permettant la détection de biais même si le modèle prétend ne pas les utiliser.
• Indépendance du modèle (Model Agnostic) : Elle nécessite uniquement la capacité d'observer les prédictions sur des données existantes, et non l'accès aux poids ou la capacité d'interroger de nouvelles entrées.

Contributions clés et résultats

1. Classification Zero-Shot avec les LLM

• Expérience : Les auteurs ont appliqué la ROT à la classification d'images zero-shot (API GPT-4o-mini) et à la classification de texte (décisions judiciaires et critiques de films).
• Résultats : Les explications de la ROT s'alignent étroitement avec les annotations humaines (AUROC pondéré de 0,77 pour les cas judiciaires, comparable au 0,74 de SHAP).
• Efficacité : Alors que la première explication de la ROT nécessite un entraînement (environ 1160 secondes pour le jeu de données judiciaire), les explications suivantes sont quasi instantanées (<0,1 ms). En comparaison, SHAP a nécessité environ 1320 secondes par explication. La ROT a permis d'expliquer des LLM là où les méthodes basées sur la sensibilité étaient informatiquement irréalisables.

2. Audit de systèmes propriétaires boîte noire

• Expérience : Les auteurs ont audité le système de recommandation e-commerce d'Amazon, reproduisant une étude de The Markup qui utilisait un modèle mimique de type Forêt Aléatoire (Random Forest).
• Résultats :
  • Effet Rashomon : Différents modèles mimiques (variant les hyperparamètres ou les algorithmes) ont produit des explications SHAP/LIME contradictoires concernant l'importance des caractéristiques (ex. : si les « avis produits » ou « la marque est Amazon » étaient les plus importants).
  • Avantage de la ROT : La ROT a fourni des explications cohérentes sans aucun modèle mimique. Elle a identifié « la marque est Amazon » comme la caractéristique la plus importante, mais a également mis en évidence de manière unique « vendu par Amazon » comme un facteur significatif, révélant un comportement potentiel de préférence de soi que les audits basés sur des mimiques avaient manqué.

3. Découverte scientifique

• Expérience : Les auteurs ont testé la ROT sur des jeux de données de prédiction du diabète, de récidive et d'approbation de prêt, en conceissant spécifiquement des scénarios où certaines caractéristiques étaient soit non informatives, soit masquées par des caractéristiques « leurres » (foils) adverses.
• Résultats :
  • Caractéristiques non informatives : Lorsque l'« âge » était mathématiquement découplé des résultats du diabète, SHAP et LIME lui attribuaient tout de même une importance (générant des hypothèses spécieuses), tandis que la ROT l'identifiait correctement comme non important.
  • Robustesse adversaire : Dans des configurations adverses conçues pour induire les expliqueurs en erreur en les faisant prioriser des caractéristiques « leurres » au détriment de caractéristiques sensibles (ex. : race ou genre), SHAP et LIME ont échoué (récupérant la caractéristique sensible <5 % du temps). La ROT a maintenu un taux de succès >89 %, identifiant correctement les véritables caractéristiques sensibles.

4. Efficacité computationnelle et impact environnemental

• La ROT est de plusieurs ordres de grandeur plus rapide que SHAP et LIME pour des explications à grande échelle. Le document note qu'après l'ajustement initial, la ROT peut calculer des millions d'explications dans le temps qu'il faut à SHAP pour en calculer une seule, réduisant considérablement l'empreinte environnementale de l'XAI.

Signification et affirmations

L'article affirme que la ROT répond aux problèmes de validité et de praticité de longue date de l'XAI en changeant le paradigme de l'analyse de sensibilité vers la prédictivité des caractéristiques.

• Conformité réglementaire : La ROT est positionnée comme un outil capable de répondre aux exigences de l'IA Act de l'UE (ex. : Articles 15 et 74) pour l'audit de systèmes à haut risque où les régulateurs peuvent avoir accès aux jeux de données mais pas à l'accès complet au modèle ou à la capacité d'interroger de nouvelles entrées.
• Rigueur scientifique : En évitant les hypothèses sur les mécanismes causaux et le comportement hors distribution, la ROT offre une base plus robuste pour générer des hypothèses scientifiques par rapport aux méthodes basées sur la sensibilité.
• Déploiement pratique : La ROT est présentée comme un remplacement direct des bases de code XAI existantes, étant agnostique au modèle, plus rapide et capable d'expliquer des systèmes (comme les LLM accessibles uniquement par API) qui étaient auparavant inexplicables.

Les auteurs soulignent que la ROT ne prétend pas résoudre l'inférence causale, mais fournit une méthode fiable pour comprendre le comportement des modèles basée sur la prédictivité des données observées, ce qui la rend particulièrement adaptée aux contraintes des systèmes d'IA modernes et propriétaires.