Statistical Aspects of SHAP: Functional ANOVA for Model Interpretation

Imaginez que vous essayez de comprendre pourquoi une boule de cristal magique a fait une prédiction spécifique. Peut-être vous a-t-elle annoncé que vous auriez un A à votre examen de mathématiques, ou qu'une demande de prêt a été rejetée. Dans le monde de l'informatique, c'est ce qu'on appelle l'« apprentissage automatique » (machine learning), et la boule de cristal est un algorithme complexe qui a appris à prendre des décisions en observant des milliers d'indices, ou « caractéristiques » (features). Mais voici la partie délicate : ces algorithmes sont souvent si complexes que même leurs créateurs ne peuvent pas facilement expliquer pourquoi ils ont fait un choix spécifique. C'est comme une boîte noire. Pour remédier à cela, les scientifiques ont développé des outils pour jeter un coup d'œil à l'intérieur et attribuer un « score » à chaque indice, nous indiquant à quel point ce cliché spécifique a contribué à la réponse finale. L'un des outils les plus populaires pour cela s'appelle SHAP. Il est basé sur une vieille idée de la théorie des jeux appelée « valeur de Shapley », qui est essentiellement une manière équitable de répartir un prix entre une équipe de joueurs en fonction de l'aide apportée par chacun pour faire gagner l'équipe. La grande question que les chercheurs se posent est la suivante : comment calculer ces scores de manière équitable lorsqu'il y a des centaines d'indices, et comment décider à quoi ressemble la « normale » pour la comparaison ?

Cet article, écrit par Andrew Herren, P. Richard Hahn et Rafael Alcantara, plonge profondément dans les mathématiques derrière SHAP pour voir comment il fonctionne réellement. Les auteurs traitent le problème comme un immense puzzle, reliant les points entre l'explicabilité de l'apprentissage automatique et un domaine appelé « analyse de sensibilité », utilisé en physique et en ingénierie pour voir comment le changement des entrées affecte les sorties. Ils découvrent que SHAP fait en réalité quelque chose de très similaire à une technique statistique appelée « ANOVA fonctionnelle », qui décompose une fonction complexe en morceaux plus petits et plus gérables — comme séparer un smoothie en ses fruits individuels pour voir quelle quantité de sucre chaque fruit apporte. L'article suggère que les plus gros maux de tête auxquels les gens sont confrontés lors de l'utilisation de SHAP proviennent de deux choix principaux : décider quel « point de référence » ou base de comparaison utiliser pour la comparaison (comme demander : « Par rapport à quoi ? ») et décider combien des milliards de combinaisons possibles d'indices il faut réellement vérifier.

Les auteurs soutiennent que, bien que SHAP soit un outil puissant, ce n'est pas une baguette magique qui résout tout automatiquement. Ils montrent que les réponses que vous obtenez dépendent fortement de la distribution des données que vous choisissez comme référence de fond. Par exemple, si vous comparez une prédiction spécifique à une « base unique » (comme une personne moyenne), vous pourriez obtenir un résultat très différent que si vous la comparez à une « base corrélée » (où les caractéristiques qui vont habituellement ensemble sont maintenues ensemble). Dans leurs simulations, ils ont constaté que l'utilisation d'une base corrélée peut modifier radicalement les scores, inversant parfois totalement l'importance d'une caractéristique. Ils exploreent également la manière de gérer le fait que vérifier chaque combinaison possible de caractéristiques est impossible lorsque l'on en possède des milliers. Ils suggèrent qu'au lieu de vérifier aveuglément tout, nous pourrions utiliser des méthodes d'échantillonnage plus intelligentes — comme chercher d'abord les « interactions d'ordre inférieur » les plus importantes — pour obtenir une réponse suffisamment bonne sans attendre indéfiniment.

En fin de compte, l'article ne prétend pas avoir trouvé la méthode parfaite pour utiliser SHAP. Au lieu de cela, il clarifie les décisions techniques que les utilisateurs prennent, souvent sans s'en rendre compte, lorsqu'ils utilisent le logiciel. Les auteurs suggèrent que le lien entre l'explication des modèles d'IA et l'analyse de sensibilité est un lien fascinant qui pourrait mener à de meilleures méthodes à l'avenir. Cependant, ils avertissent qu'il n'existe pas une valeur de Shapley « correcte » unique pour chaque situation ; la « bonne » réponse dépend de la question que vous essayez de poser et du type de données de fond que vous choisissez pour la comparaison. Ainsi, bien que SHAP nous aide à jeter un coup d'œil à l'intérieur de la boîte noire, l'article nous rappelle que nous devons rester prudents quant à la manière dont nous interprétons la lumière que nous voyons.