Shapley in Context: Explaining Financial Language with Domain Expertise

Résumé technique : Shapley en contexte : Expliquer le langage financier grâce à l'expertise métier

Énoncé du problème
Les grands modèles de langage (LLM) sont de plus en plus adoptés dans les applications financières pour des tâches allant de l'analyse de sentiment à la gestion des risques. Cependant, le domaine financier est caractéré par des enjeux élevés et des exigences réglementaires strictes, ce qui rend l'explicabilité des modèles essentielle plutôt qu'optionnelle. Bien que de nombreuses méthodes d'attribution existent pour expliquer les modèles de type « boîte noire », la plupart sont conçues pour des tâches généralistes et manquent d'intégration avec les connaissances spécifiques au domaine. Le problème central abordé est de savoir si les attributions basées sur la valeur de Shapley peuvent fournir des explications pour les LLM appliqués aux textes financiers qui soient cohérentes avec les connaissances et le raisonnement établis du domaine financier.

Méthodologie
Les auteurs proposent un cadre pour évaluer l'explicabilité des LLM sur des données textuelles financières à travers le prisme de la valeur de Shapley, spécifiquement la valeur de Shapley de base (BShap). La méthodologie comprend trois composantes principales :

1. Cadre théorique et axiomes : Les auteurs introduisent un ensemble d'axiomes inspirés des connaissances métier, adaptés à la structure du texte financier et au comportement des LLM. Ces axiomes servent de critères formels pour des explications fidèles :

   • Effets de premier ordre : Monotonie individuelle moyenne (si une caractéristique augmente systématiquement la sortie, son attribution doit être positive) et Monotonie individuelle de la demande (si une caractéristique devient plus « forte » dans un sens positif, son attribution doit augmenter).
   • Effets de second ordre : Les axiomes d'effet marginal décroissant et croissant, capturant les interactions non linéaires où l'impact du changement d'une caractéristique dépend de la présence d'autres caractéristiques.
   • Comparaisons inter-caractéristiques et inter-modèles : Monotonie par paire (comparaison de l'importance relative de différentes caractéristiques au sein d'un modèle) et Dominance de monotonie de premier ordre (comparaison de l'importance de la même caractéristique à travers différents modèles). Les auteurs démontrent également que comparer différentes caractéristiques à travers différents modèles n'est généralement pas valide sous le cadre de Shapley.

2. Analyse théorique : L'article fournit des preuves mathématiques rigoureuses démontrant que la valeur de Shapley de base satisfait tous les axiomes proposés, inspirés des connaissances métier. Cela établit le BShap comme une méthode théoriquement solide pour générer des attributions de caractéristiques fiables dans ce contexte.

3. Évaluation empirique :

   • Exemples à petite échelle : Les auteurs utilisent FinBERT et BART-Large-MNLI pour démontrer comment les attributions BShap s'alignent sur l'intuition financière dans les tâches d'analyse de sentiment et de classification de secteurs (par exemple, distinguer des bénéfices « forts » de « stables », ou identifier des entreprises de la FinTech).
   • Attribution de risque à grande échelle : Une expérience significative analyse la section « Facteurs de risque » (Item 1A) des rapports Form 10-K de Silicon Valley Bank (SVB), Wells Fargo & Company (WFC) et Crocs, Inc. En utilisant un modèle GPT-5.2 pour noter les niveaux de risque (0–10), les auteurs calculent les attributions BShap pour différents en-têtes de risque.
   • Validation : L'étude évalue la cohérence des attributions (stabilité du classement des caractéristiques sur plusieurs exécutions) et la fidélité (la mesure dans laquelle la suppression des caractéristiques à haute attribution modifie significativement la sortie du modèle).

Résultats clés

• Validité théorique : Il est prouvé que la valeur de Shapley de base satisfait les axiomes proposés, garantissant que les attributions respectent les principes financiers tels que la monotonie et les effets marginaux.
• Interprétabilité dans le sentiment et la classification : Dans les exemples illustratifs, le BShap a correctement identifié que « fort » porte une attribution positive plus élevée que « stable », et que « IA » conduit la classification du secteur technologique tandis que « prêt » conduit la classification de la finance. Il a également diagnostiqué avec succès des défaillances de modèles, comme un modèle classant par erreur un fonds spéculatif comme une entreprise technologique en raison d'une dépendance excessive à l'expression « intelligence artificielle ».
• Aperçus sur l'attribution des risques : Dans l'expérience à grande échelle, le BShap a efficacement décomposé les scores de risque :
  • Pour SVB, les attributions les plus élevées ont été affectées aux risques de crédit et aux risques de marché/liquidité, reflétant précisément les facteurs qui ont mené à son effondrement en 2023.
  • Pour Wells Fargo, la méthode a mis en évidence les risques réglementaires et juridiques, reflétant l'exposition historique de l'entreprise au scandale des faux comptes et aux ordonnances de consentement qui ont suivi.
  • Pour Crocs, la méthode a capturé les changements relatifs des profils de risque entre 2020 et 2021, tels que l'augmentation des risques financiers et comptables dus à l'acquisition de HEYDUDE et la diminution des risques économiques à mesure que les préoccupations liées à la pandémie s'atténuaient.
• Cohérence et Fidélité : Les expériences ont démontré une haute cohérence de rang entre les exécutions et une haute fidélité, où la suppression des caractéristiques ayant des attributions élevées a provoqué des baisses de prédictions du modèle nettement plus importantes que la suppression de caractéristiques à faible attribution.

Signification et Revendications
L'article affirme que la valeur de Shapley de base est un outil fiable pour interpréter les sorties des LLM dans les applications de textes financiers car elle préserve un ensemble d'axiomes dérivés des connaissances métier du domaine financier. La signification de ce travail réside dans le pont jeté entre les méthodes générales d'IA explicable et les exigences spécifiques et à enjeux élevés du secteur financier.

Les auteurs soutiennent que cette approche soutient la gestion des risques de deux manières :

1. Gestion du risque de modèle : Elle fournit un moyen fondé et interprétable de comprendre les comportements opaques des LLM, garantissant que les prédictions puissent être expliquées clairement aux régulateurs et aux parties prenantes.
2. Décomposition du risque : Elle permet la décomposition des mesures de risque agrégées (dérivées des LLM) en sources spécifiques (par exemple, des en-têtes de risque spécifiques dans un 10-K), permettant des stratégies de mitigation des risques plus ciblées.

Les auteurs restent modestes quant aux limites, notant la complexité computationnelle des valeurs de Shapley pour de grands ensembles de caractéristiques et suggérant que les travaux futurs pourraient explorer des explications hiérarchiques ou des structures plus riches dans le texte financier. Ils ne prétendent pas avoir optimisé la précision de la mesure du risque elle-même, mais se sont concentrés sur l'interprétabilité et la validité du processus d'attribution.