Shapley in Context: Explaining Financial Language with Domain Expertise

Technische Samenvatting: Shapley in Context: Financiële Taal Verklaren met Domeinexpertise

Probleemstelling
Large Language Models (LLM's) worden steeds vaker toegepast in financiële applicaties voor taken variërend van sentimentanalyse tot risicobeheer. Het financiële domein wordt echter gekenmerkt door hoge belangen en strikte regelgevende vereisten, waardoor de uitlegbaarheid van modellen essentieel is in plaats van optioneel. Hoewel er talrijke attributiemethoden bestaan voor het verklaren van black-box-modellen, zijn de meeste ontworpen voor algemene taken en missen zij integratie met domeinspecifieke kennis. Het centrale probleem dat wordt geadresseerd is of op Shapley-waarden gebaseerde attributies verklaringen kunnen bieden voor LLM's toegepast op financiële teksten die consistent zijn met gevestigde financiële domeinkennis en redeneringen.

Methodologie
De auteurs stellen een raamwerk voor om de uitlegbaarheid van LLM's op financiële tekstuele data te evalueren door de lens van de Shapley-waarde, specifiek de Baseline Shapley-waarde (BShap). De methodologie omvat drie primaire componenten:

1. Theoretisch Raamwerk en Axioma's: De auteurs introduceren een set domeinkennis-geïnspireerde axioma's die zijn afgestemd op de structuur van financiële tekst en LLM-gedrag. Deze axioma's dienen als formele criteria voor getrouwe verklaringen:

   • Eerstegraads effecten: Average Individual Monotonicity (als een kenmerk consequent de output verhoogt, moet de attributie positief zijn) en Demand Individual Monotonicity (als een kenmerk in positieve zin "sterker" wordt, moet de attributie toenemen).
   • Tweedehands effecten: Axioma's voor Diminishing en Increasing Marginal Effect, die niet-lineaire interacties vastleggen waarbij de impact van een verandering in een kenmerk afhangt van de aanwezigheid van andere kenmerken.
   • Cross-feature en Cross-model vergelijkingen: Pairwise Monotonicity (het vergelijken van de relatieve belangrijkheid van verschillende kenmerken binnen één model) en First-order Monotonic Dominance (het vergelijken van de belangrijkheid van hetzelfde kenmerk over verschillende modellen heen). De auteurs bewijzen ook dat het vergelijken van verschillende kenmerken over verschillende modellen heen over het algemeen niet geldig is onder het Shapley-raamwerk.

2. Theoretische Analyse: Het artikel biedt rigoureuze wiskundige bewijzen die aantonen dat de Baseline Shapley-waarde aan alle voorgestelde domeinkennis-geïnspireerde axioma's voldoet. Dit vestigt BShap als een theoretisch solide methode voor het genereren van betrouwbare kenmerkattributies in deze context.

3. Empirische Evaluatie:

   • Kleinschalige voorbeelden: De auteurs gebruiken FinBERT en BART-Large-MNLI om te demonstreren hoe BShap-attributies aansluiten bij de financiële intuïtie bij sentimentanalyse en sectorclassificatietaken (bijv. het onderscheiden tussen "sterke" en "stabiele" winsten, of het identificeren van FinTech-bedrijven).
   • Grootschalige Risico-attributie: Een significante experiment analyseert de sectie "Risicofactoren" (Item 1A) van de Form 10-K indieningen van Silicon Valley Bank (SVB), Wells Fargo & Company (WFC) en Crocs, Inc. Gebruikmakend van een GPT-5.2 model om risiconiveaus (0–10) te scoren, berekenen de auteurs BShap-attributies voor verschillende risicokoppen.
   • Validatie: De studie beoordeelt de consistentie van de attributies (stabiliteit van kenmerkrangschikkingen over meerdere runs) en de getrouwheid (de mate waarin het verwijderen van kenmerken met een hoge attributie de output van het model significant verandert).

Belangrijkste Resultaten

• Theoretische Geldigheid: Er is bewezen dat de Baseline Shapley-waarde aan de voorgestelde axioma's voldoet, wat garandeert dat attributies de financiële principes zoals monotoniciteit en marginale effecten respecteren.
• Interpreteerbaarheid in Sentiment en Classificatie: In illustratieve voorbeelden identificeerde BShap correct dat "strong" een hogere positieve attributie draagt dan "stable", en dat "AI" de technologie-sectorclassificatie drijft terwijl "lending" de financiële classificatie drijft. Het diagnosticeerde ook succesvol modelfouten, zoals een model dat een hedgefund overclassificeert als een technologiebedrijf door een overmatige afhankelijkheid van de term "artificial intelligence".
• Risico-attributie Inzichten: In het grootschalige experiment deconstrueerde BShap de risicoscores effectief:
  • Voor SVB werden de hoogste attributies toegewezen aan Kredietrisico's en Markt-/Liquiditeitsrisico's, wat nauwkeurig de factoren reflecteert die leidden tot de ineenstorting in 2023.
  • Voor Wells Fargo benadrukte de methode Regulerings- en Juridische risico's, wat de historische blootstelling van het bedrijf aan het fake-accounts schandaal en de daaropvolgende consent orders weerspiegelt.
  • Voor Crocs legde de methode de relatieve veranderingen in risicoprofielen tussen 2020 en 2021 vast, zoals toegenomen Financiële en Rekenkundige risico's door de HEYDUDE-overname en afgenomen Economische risico's naarmate de pandemie-gerelateerde zorgen afnamen.
• Consistentie en Getrouwheid: De experimenten toonden een hoge rangconsistentie over runs en een hoge getrouwheid aan, waarbij het verwijderen van kenmerken met een hoge attributie zorgde voor aanzienlijk grotere dalingen in de modelvoorspellingen dan het verwijderen van kenmerken met een lage attributie.

Significantie en Claims
Het artikel claimt dat de Baseline Shapley-waarde een betrouwbaar instrument is voor het interpreteren van LLM-outputs in financiële teksttoepassingen omdat het een set axioma's behoudt die zijn afgeleid van financiële domeinkennis. De significantie van dit werk ligt in het overbruggen van de kloof tussen algemene explainable AI-methoden en de specifieke, risicovolle vereisten van de financiële sector.

De auteurs stellen dat deze aanpak risicobeheer op twee manieren ondersteunt:

1. Modelrisicobeheer: Het biedt een geprincipeerde, interpreteerbare manier om opake LLM-gedragingen te begrijpen, zodat voorspellingen duidelijk kunnen worden uitgelegd aan toezichthouders en belanghebbenden.
2. Risicodecompositie: Het maakt het mogelijk om geaggregeerde risicomaatstaven (afgeleid van LLM's) te deconstrueren naar specifieke bronnen (bijv. specifieke risicokoppen in een 10-K), wat meer gerichte risicobeheersstrategieën mogelijk maakt.

De auteurs blijven bescheiden over beperkingen, waarbij zij opmerken dat de computationele complexiteit van Shapley-waarden voor grote verzamelingen kenmerken een factor is en suggereren dat toekomstig werk hiërarchische verklaringen of rijkere structurele patronen in financiële tekst kan verkennen. Zij beweren niet de nauwkeurigheid van de risicometing zelf te hebben geoptimaliseerd, maar richtten zich op de interpreteerbaarheid en de validiteit van het attributieproces.