Shapley in Context: Explaining Financial Language with Domain Expertise

Sintesi Tecnica: Shapley nel Contesto: Spiegare il Linguaggio Finanziario con la Competenza di Dominio

Problematica
I Large Language Models (LLM) sono sempre più adottati in applicazioni finanziarie per compiti che vanno dall'analisi del sentiment alla gestione del rischio. Tuttavia, il dominio finanziario è caratterato da un alto livello di rischio e da rigorosi requisiti normativi, rendendo la spiegabilità dei modelli essenziale piuttosto che opzionale. Sebbene esistano numerosi metodi di attribuzione per spiegare i modelli black-box, la maggior parte è progettata per compiti di uso generale e manca di integrazione con la conoscenza specifica del dominio. Il problema centrale affrontato è se le attribuzioni basate sul valore di Shapley possano fornire spiegazioni per gli LLM applicati al testo finanziario che siano coerenti con la conoscenza e il ragionamento stabiliti dal dominio finanziario.

Metodologia
Gli autori propongono un framework per valutare la spiegabilità degli LLM su dati testuali finanziari attraverso la lente del valore di Shapley, specificamente il Baseline Shapley value (BShap). La metodologia prevede tre componenti primarie:

1. Framework Teorico e Assiomi: Gli autori introducono un insieme di assiomi ispirati alla conoscenza di dominio, adattati alla struttura del testo finanziario e al comportamento degli LLM. Questi assiomi fungono da criteri formali per spiegazioni fedeli:

   • Effetti di primo ordine: Average Individual Monotonicity (se una caratteristica aumenta costantemente l'output, la sua attribuzione deve essere positiva) e Demand Individual Monotonicity (se una caratteristica diventa "più forte" in senso positivo, la sua attribuzione deve aumentare).
   • Effetti di secondo ordine: Assiomi di Diminishing e Increasing Marginal Effect, che catturano interazioni non lineari dove l'impatto di un cambiamento di una caratteristica dipende dalla presenza di altre caratteristiche.
   • Confronti tra caratteristiche e tra modelli: Pairwise Monotonicity (confronto della importanza relativa di diverse caratteristiche all'interno di un modello) e First-order Monotonic Dominance (confronto dell'importanza della stessa caratteristica tra diversi modelli). Gli autori dimostrano anche che confrontare diverse caratteristiche tra diversi modelli non è generalmente valido sotto il framework di Shapley.

2. Analisi Teorica: Il documento fornisce prove matematiche rigorose che dimostrano come il Baseline Shapley value soddisfi tutti i proposti assiomi ispirati alla conoscenza di dominio. Ciò stabilisce il BShap come un metodo teoricamente solido per generare attribuzioni di caratteristiche affidabili in questo contesto.

3. Valutazione Empirica:

   • Esempi su piccola scala: Gli autori utilizzano FinBERT e BART-Large-MNLI per dimostrare come le attribuzioni BShap si allineino con l'intuizione finanziaria nei compiti di analisi del sentiment e classificazione del settore (ad esempio, distinguere tra utili "forti" e "stabili", o identificare aziende FinTech).
   • Attribuzione del Rischio su larga scala: Un esperimento significativo analizza la sezione "Risk Factors" (Item 1A) dei documenti Form 10-K di Silicon Valley Bank (SVB), Wells Fargo & Company (WFC) e Crocs, Inc. Utilizzando un modello GPT-5.2 per punteggiare i livelli di rischio (0–10), gli autori calcolano le attribuzioni BShap per diversi titoli di rischio.
   • Validazione: Lo studio valuta la coerenza delle attribuzioni (stabilità della classifica delle caratteristiche attraverso più esecuzioni) e la fedeltà (la misura in cui la rimozione delle caratteristiche con alta attribuzione altera significativamente l'output del modello).

Risultati Chiave

• Validità Teorica: È dimostrato che il Baseline Shapley value soddisfa i proposti assiomi, garantendo che le attribuzioni rispettino i principi finanziari come la monotonicità e gli effetti marginali.
• Interpretabilità nel Sentiment e nella Classificazione: Negli esempi illustrativi, il BShap ha identificato correttamente che "strong" porta un'attribuzione positiva maggiore rispetto a "stable", e che "AI" guida la classificazione del settore tecnologico mentre "lending" guida la classificazione del settore finanziario. Ha inoltre diagnosticato con successo i fallimenti del modello, come un modello che classifica erroneamente un fondo hedge come azienda tecnologica a causa di un eccessivo affidamento sulla frase "artificial intelligence".
• Approfondimenti sull'Attribuzione del Rischio: Nell'esperimento su larga scala, il BShap ha decomposto efficacemente i punteggi di rischio:
  • Per SVB, le attribuzioni più elevate sono state assegnate ai Credit Risks e ai Market/Liquidity Risks, riflettendo accuratamente i fattori che hanno portato al suo collasso nel 2023.
  • Per Wells Fargo, il metodo ha evidenziato i Regulatory e Legal Risks, riflettendo l'esposizione storica dell'azienda allo scandalo dei falsi conti e ai successivi ordini di consenso.
  • Per Crocs, il metodo ha catturato i cambiamenti relativi nei profili di rischio tra il 2020 e il 2021, come l'aumento dei Financial e Accounting Risks dovuto all'acquisizione di HEYDUDE e la diminuzione degli Economic Risks man mano che le preoccupazioni legate alla pandemia diminuivano.
• Coerenza e Fedeltà: Gli esperimenti hanno dimostrato un'alta coerenza di ranking tra le esecuzioni e un'alta fedeltà, dove la rimozione delle caratteristiche con alte attribuzioni causava cali significativamente maggiori nelle predizioni del modello rispetto alla rimozione di caratteristiche con bassa attribuzione.

Significatività e Rivendicazioni
Il documento sostiene che il Baseline Shapley value sia uno strumento affidabile per interpretare gli output degli LLM nelle applicazioni di testo finanziario perché preserva un insieme di assiomi derivati dalla conoscenza del dominio finanziario. La significatività di questo lavoro risiede nel colmare il divario tra i metodi generali di Explainable AI e i requisiti specifici e ad alto rischio del settore finanziario.

Gli autori sostengono che questo approccio supporti la gestione del rischio in due modi:

1. Gestione del Rischio del Modello: Fornisce un modo principato e interpretabile per comprendere i comportamenti opachi degli LLM, garantendo che le predizioni possano essere spiegate chiaramente a regolatori e stakeholder.
2. Decomposizione del Rischio: Consente la decomposizione delle misure di rischio aggregate (derivate dagli LLM) in fonti specifiche (ad esempio, specifici titoli di rischio in un 10-K), consentendo strategie di mitigazione del rischio più mirate.

Gli autori rimangono modesti riguardo ai limiti, notando la complessità computazionale dei valori di Shapley per grandi set di caratteristiche e suggerendo che il lavoro futuro potrebbe esplorare spiegazioni gerarchiche o pattern strutturali più ricchi nel testo finanziario. Non pretendono di aver ottimizzato la precisione della misurazione del rischio in sé, ma si sono concentrati sull'interpretabilità e sulla validità del processo di attribuzione.