Shapley in Context: Explaining Financial Language with Domain Expertise

Resumo Técnico: Shapley em Contexto: Explicando Linguagem Financeira com Especialidade de Domínio

Definição do Problema
Grandes Modelos de Linguagem (LLMs) estão sendo cada vez mais adotados em aplicações financeiras para tarefas que variam desde análise de sentimento até gestão de risco. No entanto, o domínio financeiro é caracterizado por altos riscos e requisitos regulatórios rigorosos, tornando a explicabilidade do modelo essencial, e não opcional. Embora existam inúmeros métodos de atribuição para explicar modelos de caixa-preta, a maioria é projetada para tarefas de propósito geral e carece de integração com o conhecimento específico do domínio. O problema central abordado é se os valores de Shapley podem fornecer explicações para LLMs aplicados a textos financeiros que sejam consistentes com o conhecimento e o raciocínio estabelecidos do domínio financeiro.

Metodologia
Os autores propõem um framework para avaliar a explicabilidade de LLMs em dados textuais financeiros através da lente do valor de Shapley, especificamente o Valor Shapley de Base (BShap). A metodologia envolve três componentes primários:

1. Framework Teórico e Axiomas: Os autores introduzem um conjunto de axiomas inspirados no conhecimento de domínio, adaptados à estrutura do texto financeiro e ao comportamento de LLMs. Esses axiomas servem como critérios formais para explicações fiéis:

   • Efeitos de primeira ordem: Monotonicidade Individual Média (se uma característica aumenta consistentemente a saída, sua atribuição deve ser positiva) e Monotonicidade de Demanda (se uma característica torna-se "mais forte" em um sentido positivo, sua atribuição deve aumentar).
   • Efeitos de segunda ordem: Axiomas de Efeito Marginal Decrescente e Crescente, capturando interações não lineares onde o impacto de uma mudança de característica depende da presença de outras características.
   • Comparações entre características e entre modelos: Monotonicidade Pareada (comparando a importância relativa de diferentes características dentro de um modelo) e Dominância de Monotonicidade de Primeira Ordem (comparando a importância da mesma característica em diferentes modelos). Os autores também provam que comparar diferentes características entre diferentes modelos não é geralmente válido sob o framework de Shapley.

2. Análise Teórica: O artigo fornece provas matemáticas rigorosas demonstrando que o valor de Baseline Shapley satisfaz todos os axiomas propostos, inspirados no conhecimento de domínio. Isso estabelece o BShap como um método teoricamente sólido para gerar atribuições de características confiáveis neste contexto.

3. Avaliação Empírica:

   • Exemplos de pequena escala: Os autores utilizam FinBERT e BART-Large-MNLI para demonstrar como as atribuições BShap se alinham com a intuição financeira em tarefas de análise de sentimento e classificação de setor (por exemplo, distinguir entre ganhos "fortes" e "estáveis", ou identificar empresas de FinTech).
   • Atribuição de Risco de Grande Escala: Um experimento significativo analisa a seção de "Fatores de Risco" (Item 1A) dos formulários 10-K do Silicon Valley Bank (SVB), Wells Fargo & Company (WFC) e Crocs, Inc. Usando um modelo GPT-5.2 para pontuar níveis de risco (0–10), os autores computam as atribuições BShap para diferentes cabeçalhos de risco.
   • Validação: O estudo avalia a consistência das atribuições (estabilidade das classificações de características em múltiplas execuções) e a fidelidade (a extensão em que a remoção de características com alta atribuição altera significativamente a saída do modelo).

Principais Resultados

• Validade Teórica: O valor de Baseline Shapley é provado satisfazer os axiomas propostos, garantindo que as atribuições respeitem princípios financeiros como monotonicidade e efeitos marginais.
• Interpretabilidade em Sentimento e Classificação: Em exemplos ilustrativos, o BShap identificou corretamente que "forte" carrega uma atribuição positiva maior do que "estável", e que "IA" impulsiona a classificação do setor de tecnologia enquanto "empréstimo" impulsiona a classificação de finanças. Também diagnosticou com sucesso falhas do modelo, como um modelo que classificou erroneamente um fundo de hedge como uma empresa de tecnologia devido a uma dependência excessiva da frase "inteligência artificial".
• Insights de Atribuição de Risco: No experimento de grande escala, o BShap decompôs eficazmente as pontuações de risco:
  • Para o SVB, as maiores atribuições foram designadas aos Riscos de Crédito e Riscos de Mercado/Liquidez, refletindo com precisão os fatores que levaram ao seu colapso em 2023.
  • Para o Wells Fargo, o método destacou os Riscos Regulatórios e Legais, refletindo a exposição histórica da empresa ao escândalo de contas falsas e subsequentes ordens de consentimento.
  • Para a Crocs, o método capturou mudanças relativas nos perfis de risco entre 2020 e 2021, como o aumento dos Riscos Financeiros e Contábeis devido à aquisição da HEYDUDE e a diminuição dos Riscos Econômicos conforme as preocupações relacionadas à pandemia diminuíram.
• Consistência e Fidelidade: Os experimentos demonstraram alta consistência de ranking entre execuções e alta fidelidade, onde a remoção de características com altas atribuições causou quedas significativamente maiores nas previsões do modelo do que a remoção de características com baixas atribuições.

Significância e Alegações
O artigo alega que o valor de Baseline Shapley é uma ferramenta confiável para interpretar saídas de LLMs em aplicações de texto financeiro porque preserva um conjunto de axiomas derivados do conhecimento de domínio financeiro. A significância deste trabalho reside em preencher a lacuna entre métodos gerais de IA explicável e os requisitos específicos e de alto risco do setor financeiro.

Os autores argumentam que esta abordagem apoia a gestão de risco de duas formas:

1. Gestão de Risco de Modelo: Fornece uma maneira principiada e interpretável de entender comportamentos opacos de LLMs, garantindo que as previsões possam ser explicadas claramente para reguladores e partes interessadas.
2. Decomposição de Risco: Permite a decomposição de medidas de risco agregadas (derivadas de LLMs) em fontes específicas (por exemplo, cabeçalhos de risco específicos em um 10-K), permitindo estratégias de mitigação de risco mais direcionadas.

Os autores mantêm-se modestos quanto às limitações, observando a complexidade computacional dos valores de Shapley para grandes conjuntos de características e sugerindo que trabalhos futuros poderiam explorar explicações hierárquicas ou padrões estruturais mais ricos no texto financeiro. Eles não alegam ter otimizado a própria precisão da medição de risco, mas sim focado na interpretabilidade e validade do processo de atribuição.