Shapley in Context: Explaining Financial Language with Domain Expertise

Resumen Técnico: Shapley en Contexto: Explicando el Lenguaje Financiero con Experiencia en el Dominio

Planteamiento del Problema
Los Modelos de Lenguaje Extensos (LLMs, por sus siglas en inglés) se están adoptando cada vez más en aplicaciones financieras para tareas que van desde el análisis de sentimiento hasta la gestión de riesgos. Sin embargo, el dominio financiero se caracteriza por tener altas apuestas y requisitos regulatorios estrictos, lo que hace que la explicabilidad del modelo sea esencial en lugar de opcional. Aunque existen numerosos métodos de atribución para explicar modelos de caja negra, la mayoría están diseñados para tareas de propósito general y carecen de integración con el conocimiento específico del dominio. El problema central abordado es si las atribuciones basadas en el valor de Shapley pueden proporcionar explicaciones para los LLMs aplicados al texto financiero que sean consistentes con el conocimiento y el razonamiento establecidos en el dominio financiero.

Metodología
Los autores proponen un marco para evaluar la explicabilidad de los LLMs en datos textuales financieros a través del lente del valor de Shapley, específicamente el Valor de Shapley Base (BShap). La metodología involucra tres componentes principales:

1. Marco Teórico y Axiomas: Los autores introducen un conjunto de axiomas inspirados en el conocimiento del dominio, adaptados a la estructura del texto financiero y al comportamiento de los LLMs. Estos axiomas sirven como criterios formales para explicaciones fieles:

   • Efectos de primer orden: Monotonicidad Individual Promedio (si una característica aumenta consistentemente la salida, su atribución debe ser positiva) y Monotonicidad de la Demanda (si una característica se vuelve más "fuerte" en un sentido positivo, su atribución debe aumentar).
   • Efectos de segundo orden: Axiomas de Efecto Marginal Decreciente e Incrementante, que capturan interacciones no lineales donde el impacto del cambio de una característica depende de la presencia de otras características.
   • Comparaciones entre características y entre modelos: Monotonicidad por Pares (comparando la importancia relativa de diferentes características dentro de un modelo) y Dominancia de Monotonicidad de Primer Orden (comparando la importancia de la misma característica a través de diferentes modelos). Los autores también demuestran que comparar diferentes características a través de diferentes modelos no es generalmente válido bajo el marco de Shapley.

2. Análisis Teórico: El artículo proporciona demostraciones matemáticas rigurosas que demuestran que el valor de Shapley Base satisface todos los axiomas propuestos inspirados en el conocimiento del dominio. Esto establece a BShap como un método teóricamente sólido para generar atribuciones de características fiables en este contexto.

3. Evaluación Empírica:

   • Ejemplos a pequeña escala: Los autores utilizan FinBERT y BART-Large-MNLI para demostrar cómo las atribuciones de BShap se alinean con la intuición financiera en tareas de análisis de sentimiento y clasificación de sectores (por ejemplo, distinguir entre ganancias "fuertes" y "estables", o identificar empresas de tecnología financiera/FinTech).
   • Atribución de Riesgo a Gran Escala: Un experimento significativo analiza la sección de "Factores de Riesgo" (Ítem 1A) de los informes Form 10-K de Silicon Valley Bank (SVB), Wells Fargo & Company (WFC) y Crocs, Inc. Utilizando un modelo GPT-5.2 para calificar los niveles de riesgo (0–10), los autores computan las atribuciones de BShap para diferentes encabezados de riesgo.
   • Validación: El estudio evalúa la consistencia de las atribuciones (estabilidad de las clasificaciones de características a través de múltiples ejecuciones) y la fidelidad (la medida en que la eliminación de las características con alta atribución altera significativamente la salida del modelo).

Resultos Clave

• Validez Teórica: Se demuestra que el valor de Shapley Base satisface los axiomas propuestos, asegurando que las atribuciones respeten los principios financieros como la monotonicidad y los efectos marginales.
• Interpretabilidad en Sentimiento y Clasificación: En ejemplos ilustrativos, BShap identificó correctamente que "fuerte" conlleva una mayor atribución positiva que "estable", y que "IA" impulsa la clasificación del sector tecnológico mientras que "préstamo" impulsa la clasificación de finanzas. También diagnosticó con éxito fallos del modelo, como un modelo que sobreclasifica un fondo de cobertura como una empresa tecnológica debido a una dependencia excesiva de la frase "inteligencia artificial".
• Perspectivas de Atribución de Riesgo: En el experimento a gran escala, BShap descompuso eficazmente las puntuaciones de riesgo:
  • Para SVB, las atribuciones más altas se asignaron a los Riesgos de Crédito y Riesgos de Mercado/Liquidez, reflejando con precisión los factores que llevaron a su colapso en 2023.
  • Para Wells Fargo, el método destacó los Riesgos Regulatorios y Legales, reflejando la exposición histórica de la empresa al escándalo de las cuentas falsas y las órdenes de consentimiento posteriores.
  • Para Crocs, el método capturó los cambios relativos en los perfiles de riesgo entre 2020 y 2021, tales como el aumento de los Riesgos Financieros y Contables debido a la adquisición de HEYDUDE y la disminución de los Riesgos Económicos a medida que se mitigaban las preocupaciones relacionadas con la pandemia.
• Consistencia y Fidelidad: Los experimentos demostraron una alta consistencia de rango a través de las ejecuciones y una alta fidelidad, donde la eliminación de las características con altas atribuciones causó caídas significativamente mayores en las predicciones del modelo que la eliminación de las características con bajas atribuciones.

Significancia y Reivindicaciones
El artículo afirma que el valor de Shapley Base es una herramienta fiable para interpretar las salidas de los LLM en aplicaciones de texto financiero porque preserva un conjunto de axiomas derivados del conocimiento del dominio financiero. La significancia de este trabajo radica en cerrar la brecha entre los métodos generales de IA explicable y los requisitos específicos y de alto riesgo del sector financiero.

Los autores argumentan que este enfoque apoya la gestión de riesgos de dos maneras:

1. Gestión del Riesgo del Modelo: Proporciona una forma fundamentada e interpretable de comprender los comportamientos opacos de los LLMs, asegurando que las predicciones puedan explicarse claramente a los reguladores y partes interesadas.
2. Descomposición de Riesgos: Permite la descomposición de las medidas de riesgo agregadas (derivadas de los LLMs) en fuentes específicas (por ejemplo, encabezados de riesgo específicos en un 10-K), permitiendo estrategias de mitigación de riesgos más dirigidas.

Los autores mantienen la modestia respecto a las limitaciones, señalando la complejidad computacional de los valores de Shapley para grandes conjuntos de características y sugiriendo que trabajos futuros podrían explorar explicaciones jerárquicas o patrones estructurales más ricos en el texto financiero. No pretenden optimizar la precisión de la medición del riesgo en sí, sino que se han centrado en la interpretabilidad y la validez del proceso de atribución.