Resumen Técnico: ¿Pueden los Modelos de Lenguaje de Gran Escala funcionar como herramientas de explicabilidad post-hoc en modelos de riesgo crediticio?

1. Planteamiento del Problema

La rápida adopción de modelos de aprendizaje automático (ML) complejos, como XGBoost y redes neuronales, en el sector de las tecnofinanzas (FinTech) ha mejorado la precisión predictiva, pero ha introducido opacidad, lo que plantea desafíos para el cumplimiento regulatorio (por ejemplo, ECOA, FCRA) y la gestión de riesgos. Aunque los métodos de IA explicable (XAI) post-hoc, como SHAP y LIME, proporcionan atribuciones numéricas de características, a menudo carecen de la claridad semántica y la estructura narrativa requeridas por los tomadores de decisiones humanos y los informes regulatorios.

Este estudio investiga si los Modelos de Lenguaje de Gran Escala (LLM) pueden cerrar esta brecha sirviendo como interfaces de explicabilidad post-hoc para los modelos de riesgo crediticio. Específicamente, aborda dos preguntas de investigación distintas:

• RQ1 (LLM como Traductor): ¿Pueden los LLM preservar y reproducir fielmente los rankings de importancia de características fundamentados en el modelo cuando estos rankings se proporcionan explícitamente como entrada?
• RQ2 (LLM como Explicador Autónomo): ¿Pueden los LLM inferir autónomamente los rankings de importancia de características que se alineen con las explicaciones fundamentadas en el modelo (por ejemplo, SHones de SHAP o coeficientes logísticos) sin que se les proporcionen los rankings de referencia, basándose únicamente en los datos de la instancia y estrategias de prompting?

2. Metodología

Datos y Modelos de Referencia (Baseline)

• Conjunto de Datos: Un conjunto de datos de préstamos al consumo de LendingClub (2007–2011) que comprende 39,239 solicitantes de préstamos con 24 características independientes. La variable objetivo es un indicador binario de incumplimiento de préstamo (Charged Off vs. Fully Paid).
• Modelos de Referencia: Se entrenaron dos modelos de riesgo crediticio para generar las atribuciones de referencia de verdad fundamental:
  1. Regresión Logística: Proporciona atribuciones lineales inherentemente interpretables basadas en coeficientes.
  2. XGBoost: Un modelo de ensamble basado en árboles de última generación que captura no linealidades, con atribuciones derivadas mediante SHAP (SHapley Additive exPlanations).
• Métricas de Evaluación: El rendimiento predictivo se evaluó utilizando PR-AUC, F1-score promedio macro y el estadístico de Kolmogorov–Smirnov (KS). XGBoost superó significativamente a la Regresión Logística (PR-AUC: 0.38 vs. 0.27; KS: 40.4 vs. 28.79).

Diseño Experimental de los LLM

Se evaluaron tres LLM comerciales: GPT-4-turbo, Claude-Sonnet-4.5 y Gemini-2.5-Flash. Los experimentos utilizaron Aprendizaje en Contexto (ICL) con la temperatura fijada en 0 para garantizar la reproducibilidad.

• RQ1 (Configuración de Traductor):

  • Entrada: Características de la instancia, probabilidad predicha y la lista de características rankeadas de referencia derivada del modelo base.
  • Tarea: El LLM debe devolver una lista rankeada de características que se adhiera estrictamente al orden de referencia proporcionado.
  • Restricción: Formato de salida JSON estricto; no se permite conocimiento externo ni inferencia.
  • Métricas: Solapamiento de Características Top-K (Top-K Feature Overlap) y coeficiente de Kendall's $\tau$.

• RQ2 (Configuración de Explicador Autónomo):

  • Entrada: Características de la instancia, probabilidad predicha e instrucciones de la tarea. Sin rankings de referencia proporcionados.
  • Estrategias: Se comparó Zero-shot (solo instrucciones) frente a Few-shot (instrucciones + dos ejemplos de demostración de casos de alto/bajo riesgo con sus rankings de referencia).
  • Condiciones:
    1. Top-4: El LLM devuelve solo las 4 características más importantes (simulando avisos de acciones adversas).
    2. Full-Ranking: El LLM devuelve un ranking completo de las 24 características.
  • Métricas: Solapamiento Top-K y Kendall's $\tau$ contra los rankings de referencia de verdad fundamental.

3. Resultados Clave

RQ1: LLM como Traductor

• Alta Fidelidad Estructural: Cuando los rankings de referencia fueron proporcionados explícitamente, los LLM demostraron una fidelidad casi perfecta.
• Métricas: Para todas las salidas con esquema válido, el Overlap@K fue 1.000 y el Kendall's $\tau$ fue 1.000 en todos los cortes ($K=5, 10, 15, 20$) para ambos modelos base y todos los tres LLM.
• Robustez: De 3,000 ejecuciones totales, solo se observó una instancia de sustitución de nombre de característica (Claude-Sonnet-4.5 sustituyó "Past 2 Years" por "Past 2 Months"). No se encontraron características duplicadas ni JSON malformados.
• Conclusión: Los LLM son altamente fiables al reformatear y reproducir estructuras de atribución suministradas bajo restricciones estrictas.

RQ2: LLM como Explicador Autónomo

• Alineación Limitada: Sin los rankings de referencia, los LLM mostraron solo una alineación parcial con las explicaciones fundamentadas en el modelo.
• Condición Top-4:
  • Zero-shot: El Overlap@4 medio fue muy bajo (por ejemplo, 0.064–0.199 para Regresión Logística; 0.102–0.233 para XGBoost).
  • Few-shot: El rendimiento mejoró pero siguió siendo insuficiente para un uso independiente. Para la Regresión Logística, GPT-4-turbo mejoró a 0.515, pero para XGBoost, las mejoras fueron marginales (máximo 0.383).
  • Observación: El prompting de pocos disparos (few-shot) ayudó a recuperar estructuras lineales (Regresión Logística) mejor que las interacciones complejas y no lineales (XGBoost).
• Condición Full-Ranking:
  • Validez de Esquema: Gemini-2.5-Flash falló frecuentemente al generar listas completas de 24 características bajo prompts largos, produciendo salidas truncadas.
  • Alineación: Incluso para las salidas válidas (GPT-4-turbo, Claude-Sonnet), el Overlap@K mejoró con el prompting de pocos disparos (por ejemplo, el O@5 de la Regresión Logística subió de ~0.39 a ~0.61), pero nunca alcanzó la perfección.
  • Consistencia de Orden: Los valores de Kendall's $\tau$ se mantuvieron modestos (mayormente < 0.4), lo que indica que, aunque los LLM pueden identificar algunas características relevantes, no logran preservar el orden relativo correcto de la estructura de atribución completa.

4. Contribuciones y Afirmaciones Principales

Hallazgos Primarios

El estudio establece una distincción clara entre los LLM como interfaces narrativas frente a explicadores autónomos:

1. Fiabilidad como Traductores: Los LLM pueden reproducir de manera fiable los rankings de importancia fundamentados en el modelo cuando dichos rankings se proporcionan como entrada. Funcionan eficazmente como "interfaces narrativas" que convierten las atribuciones cuantitativas en formatos legibles para humanos sin alterar la lógica subyacente.
2. Infiabilidad como Explicadores Autónomos: Los LLM no pueden inferir de manera fiable los rankings de importancia de las características que coincidan con modelos de riesgo crediticio complejos (especialmente los no lineales como XGBoost) basándose únicamente en los datos de entrada y los prompts. Sus salidas están impulsadas por sesgos de dominio general y patrones lingüísticos en lugar de la estructura específica del modelo ajustado.

Significado para la Gobernanza del Riesgo Crediticio

• No es un Sustituto de la XAI Formal: El artículo argumenta que los LLM no deben reemplazar los métodos de atribución formales (como SHAP o la descomposición de coeficientes) en la gobernanza del riesgo crediticio. Las explicaciones autónomas de los LLM pueden seleccionar factores plausibles que no reflejan la lógica de decisión real del modelo aprobado, introduciendo riesgo de modelo.
• Despliegue Orientado a la Gobernanza: El caso de uso recomendado es un flujo de trabajo híbrido: los métodos de XAI formales generan los rankings de atribución auditables, y los LLM sirven como la interfaz para traducir estos rankings en narrativas coherentes e informadas en el dominio para las partes interesadas.
• Limitaciones: El estudio reconoce limitaciones, incluyendo el uso de un único conjunto de datos, el enfoque en la alineación de rangos en lugar de los resultados del usuario, y la falta de pruebas de estrés por perturbación (por ejemplo, rankings permutados).

Conclusión

El artículo concluye que, si bien los LLM ofrecen promesas para mejorar la accesibilidad de las explicaciones de riesgo crediticio, actualmente carecen de la fidelidad necesaria para servir como fuentes independientes de responsabilidad explicativa. Su papel debe limitarse a formatear y narrar las atribuciones precomputadas y auditables, en lugar de inferirlas de forma autónoma.