TabSHAP

Resumen Técnico: TabSHAP

1. Planteamiento del Problema

Los Modelos de Lenguaje Grande (LLM) fine-tuned (ajustados) sobre datos tabulares serializados están emergiendo como alternativas potentes a los modelos basados en árboles tradicionales (como XGBoost), especialmente en conjuntos de datos heterogéneos o ricos en contexto. Sin embargo, su adopción en dominios de alto riesgo (salud, finanzas) se ve obstaculizada por la falta de interpretabilidad fiel.

Los desafíos principales identificados son:

• Métodos existentes inadecuados: Las técnicas actuales suelen depender de proxies lineales globales (como regresión logística) o de atribuciones a nivel de sub-tokens, las cuales no capturan la lógica de decisión no lineal específica de cada instancia.
• Incompatibilidad semántica: En datos tabulares, un valor atómico (ej. "Edad: 50") puede abarcar múltiples tokens. La eliminación de tokens individuales corrompe la sintaxis del prompt y genera alucinaciones, no reflejando la importancia real de la característica.
• Medición insuficiente de incertidumbre: La mayoría de los métodos miden el impacto mediante cambios escalares en la probabilidad o el "flip" de la etiqueta predicha, ignorando la incertidumbre probabilística completa del modelo.

2. Metodología: TabSHAP

El authors proponen TabSHAP, un marco de interpretabilidad agnóstico al modelo diseñado para atribuir la lógica de decisión local en clasificadores tabulares basados en LLM. El flujo de trabajo se basa en tres pilares fundamentales:

• A. Atribución Distribucional mediante Divergencia Jensen-Shannon (JSD):
  En lugar de medir solo si cambia la etiqueta predicha, TabSHAP compara la distribución de probabilidad de salida del modelo con todas las características presentes ($P_{full}$) frente a la distribución cuando se elimina una característica específica ($P_S$). Utiliza la Divergencia Jensen-Shannon (JSD) para cuantificar la similitud entre estas distribuciones. Esto captura cambios en la confianza del modelo a través de todas las clases, no solo en la clase ganadora.

• B. Enmascaramiento Atómico a Nivel de Característica:
  Para preservar la integridad semántica, TabSHAP no elimina tokens individuales. En su lugar, trata cada par clave:valor (ej. "age:50") como una unidad atómica. Durante la evaluación de coaliciones, si una característica está ausente, se omite completamente su cadena clave:valor del prompt, manteniendo la sintaxis válida y evitando alucinaciones.

• C. Agregación de Clases Estilo "Verbalizer":
  Dado que los LLM generativos distribuyen masa de probabilidad sobre un vocabulario vasto, un mismo concepto (ej. "Sí") puede corresponder a múltiples tokens ("Yes", " yes", "ye" + "s"). TabSHAP define un mapeo de verbalizador que agrupa las masas de probabilidad de los top-K logits que coinciden con cada etiqueta de clase antes de calcular las atribuciones, asegurando puntuaciones estables incluso en modelos cuantizados o destilados.

• D. Estimación de Muestreo de Coaliciones:
  Utilizando un estimador Monte Carlo (adaptado de TokenSHAP), el método aproxima los valores de Shapley muestreando coaliciones de características. La función de valor $v(S)$ se define como la similitud distribucional (basada en JSD) entre la salida con el subconjunto $S$ y la salida completa.

3. Contribuciones Clave

1. Atribución Distribucional: Introducción de la JSD como métrica central para medir el impacto de las características, capturando la incertidumbre del modelo en lugar de simples cambios de etiqueta.
2. Integridad Semántica: Implementación de enmascaramiento a nivel de campos key:value en lugar de tokens, resolviendo el problema de la fragmentación semántica en prompts tabulares.
3. Validación Empírica: Demostración de que TabSHAP supera a los baselines (eliminación aleatoria y proxies de XGBoost) en fidelidad, aislando características diagnósticas críticas.
4. Análisis Comparativo: Estudio que revela que, aunque los LLM y los ensembles de árboles capturan señales causales similares, los LLM dependen de sesgos semánticos hacia características ricas en texto, una diferencia oculta por los proxies lineales.

4. Resultados Experimentales

Los experimentos se realizaron en dos conjuntos de datos de referencia: Adult Income (ingresos) y Heart Disease (enfermedad cardíaca).

• Curvas de Fidelidad (Deletion Curves): Al eliminar características en el orden determinado por TabSHAP, la confianza del modelo (probabilidad de la clase predicha) cae drásticamente mucho más rápido que con eliminaciones aleatorias o basadas en XGBoost. Esto confirma que TabSHAP identifica las características que realmente guían la decisión del modelo.
• Correlación de Rangos: Se observó una correlación de rango de Spearman moderada ($\rho \approx 0.65$) entre TabSHAP y TreeSHAP (XGBoost), indicando que comparten señales causales de alto nivel pero utilizan lógicas internas diferentes.
• Estudio de Ablación de Métricas: Se compararon las atribuciones usando JSD, Divergencia Kullback-Leibler (KL) y distancia L1. Los resultados mostraron que JSD ofrece un equilibrio robusto, aunque las curvas de eliminación varían ligeramente según la métrica de distancia utilizada.
• Sesgo Semántico: El análisis cualitativo mostró que los LLM asignan mayor importancia a características textuales (ej. Ocupación, Educación) en comparación con XGBoost, que prioriza divisiones numéricas precisas (ej. Horas por semana).

5. Significado e Impacto

TabSHAP cierra la brecha entre la capacidad de generalización de los LLM y los requisitos de interpretabilidad en sistemas de toma de decisiones críticos. Al proporcionar atribuciones fieles a nivel de características, permite:

• Auditoría y Confianza: Validar la lógica del dominio y detectar sesgos en modelos de LLM aplicados a datos estructurados.
• Despliegue Responsable: Facilitar el uso de LLM en sectores regulados (salud, finanzas) donde la explicabilidad es un requisito legal y ético.
• Nueva Perspectiva: Revelar que los LLM tabulares no solo imitan a los modelos de árboles, sino que aprovechan "priors semánticos" de manera única, lo cual solo es visible mediante métodos de interpretación fieles como TabSHAP.

Limitaciones Notadas: El método es computacionalmente costoso debido a las múltiples pasadas hacia adelante (forward passes) por instancia, y actualmente se limita a atribuciones marginales sin modelar explícitamente interacciones de alto orden entre características.