Resumen Técnico: AGOP-IxG para Atribución de Características Locales en Datos Tabulares

Enunciado del Problema

Las tuberías de Aprendizaje Automático Automatizado (AutoML) despliegan cada vez más modelos de caja negra en dominios de alto riesgo (por ejemplo, puntuación crediticia, riesgo médico), lo que hace necesarias explicaciones por predicción para reguladores y usuarios finales. Si bien métodos de atribución de características como SHAP, Gradientes Integrados (IG) y LIME son estándar, su selección suele estar impulsada por la convención en lugar de la fidelidad medida. Existe una brecha fundamental de evaluación: los datos tabulares del mundo real carecen de atribución de verdad fundamental, lo que obliga a depender de proxies circulares (por ejemplo, acuerdo entre métodos) o métricas globales (por ejemplo, ROAR) que no evalúan la calidad de las explicaciones individuales por muestra. En consecuencia, los practicantes carecen de una base principista para seleccionar un método de atribución que equilibre precisión, robustez al ruido y costo computacional.

Metodología

El Método Propuesto: AGOP-IxG

Los autores proponen AGOP-IxG, un método rápido de atribución por muestra para clasificadores tabulares que combina InputXGradient con un filtro de gradiente derivado de la matriz del Producto Externo del Gradiente Promedio (AGOP).

1. Etapa de Entrenamiento (Ajuste):

   • Para un conjunto de entrenamiento de $n$ muestras, se calcula el gradiente de la puntuación de la clase predicha ($g_i = \nabla_x \hat{s}_{c_i}(x_i)$) para cada muestra.
   • Se construye la matriz AGOP $M$ como el producto externo empírico del gradiente: $M = \frac{1}{n} \sum_{i=1}^n g_i g_i^\top$.
   • $M$ se descompone en valores propios ($M = V\Lambda V^\top$). Se aplica una truncación de rango-$K$, reteniendo solo los vectores propios donde los valores propios superan el 1% del valor propio máximo ($\lambda_{max}$). Esto crea una reconstrucción de bajo rango $M_K = V_K \Lambda_K V_K^\top$.
   • Este proceso actúa como un filtro de ruido, amplificando los componentes del gradiente alineados con las direcciones de alta varianza de la distribución de entrenamiento y anulando las direcciones de ruido de bajo valor propio.

2. Etapa de Atribución (Prueba):

   • Para una muestra de prueba $x$ con línea base $x'$ (media de entrenamiento por característica), se calcula el gradiente $g$.
   • El gradiente se pre-multiplica por la matriz AGOP truncada: $g_{attr} = g M_K$.
   • La atribución final $e_j$ se calcula como el producto de la diferencia de características y el gradiente filtrado: $e_j = (x_j - x'_j) \cdot (g_{attr})_j$.
   • Las atribuciones se normalizan para sumar 1.

Eficiencia Computacional: Al utilizar la factorización de bajo rango ($M_K = V_K \Lambda_K V_K^\top$), el método evita formar la matriz completa $d \times d$, requiriendo solo dos productos matriz-vector. Esto resulta en un tiempo de ejecución aproximadamente 350 a 1.650 veces más rápido que SHAP.

Marco de Evaluación

El artículo introduce una prueba de referencia de dos partes:

1. Parte 1: Pruebas de Referencia Sintéticas Controladas: Se generan tres tareas tabulares multiclase (Lineal, No Lineal Esparsa e Interacción de Características) donde la atribución de verdad fundamental es derivable analítica o numéricamente. Las métricas incluyen correlación de rango de Spearman, precisión Top-$k$ y Masa de Características de Ruido (atribución asignada a características irrelevantes).
2. Parte 2: Fidelidad Global del Mundo Real: Se aplica el protocolo ROAR (Eliminar y Reentrenar) a los conjuntos de datos de Ingresos de Adultos y Incumplimiento de Tarjeta de Crédito para medir la fidelidad del ranking global de características.

Contribuciones Clave

1. Algoritmo AGOP-IxG: Un esquema de atribución novedoso que compone InputXGradient con un filtro de gradiente AGOP truncado de rango superior-$K$. Está diseñado específicamente para la fidelidad de atribución local por muestra.
2. Marco de Evaluación Controlado: Una suite de pruebas de referencia sintéticas paramétricas (Lineal, No Lineal Esparsa, Interacción) con atribución de verdad fundamental conocida, que permite la evaluación directa de la calidad por muestra sin medidas proxy. El marco es agnóstico al modelo y está diseñado para su reutilización en tuberías de AutoML.
3. Análisis Empírico Exhaustivo: Una comparación de AGOP-IxG frente a cuatro líneas base (SHAP, Gradientes Integrados, InputXGradient, LIME) en conjuntos de datos sintéticos y reales, destacando la compensación entre fidelidad local y ranking global.

Resultados

Parte 1: Pruebas de Referencia Sintéticas

• Robustez al Ruido: AGOP-IxG logró la masa de características de ruido más baja en los tres conjuntos de datos sintéticos, superando significativamente a SHAP, IG y LIME. Esto valida la eficacia de la truncación AGOP en la filtración de ruido.
• Correlación de Rango: AGOP-IxG lideró en la correlación de rango de Spearman en los tres conjuntos de datos.
• Precisión Top-$k$:
  • Tarea Lineal: LIME superó ligeramente a AGOP-IxG (0.915 vs. 0.895), consistente con la idoneidad de LIME para procesos lineales.
  • No Lineal Esparsa: AGOP-IxG y SHAP estuvieron casi empatados (0.514 vs. 0.515), aunque AGOP-IxG lideró en correlación de Spearman.
  • Interacción: AGOP-IxG superó a SHAP en todas las métricas (Spearman 0.534 vs. 0.466).
• Tiempo de Ejecución: AGOP-IxG fue órdenes de magnitud más rápido (0.02–0.10s por conjunto de datos) en comparación con SHAP (~33s).

Parte 2: Datos del Mundo Real (ROAR)

• En los conjuntos de datos de Ingresos de Adultos e Incumplimiento de Tarjeta de Crédito, los cinco métodos produjeron resultados estrechamente agrupados (dispersión de AUC < 0.01).
• Ningún método dominó el ranking global de características. AGOP-IxG quedó en último lugar en Adultos y en tercer lugar en Tarjeta de Crédito, pero las diferencias fueron marginales (~1.7% de cambio relativo).
• Los autores señalan que esto es consistente con el diseño de AGOP-IxG: optimiza la fidelidad local por predicción, mientras que ROAR evalúa rankings globales derivados del promediado de vectores normalizados.

Significado y Afirmaciones

El artículo afirma que AGOP-IxG proporciona una fuerte sesgo inductivo para la explicabilidad local por predicción sin sacrificar el tiempo de ejecución, lo que la hace operativamente valiosa para tuberías de AutoML con presupuestos de tiempo estrictos (por ejemplo, inferencia en tiempo real).

• Guía de Selección de Métodos: Los resultados sugieren que la elección del método de atribución debe depender del consumidor aguas abajo. Para explicaciones por decisión (por ejemplo, informes regulatorios sobre denegaciones específicas), AGOP-IxG ofrece una fidelidad local superior y robustez al ruido. Para la selección global de características dentro de una tubería de AutoML, la elección del método importa menos, ya que los métodos se agrupan estrechamente en el rendimiento del ranking global.
• Desplegabilidad: El costo submilisegundo por muestra de AGOP-IxG permite el despliegue en tiempo real (por ejemplo, adjuntar códigos de razón a cada decisión de crédito denegada), mientras que la latencia de SHAP lo hace prohibitivo a escala (por ejemplo, explicar un millón de decisiones tomaría ~9 horas con SHAP frente a <2 minutos con AGOP-IxG).
• Utilidad de la Prueba de Referencia: Los generadores sintéticos propuestos sirven como una herramienta agnosta al método para que los futuros sistemas de AutoML seleccionen o ajusten automáticamente los métodos de atribución basándose en la fidelidad medida en lugar de la convención.

Los autores permanecen modestos, reconociendo que los resultados se basan en MLP y tareas sintéticas, y que la atribución de verdad fundamental no está disponible en datos reales. No afirman que AGOP-IxG sea universalmente superior, sino que destaca en el régimen específico de atribución local, robusta al ruido y en tiempo real.