Higher-Order Feature Attribution: Bridging Statistics, Explainable AI, and Topological Signal Processing

Resumen Técnico: Atribución de Características de Orden Superior

Planteamiento del Problema
Los métodos de atribución de características son esenciales para la Inteligencia Artificial Explicable (XAI), con el objetivo de cuantificar cómo las características de entrada contribuyen a la predicción de salida de un modelo. Si bien los métodos de atribución estándar (por ejemplo, Gradientes Integrados) funcionan bien cuando las características actúan de forma independiente, enfrentan limitaciones cuando los modelos predictivos involucran interacciones complejas, como relaciones multiplicativas o contribuciones conjuntas. En tales casos, las atribuciones de primer orden estándar no logran detectar o aislar la naturaleza específica de las interdependencias de las características. Los marcos existentes suelen tratar las interacciones como secundarias o carecen de una estructura matemática unificada para representar dependencias de orden superior (por ejemplo, tríos de características) junto con los efectos de primer orden.

Metodología
Los autores proponen una teoría general de la atribución de características de orden superior construida sobre la base de los Gradientes Integrados (IG). La innovación metodológica central es el tratamiento de la atribución de características como un operador lineal que actúa sobre el espacio de las funciones predictivas.

1. Marco de la Teoría de Operadores:

   • La atribución estándar de primer orden $a_i$ se define como la aplicación de un operador de atribución $A_i$ a una función $f$: $a_i(x) = A_i f(x)$.
   • Las atribuciones de segundo orden se definen mediante la composición de dos operadores: $a_{ij}(x) = A_i A_j f(x)$. Esto refleja el concepto de derivadas de segundo orden (Hessianos).
   • Las atribuciones de orden superior (por ejemplo, de tercer orden $a_{ijk}$) se definen de manera similar mediante la composición de $k$ operadores.

2. Derivaciones Analíticas:

   • Utilizando la definición de IG, los autores derivan expresiones analíticas para estos términos de orden superior.
   • Demuestran que las atribuciones de segundo orden coinciden con el marco de los Hessianos Integrados cuando $i \neq j$, y proporcionan formulaciones integrales específicas para atribuciones repetidas ($i=j$).
   • Se establecen propiedades clave, incluyendo la linealidad (los operadores son lineales), la simetría ($A_i A_j = A_j A_i$), la marginalización (la suma de las atribuciones de segundo orden sobre un índice recupera las atribuciones de primer orden) y la completitud (la suma de todas las atribuciones de orden $k$ es igual al cambio total de la predicción $f(x) - f(\tilde{x})$).

3. Conexión con el Procesamiento de Señales Topológicas:

   • El artículo vincula la XAI con el procesamiento de señales topológicas. Propone representar las atribuciones como señales sobre grafos o complejos simpliciales.
   • Las atribuciones de primer orden ($a_i$) se ven como señales de nodos.
   • Las atribuciones de segundo orden ($a_{ij}$) se ven como señales de aristas.
   • Las atribuciones de orden superior corresponden a señales en estructuras de mayor dimensión (por ejemplo, triángulos para el tercer orden).
   • La propiedad de completitud implica que una señal de nodo es igual a la suma de las señales de las aristas adyacentes, creando una representación geométrica jerárquica de las interacciones de las características.

Resultados Clave
Los autores validan su teoría a través de dos experimentos principales:

1. Experimento de Datos Sintéticos:

   • Se creó un modelo generativo con interacciones de verdad fundamental conocidas, incluyendo un término de tercer orden ($3x_1x_2x_3$) y varios términos de segundo orden.
   • Se entrenó un modelo de Regresión de Procesos Gaussianos (GPR) con estos datos.
   • Hallazgos: Las atribuciones de segundo orden recuperaron con éxito la estructura de interacción de la verdad fundamental. Además, la propiedad de marginalización se mantuvo empíricamente: las atribuciones de primer orden calculadas directamente vía IG fueron consistentes con las derivadas mediante la suma de las atribuciones de segundo orden. Las atribuciones de tercer orden también identificaron correctamente la interacción de trío específica presente en la verdad fundamental.

2. Valoración de Bienes Raíces (Conjunto de Datos de Taipéi):

   • Se entrenó un modelo lineal generalizado con entradas cuadráticas utilizando datos de viviendas (416 observaciones, 6 covariables).
   • Hallazgos: Mientras que las atribuciones de primer orden variaron significativamente entre diferentes muestras de viviendas, los grafos de atribución de segundo orden revelaron patrones consistentes de comportamiento conjunto de las características. Específicamente, características como "distancia al metro", "número de tiendas" y "latitud" parecieron actuar conjuntamente, mientras que otras contribuyeron de forma aislada. Esto sugiere que el método puede identificar grupos de características que interactúan durante la predicción, incluso cuando las contribuciones individuales varían.

Significancia y Reivindicaciones
El artículo afirma proporcionar un marco matemático unificado que extiende la literatura existente de XAI (específicamente los Gradientes Integrados y los Hessianos Integrados) a órdenes arbitrarios de interacción.

• Unificación Teórica: Al definir la atribución mediante operadores lineales, este trabajo establece una estructura algebraica natural que permite la composición de atribuciones, de forma similar a los operadores de derivada, lo que permite la composición de atribuciones, similar a los operadores de derivada.
• Interpretación Geométrica: La conexión con el procesamiento de señales topológicas ofrece una nueva forma de visualizar y manipular las atribuciones de características como señales de grafos, lo que potencialmente simplifica la interpretación de comportos de modelos complejos.
• Distinción de Trabajos Previos: Los autores distinguen su enfoque de los índices de interacción de Shapley y los Hessianos Integrados enfatizando la perspectiva de la teoría de operadores. Esto preserva las estructuras algebraicas y compositivas que se relacionan con objetos combinatorios como grafos y complejos simpliciales, en lugar de tratar las atribuciones simplemente como puntuaciones escalares sobre subconjuntos de características.

Los autores concluyen que, si bien esta es una investigación preliminar, el marco demuestra potencial para descubrir nuevos conocimientos sobre modelos complejos al modelar y visualizar explícitamente las interacciones de características de orden superior.