Resumen Técnico: Sails – Análisis basado en sustitutos de interacciones mediante suavizados de efectos locales

Planteamiento del Problema

Las interacciones entre características son un motor principal del poder predictivo en modelos complejos de aprendizaje automático (ML), sin embargo, los métodos existentes de IA explicable (XAI) luchan por caracterizarlas plenamente. Los enfoques actuales se centran típicamente en uno de los dos puntos:

1. Detección y Cuantificación: Métodos como la estadística H o los índices de interacción de Shapley identifican que existe una interacción y miden su fuerza, pero no revelan su forma funcional.
2. Visualización Restringida: Métodos como 2D-ALE (Efectos Locales Acumulados) o REPID (Efectos Regionales) visualizan interacciones, pero a menudo producen gráficos 3D difíciles de interpretar, no logran capturar la heterogeneidad continua o están limitados a tipos específicos de interacción (por ejemplo, separables por producto).

Existe una brecha notable en el conjunto de herramientas de XAI para un marco integrado y agnóstico al modelo que pueda detectar interacciones de pares, categorizar su forma funcional (lineal, separable por producto o no separable por producto) y proporcionar visualizaciones adaptadas para cada tipo.

Metodología: El Marco de Trabajo Sails

Sails (Surrogate-based Analysis of Interactions via Local effect Smooths) es un marco agnóstico al modelo diseñado para analizar las interacciones de un par de una Característica de Interés (FOI, por sus siglas en inglés) ajustando sustitutos de Modelos Aditivos Generalizados (GAM) interpretables a los efectos locales de un modelo de caja negra. El marco opera en dos pasos secuenciales seguidos de tres capacidades integradas.

1. Estimación de Efectos Locales

Sails aprovecha la descomponibilidad local de las derivadas de ALE (Efectos Locales Acumulados). Para un modelo de caja negra $\hat{f}$, el efecto local con respecto a una característica $x_j$ se define como $h(x_j, x_{-j}) = \partial_j \hat{f}(x_j, x_{-j})$.

• Partición de Intervalos: La FOI ($X_j$) se particiona en $K$ intervalos.
• Diferencias Finitas: Los efectos locales se estiman para las observaciones dentro de cada intervalo utilizando diferencias finitas de las predicciones del modelo, normalizadas por el ancho del intervalo.
• Base Teórica: Según la descomposición de la ANOVA funcional (FANOVA), si $X_j$ se mantiene fijo, la variación en los efectos locales surge únicamente de las interacciones que involucran a $X_j$. Por lo tanto, la heterogeneidad en estos efectos locales a través de otras características indica una interacción.

2. Ajuste del Sustituto GAM

Para cada intervalo $k$ de la FOI, Sails ajusta un modelo sustituto GAM separado:

• Entradas: Las características restantes $X_{-j}$.
• Objetivo: Los efectos locales estimados $\hat{h}^{(i)}_k$.
• Estructura: $\hat{s}^{(k)}(x_{-j}) = \hat{s}^{(k)}_0 + \sum_{l \neq j} \hat{s}^{(k)}_l(x_l)$.
• Interpretación: Se conjetura que los términos de suavizado $\hat{s}^{(k)}_l$ aproximan las derivadas parciales de los componentes de interacción ($\partial_j g_{jl}$) hasta una constante de centrado.

3. Capacidades Integradas

Basándose en los sustitutos ajustados, Sails realiza tres tareas:

(i) Detección de Interacciones

Sails prueba la significancia de los términos de suavizado para cada característica $X_l$ dentro de cada intervalo utilizando pruebas F sobre los coeficientes de la base.

• Agregación: Dado que las pruebas a través de los intervalos son dependientes, los valores p se agregan utilizando la media armónica de los valores p para proporcionar una medida de significancia global.
• Corrección: Se aplica una corrección de tasa de falso descubrimiento (FDR) de Benjamini-Hochberg para comparaciones múltiples.
• Heurística: Debido a la falta de ruido aditivo en los cálculos de efectos locales y al uso de splines penalizados, los valores p resultantes se tratan como una heurística para la significancia de la interacción global en lugar de valores estadicos exactos.

(ii) Categorización de Interacciones

Sails categoriza las interacciones detectadas en tres tipos utilizando medidas heurísticas basadas en $R^2$ derivadas de los términos de suavizado:

1. Lineal: Si los términos de suavizado $\hat{s}^{(k)}_l$ son idénticos en todos los intervalos (hasta una constante), la interacción es lineal con respecto a la FOI. Se mide mediante $R^2_{lin}$, que ajusta una única curva a las evaluaciones agrupadas.
2. Separable por Producto: Si los términos de suavizado comparten la misma forma pero difieren solo por un factor de escala, la interacción es separable por producto ($g_{jl}(x_j, x_l) = \phi_j(x_j)\phi_l(x_l)$). Se mide mediante $R^2_{prod}$, que ajusta una única curva a las razones de los términos de suavizado en un punto de referencia.
3. No Separable por Producto: Si ninguna de las condiciones anteriores se cumple, la interacción se categoriza como general/no separable.

(iii) Visualización Adaptada

Dependiendo de la categorización, Sails genera visualizaciones específicas:

• Lineal: Visualiza el suavizador univariante $\phi_l(x_l)$.
• Separable por Producto: Visualiza la forma de $\phi_l(x_l)$ mediante el suavizador basado en la razón.
• General: Para interacciones no separables, Sails integra los términos de suavizado $\hat{s}^{(k)}_l$ a través de los intervalos para reconstruir la función de interacción $g_{jl}$, aplicando un doble centrado para imponer las restricciones de FANOVA. Esto proporciona una visualización 2D de cómo el efecto de la interacción varía con la característica de interacción para diferentes intervalos de la FOI.

Evaluación Empírica y Resultados

El marco fue validado mediante simulaciones controladas y una aplicación en el mundo real.

Simulaciones

Los experimentos se realizaron con datos sintéticos con diversas estructuras de correlación y órdenes de interacción (lineal, separable por producto, no separable y de orden superior).

• Detección: Sails identificó correctamente las características que interactúan con bajas tasas de falsos positivos tanto con características independientes como correlacionadas. Se mantuvo robusto incluso con fuertes correlaciones, identificando correctamente las características de ruido como no interactivas.
• Categorización: Bajo independencia de características, Sails discriminó perfectamente entre interacciones lineales, separables por producto y no separables.
  • Limitaciones: $R^2_{prod}$ se degradó bajo fuertes correlaciones (debido a desplazamientos de centrado) e interacciones de orden superior (debido a la especificación errónea del sustituto). $R^2_{lin}$ fue más robusto, pero también se degradó ligeramente con términos de orden superior no lineales.
• Visualización:
  • Las visualizaciones lineales y separables por producto coincidieron estrechamente con las verdades de campo bajo independencia.
  • La visualización basada en la integración general logró recuperar formas de interacción complejas (por ejemplo, ondas sinusoidales) bajo independencia.
  • Bajo correlaciones e interacciones de orden superior, las visualizaciones mostraron artefactos o una reducción de soporte, pero siguieron siendo aproximaciones informativas.

Aplicación en el Mundo Real

Sails se aplicó a un modelo XGBoost que predice el consumo de energía en Tetouan, Marruecos, utilizando general_diffuse_flows (radiación solar) como la FOI.

• Resultados: El marco identificó interacciones con la Hora, la Temperatura, el UnixTime y la Velocidad del Viento.
• Interpretación:
  • Hora: Reveló que niveles intermedios de radiación se correlacionan con un aumento del consumo vespertino (iluminación del atardecer), mientras que la baja radiación se correlaciona con el consumo diurno (iluminación por nubosidad).
  • Temperatura: Mostró efectos sinérgicos donde la baja radiación + baja temperatura (calefacción + iluminación) y la alta radiación + alta temperatura (refrigeración) aumentan el consumo.
  • Velocidad del Viento: Exhibió una forma casi separable por producto, con curvas que comparten una forma consistente a través de los intervalos.
• Ajuste del Sustituto: El $R^2$ promedio dentro de la muestra de los sustitutos GAM fue de 0.96, lo que indica que capturaron la mayor parte de la variación del efecto local.

Significancia y Reivindicaciones

El artículo afirma que Sails llena un vacío crítico en el conjunto de herramientas de XAI al ir más allá de la mera detección de interacciones para caracterizar la forma funcional de las interacciones de pares.

• Agnóstico al Modelo: Funciona con cualquier modelo de caja negra.
• Flujo de Trabajo Integrado: Combina detección, categorización y visualización en un solo proceso.
• Interpretabilidad: Al categorizar las interacciones, permite visualizaciones adaptadas que son más fáciles de interpretar que los gráficos de contorno 3D genéricos.
• Robustez: Demuestra efectividad en la detección de interacciones incluso en presencia de correlación de características, un desafío común en datos del mundo real.

Limitaciones y Trabajo Futuro

Los autores reconocen varias limitaciones:

1. Alcance de la Tarea: Actualmente limitado a tareas de regresión; la extensión a clasificación es un trabajo futuro.
2. Garantías Teóricas: La conjetura de que los términos de suavizado aproximan las derivadas parciales de FANOVA carece de una prueba teórica rigurosa.
3. Sensibilidad a la Correlación: Las medidas de categorización ($R^2_{prod}$) son sensibles a las fuertes correlaciones entre características.
4. Orden de Interacción: El marco asume interacciones de pares; las interacciones de orden superior pueden causar una especificación errónea del sustituto y artefactos.
5. Direcciones Futuras: Posibles extensiones que incluyan el uso de sustitutos GA2M para interacciones de orden superior, la aplicación del método a otros métodos de efectos locales (por ejemplo, ICE, valores de Shapley) y la unificación del enfoque con GADGET para efectos regionales.