Generalized Functional ANOVA in Closed-Form: A Unified View of Additive Explanations

Resumen Técnico: ANOVA Funcional Generalizada en Forma Cerrada

Enunciado del Problema
Los modelos modernos de aprendizaje automático, particularmente los conjuntos complejos y las redes neuronales, a menudo operan como "cajas negras" opacas, lo que dificulta la interpretación de sus mapeos de entrada-salida. Si bien la Inteligencia Artificial Explicable (XAI) ha producido numerosos métodos de explicación post-hoc (por ejemplo, SHAP, LIME) y modelos intrínsecamente interpretables (por ejemplo, GAMs, EBM), estos enfoques enfrentan dos críticas principales: a menudo dependen de construcciones heurísticas que carecen de teoremas de representación rigurosos, y pueden ser computacionalmente costosos o formalmente intratables.

Un desafío central en la interpretabilidad es la descomposición ANOVA funcional (o descomposición de Hoeffding), que descompone un predictor en efectos principales e interacciones de orden superior. Si bien esta descomposición es explícita y ortogonal para entradas independientes, obtener una representación tratable para entradas dependientes sigue siendo difícil. Los métodos existentes para entornos dependientes a menudo requieren conocimiento de la densidad de entrada, están restringidos a tipos específicos de modelos (por ejemplo, conjuntos de árboles) o solo se han resuelto recientemente para datos categóricos. Existe la necesidad de un marco unificado, agnóstico al modelo, que proporcione una solución explícita en forma cerrada para entradas continuas dependientes y permita una estimación eficiente a partir de datos.

Metodología
Los autores proponen un marco unificado para la descomposición de ANOVA Funcional Generalizada para variables aleatorias continuas y acotadas. La metodología procede en tres etapas:

1. Formulación Teórica (Base en Forma Cerrada):
   El artículo establece que la descomposición ANOVA funcional generalizada, definida como la solución a un problema de optimización de mínimos cuadrados restringido en un espacio de Hilbert, admite una solución explícita en forma cerrada para características continuas acotadas.

   • Supuesto: El vector de entrada $X$ tiene soporte en un hiperrectángulo $[-1, 1]^p$ con una densidad $f$ acotada lejos de cero y del infinito.
   • Construcción de la Base: Los autores construyen una base de Riesz $\Xi$ para el espacio $L^2([−1, 1]^p, \mu_f)$ utilizando polinomios de Legendre normalizados y un mecanismo de ponderación inversa de verosimilitud. Específicamente, para un subconjunto de variables $S$, las funciones base se definen como:
     $$\xi^{(m_S)}_S(x) := \frac{1}{\sqrt{2^{p-|S|}}} \cdot \frac{\prod_{j \in S} \tilde{P}_{m_j}(x_j)}{f_S(x_S)}$$
     donde $\tilde{P}_m$ son polinomios de Legendre normalizados y $f_S$ es la densidad marginal de $X_S$.
   • Ortogonalidad: Esta construcción asegura ortogonalidad jerárquica, lo que significa que para cualquier subconjunto estricto $T \subset S$, el componente $\nu_S$ es ortogonal a cualquier función de $X_T$. Esto recupera la descomposición ortogonal clásica en el caso independiente y se conecta naturalmente con los valores de Shapley a través de los dividendos de Harsanyi.

2. Algoritmo de Estimación:
   Dado que la base está disponible en forma cerrada, estimar la descomposición se reduce a estimar los coeficientes de la expansión de la base mediante regresión de mínimos cuadrados.

   • Truncamiento: Para manejar la naturaleza de dimensión infinita del problema, los autores emplean un conjunto de truncamiento $I^K_d$ que limita el orden de interacción a $K$ y el grado polinomial a $d$. Esto aprovecha los principios de "escasez de efectos" y "reluctancia".
   • Estimación de Densidad: Las densidades marginales $f_S$ requeridas para la base se estiman a partir de los datos utilizando expansiones tensorizadas truncadas de Legendre.
   • Procedimiento: El algoritmo implica el escalado de características (a $[-1, 1]$), la estimación de densidad, la construcción de la matriz de diseño utilizando las funciones base y la resolución de un sistema lineal (utilizando LARS para la selección de modelos y SVD para la resolución). Todo el proceso es agnóstico al modelo, requiriendo únicamente pares de entrada-salida.

3. Validación Experimental:
   El método se evalúa en casos analíticos sintéticos y seis conjuntos de datos del mundo real (Bike Sharing, California Housing, Census Income, etc.) utilizando cuatro familias de modelos: XGBoost, MLP, EBM y NAM. Se compara con métodos de vanguardia (KernelSHAP, DeepSHAP, TreeSHAP, TreeHFD) y las descomposiciones nativas de modelos interpretables.

Contribuciones Clave

1. Solución Explícita en Forma Cerrada: El artículo demuestra que la descomposición ANOVA funcional generalizada para características continuas acotadas admite una solución explícita, reduciendo la optimización no paramétrica subyacente a un problema de regresión de mínimos cuadrados.
2. Marco Unificado: La formulación recupera naturalmente el caso independiente clásico, las expansiones de polinomios ortogonales y la conexión con los valores de Shapley. Proporciona una base matemática rigurosa para explicaciones aditivas en presencia de entradas dependientes.
3. Estimador Agnóstico al Modelo Eficiente: Los autores proponen un algoritmo simple, de tiempo polinomial, para estimar la descomposición a partir de una muestra de datos sin acceder a la estructura interna del modelo. El método explota la escasez para mantenerse tratable en la práctica.
4. Unificación Empírica: Los experimentos muestran que los métodos de explicación existentes (variantes de SHAP) y los modelos interpretables (GAMs, EBMs) aproximan estrechamente componentes específicos de la descomposición ANOVA funcional, lo que sugiere que el marco propuesto unifica estos enfoques dispares.

Resultados

• Precisión: El estimador propuesto logra una alta precisión de reconstrucción ($R^2 \geq 0.85$) en todos los conjuntos de datos y familias de modelos.
• Ortogonalidad: A pesar de utilizar estimaciones de densidad plug-in, la ortogonalidad jerárquica entre componentes se preserva fielmente (valores de MaxCorr bajos).
• Eficiencia: El método es computacionalmente eficiente, estimando descomposiciones para conjuntos de datos con decenas de miles de muestras en segundos (por ejemplo, ~0.6s para 48k muestras en Census Income).
• Comparación: Las comparaciones visuales (Figs 1–4) indican que los efectos principales del método propuesto se alinean estrechamente con los componentes teóricos en entornos sintéticos y con los efectos nativos de EBM/NAM, mientras que ofrecen una descomposición más rigurosa que las variantes heurísticas de SHAP.

Significado y Afirmaciones
El artículo afirma proporcionar una perspectiva unificadora sobre las explicaciones aditivas. Al fundamentar los métodos de XAI en el objeto matemático riguroso de la ANOVA funcional generalizada, los autores argumentan que:

• Las explicaciones aditivas no son meras construcciones heurísticas, sino componentes de un objeto matemático bien definido con propiedades estructurales.
• Muchos métodos post-hoc existentes y modelos intrínsecamente interpretables pueden reformularse como aproximaciones de componentes específicos de esta descomposición.
• El enfoque propuesto ofrece una herramienta práctica, eficiente y teóricamente sólida para descomponer modelos de caja negra, particularmente en entornos con entradas dependientes donde los métodos anteriores estaban limitados o eran intratables.

Los autores reconocen limitaciones, incluido el supuesto de entradas continuas acotadas y la dependencia del truncamiento para problemas de alta dimensión, señalando que extender el marco a tipos de datos ilimitados o mixtos sigue siendo un desafío para trabajos futuros.