Resumen Técnico: Más allá de las descomposiciones aditivas: Interpretabilidad mediante la separabilidad

Planteamiento del problema

El aprendizaje automático interpretable enfrenta una tensión fundamental entre la precisión predictiva y la transparencia estructural. Mientras que los modelos de "caja negra" (p. ej., redes neuronales profundas, ensambles de boosting de gradiente) logran un rendimiento de vanguardia, carecen de estructuras legibles. Por el contrario, los modelos de "caja de cristal" como los Modelos Aditivos Generalizados (GAM) ofrecen transparencia, pero a menudo no logran capturar interacciones complejas o dependen de supuestos paramétricos mal especificados.

Los métodos actuales de interpretabilidad, incluyendo las explicaciones post-hoc (p. ej., SHAP, Gradients Integrados) y los modelos de caja de cristal, dependen en gran medida de descomposiciones aditivas. Los autores argumentan que las representaciones aditivas sufren modos de fallo críticos en presencia de interacciones fuertes:

1. Cancelación de señal: Las explicaciones locales de SHAP pueden cancelar los efectos principales y de interacción, lo que conduce a una atribución de cero para características activas.
2. Enmascaramiento de interacción: Los gráficos de dependencia parcial (PDP) marginalizan sobre otras características, descartando efectivamente la información de interacción de orden superior y recuperando solo los efectos principales.
3. Extrapolación fuera del soporte: El promedio marginal en espacios de características correlacionadas puede conducir a patrones espurios en regiones de baja densidad.

El artículo postula que estas limitaciones surgen de la incapacidad inherente de las proyecciones aditivas para representar fielmente las estructuras multiplicativas o separables sin pérdida de información.

Metodología: Aprendizaje de Separación Tensorial (TSL)

Los autores proponen el Aprendizaje de Separación Tensorial (TSL), un modelo de regresión diseñado para aprender una suma de productos de rango 1 de funciones univariantes por característica. A diferencia de los modelos separables estándar, el TSL impone restricciones estructurales específicas para garantizar la estabilidad e interpretabilidad.

Formulación del modelo

El estimador TSL $\hat{m}(x)$ se define como una suma de $R$ etapas, donde cada etapa $\ell$ es la diferencia de dos productos separables positivos:
$$\hat{m}(x) = \sum_{\ell=1}^{R} \left( \lambda^{(\ell)}_+ \prod_{j=1}^p \hat{m}^{(\ell)}_{+,j}(x_j) - \lambda^{(\ell)}_- \prod_{j=1}^p \hat{m}^{(\ell)}_{-,j}(x_j) \right)$$
Las restricciones clave incluyen:

• Positividad: Todas las funciones componentes $\hat{m}^{(\ell)}_{\pm,j}(x_j)$ están restringidas a ser estrictamente positivas ($>0$). Esto asegura que cada componente amplifique o suprima su producto de manera inequívoca, eliminando la ambigüedad de signo inherente a los productos no restringidos.
• Diferencia ordenada: Cada etapa es una diferencia de dos términos positivos, lo que permite al modelo representar contribuciones con signo manteniendo los factores positivos.

Parametrización: Backbone y Tilt (Columna vertebral e inclinación)

Para mejorar la interpretabilidad, los autores introducen una reparametrización de backbone/tilt para cada par de características en una etapa:
$$\hat{m}^{(\ell)}_{\pm,j}(x_j) = b^{(\ell)}_j(x_j) e^{\pm d^{(\ell)}_j(x_j)}$$

• Backbone ($b$): Representa la magnitud compartida o "puerta de actividad" de la etapa. Determina dónde está activa la etapa (los valores cercanos a cero apagan la etapa).
• Tilt ($d$): Representa el desequilibrio con signo entre las ramas positiva y negativa. Controla la direccionalidad de la contribución.
  Esta descomposición separa la magnitud de un efecto de su dirección con signo, permitiendo una visualización fiel incluso cuando la contribución neta con signo está cerca de cero debido a la cancelación.

Procedimiento de ajuste

El TSL emplea un procedimiento codicioso por etapas (stagewise greedy) con reajuste ortogonal:

1. Ajuste por etapas: En cada etapa $\ell$, el modelo ajusta los residuales actuales utilizando un enfoque de refinamiento de tensor de rejilla inspirado en CART (Árboles de Clasificación y Regresión). Aprende funciones univariantes constantes por partes sobre una partición adaptativa.
2. Bagging y Agregación: Para reducir la varianza, se ajustan múltiples tensores de rejilla en paralelo sobre muestras de bootstrap. Un esquema de agregación basado en similitud (anclado a una rejilla de referencia y filtrando valores atípicos) combina estos en un único predictor de etapa.
3. Reajuste Ortogonal: Después de ajustar una nueva etapa, todos los coeficientes de las etapas $\{\lambda^{(k)}_\pm\}$ se optimizan conjuntamente mediante mínimos cuadrados respecto al objetivo $y$. Este reajuste asegura que los coeficientes sean óptimos dados el conjunto actual de etapas.

Contribuciones Clave

1. Aprendizaje de Separación Tensorial (TSL): Un nuevo algoritmo de regresión que estima la media condicional como una suma de diferencias de productos separables de rango 1 positivos.
2. Interpretabilidad Nativa del Modelo: Los autores demuestran que, para el TSL, el modelo ajustado puede ser reconstruido exactamente a partir de sus funciones de dependencia parcial de primer orden (salvo factores constantes). A diferencia de los métodos post-hoc, las visualizaciones de TSL (curvas de dependencia parcial 1D) no son aproximaciones, sino representaciones fieles de los componentes ajustados. La descomposición backbone/tilt permite a los profesionales distinguir entre magnitud (actividad) y dirección (desequilibrio con signo).
3. Teoría de la Aproximación: El artículo establece una tasa de aproximación de $O(1/\sqrt{r})$ para la clase de hipótesis TSL en funciones con derivadas parciales mixtas acotadas de orden $p$ (específicamente en el espacio de Sobolev $W^{(1,1)}_{mix}$), utilizando el marco de la Aproximación Codiciosa Ortogonal (OGA).

Resultados Experimentales

Los autores evaluaron el TSL en la suite de regresión OpenML CTR 23 (27 conjuntos de datos) frente a baselines de vanguardia:

• Baselines: Modelos de caja negra (XGBoost, LightGBM, Random Forest) y modelos interpretables (Explainable Boosting Machines [EBM], SepALS — un modelo separable sin las restricciones de TSL).
• Rendimiento: El TSL logra un rendimiento predictivo competitivo. En el grupo de modelos interpretables, el TSL se sitúa en el top 3 en 17 de 27 conjuntos de datos y es el mejor modelo interpretable en 5.
• Análisis Comparativo:
  • TSL supera a EBM y a los ensambles de árboles en conjuntos de datos con estructuras separables de bajo rango fuertes (p. ej., socmob, California housing).
  • En California housing, el TSL captura interacciones espaciales localizadas y no monotónicas (p. ej., primas costeras) que EBM y XGBoost suavizan o no logran aislar en resúmenes 1D.
  • Estudio de Caso Sintético: En un ejemplo sintético donde un fuerte efecto cuadrático es enmascarado por una interacción de tercer orden (resultando en una dependencia parcial 1D de cero), el TSL recupera con éxito la magnitud subyante a través de sus curvas de backbone, mientras que los PDP e ICE estándar fallan en revelar la señal sin agregaciones complejas.
  • Ablación: Eliminar la restricción de positividad y la estructura de diferencia ordenada (TSL 1-producto) degrada significativamente el rendimiento, confirmando que estas restricciones son cruciales para la flexibilidad de representación y la estabilidad.

Significado y Reivindicaciones

El artículo afirma que el TSL ofrece un camino distinto hacia la interpretabilidad al ir "más allá de las descomposiciones aditivas". Su principal significación radica en:

• Visualización Fiel: Al imponer separabilidad y positividad, el TSL asegura que los gráficos de dependencia parcial recuperen la forma exacta de los factores ajustados, evitando la pérdida de información y el enmascaramiento inherentes a las proyecciones aditivas de modelos interactivos.
• Manejo de Interacciones: El TSL proporciona un mecanismo para visualizar y comprender interacciones de alto orden a través de resúmenes 1D (backbone y tilt) sin recurrir a explicaciones opacas de caja negra o gráficos de alta dimensión.
• Precisión Competitiva: Demuestra que un modelo de caja de cristal con una estructura separable puede competir con potentes cajas negras de ensambles de árboles en benchmarks de regresión, desafiando la noción de que una alta precisión requiere sacrificar la interpretabilidad.

Los autores se muestran modestos respecto a las limitaciones, reconociendo que las tasas de aproximación del TSL dependen de supuestos de suavidad mixta y que la representación separable sufre de no identificabilidad (lo que requiere los procedimientos específicos de agregación/filtrado descritos). Señalan que en problemas puramente aditivos, métodos existentes como EBM pueden seguir siendo baselines más fuertes.