Improved Predictive Performance and Interpretability for Mesomorphic Neural Networks Using Local Fidelity Regularization

Resumen Técnico: Mejora del Rendimiento Predictivo e Interpretabilidad de las Redes Neuronales Mesomórficas mediante la Regularización de Fidelidad Local

Planteamiento del Problema
Se propusieron las Redes Neuronales Mesomórficas Interpretables (IMN, por sus siglas en inglés) para cerrar la brecha entre el poder predictivo del aprendizaje profundo y la interpretabilidad de los modelos lineales. En una IMN, el núcleo (backbone) de la red neuronal genera dinámicamente los pesos para una capa de salida lineal, lo que permite una atribución de características por instancia. Sin embargo, la formulación original sufre de una vulnerabilidad crítica: el modelo está subdeterminado. Debido a que el núcleo de la red neuronal es altamente expresivo, puede alcanzar un rendimiento predictivo óptimo colapsando toda la varianza explicativa en un solo peso (a menudo el intercepto) mientras suprime los demás. Este comportamiento "degenerado" resulta en predicciones matemáticamente precisas, pero con interpretaciones que son completamente infieles a las relaciones subyacentes de los datos. Paradójicamente, la penalización L1 propuesta originalmente para fomentar la dispersión (sparsity) exacerba este problema al incentivar tales configuraciones degeneradas.

Metodología: Regularización de Fidelidad Local (LFR)
Para abordar esto, los autores introducen la Regularización de Fidelidad Local (LFR), un nuevo término de penalización diseñado para alinear los pesos lineales generados con las variaciones locales presentes en los datos de entrenamiento.

• Base Teórica: Idealmente, los pesos generados $w_j(x_i, \theta)$ deberían corresponder a las derivadas parciales de la función de predicción con respecto a cada característica ($\nabla f(x_i)$). Sin embargo, depender de gradientes analíticos es computacionalmente costoso (requiere doble retropropagación) y propenso a capturar ruido infinitesimal en lugar de tendencias macroscópicas.
• Interpolación inspirada en SMOTE: Para superar estos problemas, la LFR evita los gradientes exactos. En su lugar, construye un vecindario local alrededor de un punto ancla $x_i$ generando muestras sintéticas mediante una estrategia inspirada en la Técnica de Sobremuestreo de Minorías Sintéticas (SMOTE). Para un ancla dada, se crean $K$ puntos sintéticos $\tilde{x}_k$ mediante interpolación lineal con puntos de datos vecinos: $\tilde{x}_k = x_i + \alpha_k(x' - x_i)$.
• La Penalización: La pérdida LFR ($L_{LFR}$) impone que la aproximación lineal anclada en $x_i$ (usando los pesos generados) debe extrapolar con precisión la predicción de la red neuronal completa en estos puntos sintéticos. La penalización es la diferencia de error cuadrático medio entre la extrapolación lineal y el paso hacia adelante (forward pass) de la red completa a través del vecindario sintético.
• Optimización: La función objetivo total combina la pérdida de predicción original, la penalización de dispersión L1 y la nueva penalización LFR. Los autores proponen una estrategia de ajuste utilizando una puntuación compuesta $S(\gamma)$ que equilibra el rendimiento predictivo (por ejemplo, AUROC o $R^2$) y la fidelidad de la explicación (medida por la reducción de la infidelidad con respecto al modelo no regularizado).

Contribuciones Clave

1. Nuevo Mecanismo de Regularización: La introducción de LFR, que evita el colapso de los pesos fundamentando las interpretaciones en la estructura geométrica de los datos mediante restricciones de fidelidad local.
2. Mejora de Rendimiento Dual: Evidencia empírica que demuestra que la LFR no solo resuelve los fallos de interpretabilidad, sino que también mejora consistentemente el rendimiento predictivo, logrando resultados competitivos con modelos de caja negra de última generación.
3. Implementación de Código Abierto: Una implementación modular en Python del marco LFR-IMN con una API de estilo scikit-learn, disponible públicamente.

Resultados Experimentales
El artículo evalúa el método propuesto a través de pruebas de referencia sintéticas y del mundo real:

• Experimentos Sintéticos: En un conjunto de datos sintéticos con efectos locales de verdad fundamental conocidos (incluyendo términos de interacción), la IMN no regularizada falló en recuperar los efectos reales, llevando los pesos de las características a casi cero y absorbiendo la magnitud en el intercepto. En contraste, LFR-IMN recuperó con éxito los verdaderos gradientes locales. Notablemente, al usar un núcleo TabResNet complejo, LFR-IMN logró un MSE de prueba significativamente menor (0.0244) en comparación con la IMN no regularizada (0.0444), demostrando que las restricciones de interpretabilidad pueden mejorar la generalización.
• Evaluación XAI-Bench: Utilizando el marco XAI-Bench con importancias de verdad fundamental conocidas, los autores compararon LFR-IMN contra la IMN no regularizada y los explicadores post-hoc estándar (LIME, SHAP) aplicados a modelos de caja negra. El estudio utilizó una nueva métrica, Infidelidad Escalada, para medir la precisión de los gradientes locales. Los resultados indicaron que LFR-IMN proporcionó explicaciones altamente fieles manteniendo o mejorando la precisión predictiva (AUROC) sobre la línea base no regularizada.
• Pruebas de Referencia del Mundo Real: Las evaluaciones a través de la suite de referencias OpenML mostraron que LFR-IMN logró puntuaciones de AUROC altamente competitivas con métodos de primer nivel como CatBoost y TabNet, sin comprometer la precisión en favor de la explicabilidad.

Significancia y Reivindicaciones
El artículo afirma que LFR-IMN proporciona un beneficio dual: garantiza interpretaciones fiables y fieles al prevenir que el modelo explote soluciones degeneradas, y simultáneamente mejora el rendimiento predictivo. Los autores argumentan que, contrariamente a la suposición común de un compromiso (trade-off) entre precisión e interpretabilidad, forzar la fidelidad local puede conducir a fronteras de decisión más robustas. El método se presenta como una solución práctica para aplicaciones críticas de seguridad (por ejemplo, salud, finanzas) donde tanto un alto rendimiento como explicaciones confiables son requisitos previos. El trabajo está respaldado por un repositorio de código abierto para facilitar su adopción e investigación posterior.