Resumen Técnico: ECSEL – Clasificación Explicable mediante Aprendizaje de Ecuaciones Signomiales

Enunciado del Problema

El aprendizaje automático moderno a menudo prioriza el rendimiento predictivo en detrimento de la explicabilidad. Las redes neuronales profundas alcanzan una alta precisión pero funcionan como "cajas negras", oscureciendo el razonamiento detrás de las predicciones. En dominios de alto riesgo como la medicina, las finanzas y los recursos humanos, comprender el proceso de decisión subyacente es tan crítico como la precisión. Aunque la Regresión Simbólica (SR) ofrece modelos intrínsecamente interpretables al generar fórmulas matemáticas explícitas, los enfoques convencionales de SR (por ejemplo, Programación Genética) dependen de heurísticas estocásticas computacionalmente costosas que luchan con conjuntos de datos de alta dimensión y no logran explotar los patrones estructurales prevalentes en los datos. Además, los métodos existentes de SR a menudo están diseñados como herramientas de propósito general en lugar de clasificadores especializados, y las técnicas de explicación post-hoc (por ejemplo, LIME, SHAP) aplicadas a modelos de caja negra pueden ser poco fiables o engañosas.

Metodología

El artículo introduce ECSEL (Clasificación Explicable mediante Aprendizaje de Ecuaciones Signomiales), un método que aprende expresiones formales en forma de ecuaciones signomiales para servir tanto como clasificador como explicación.

Formulación Central

Una función signomial se define como una suma finita de términos de ley de potencia con coeficientes y exponentes de valor real:
$$z(x) = \sum_{k=1}^{K} \alpha_k \prod_{j=1}^{m} x_j^{\beta_{k,j}}$$
donde $x$ es el vector de características, $\alpha_k$ son coeficientes y $\beta_{k,j}$ son exponentes.

Arquitectura de ECSEL:

1. Puntuaciones Específicas por Clase: Para un problema de múltiples clases con $C$ clases, ECSEL aprende una función de puntuación signomial específica $z_c(x)$ para cada clase $c$.
2. Transformación de Probabilidad: Las probabilidades de clase se derivan aplicando una función softmax sobre las puntuaciones signomiales específicas por clase. En casos binarios, se aplica una sigmoide.
3. Preprocesamiento: Dado que los exponentes de valor real requieren argumentos positivos, las características se preprocesan mediante transformaciones afines (por ejemplo, escalado a $[1, 10]$) para asegurar que $x_{ij} > 0$.
4. Objetivo de Entrenamiento: El modelo se entrena minimizando la pérdida de entropía cruzada con un término de regularización $\ell_1$ aplicado a los exponentes ($\beta$). Esto fomenta la dispersión, impulsando los exponentes irrelevantes a cero y resultando en ecuaciones compactas e interpretables con menos características activas.
5. Optimización: Los autores emplean optimización basada en gradientes (Adam con recorte de gradientes) combinada con técnicas de estabilidad numérica (transformaciones logarítmicas). Para tareas de regresión simbólica, se utiliza una estrategia de optimización escalonada de múltiples inicios (Adam para el descubrimiento de la estructura, seguido de refinamiento L-BFGS).

Fundamentos Teóricos

El artículo establece que las funciones signomiales poseen la Propiedad de Aproximación Universal en subconjuntos compactos del ortante positivo. Al mapear las signomiales a exponenciales de funciones lineales mediante transformación logarítmica, los autores demuestran que las signomiales pueden aproximar cualquier función continua con precisión arbitraria, colocándolas teóricamente junto a las redes neuronales como aproximadores universales, pero adaptadas a relaciones de ley de potencia multiplicativas.

Propiedades de Interpretabilidad

ECSEL deriva tres niveles de explicación directamente de su estructura de forma cerrada, evitando la necesidad de métodos post-hoc basados en muestreo:

1. Comportamiento Global de las Características:
   • Elasticidad (G1): La derivada log-log de la puntuación de clase con respecto a una característica proporciona una medida de sensibilidad proporcional en forma cerrada. Para modelos de un solo término ($K=1$), esto es constante e igual al exponente.
   • Razonamiento Contrafactual (G2): El efecto de escalar una característica por un factor $q$ se puede calcular exactamente sin reentrenar, utilizando la fórmula $z_{new} = \sum q^{\beta} z_{old}$.
   • Sensibilidad Basada en Gradientes (G3): Las respuestas de primer orden a pequeños cambios proporcionales se derivan analíticamente.
2. Efectos a Nivel de Decisión:
   • Sensibilidad del Límite de Decisión (D1): La influencia de las características en el margen entre clases se caracteriza por la diferencia en los log-gradientes.
   • Competencia de Probabilidades (D2): La sensibilidad de las probabilidades predichas a los cambios en las características se deriva exactamente, mostrando cómo las características compiten mediante la normalización.
3. Atribución Local de Características:
   • Aditividad en Espacio Logarítmico (L1): Para modelos de un solo término, el log-puntaje es exactamente aditivo en el espacio logarítmico, análogo a los valores SHAP.
   • Atribuciones Locales Basadas en Gradientes (L2): Para modelos de múltiples términos, las atribuciones locales se obtienen mediante linealización de primer orden alrededor de una línea base, proporcionando gradientes exactos en forma cerrada en lugar de aproximaciones estimadas.

Contribuciones Clave

1. Identificación de la Estructura Signomial: Los autores identifican las funciones signomiales como una estructura prevalente en los puntos de referencia de regresión simbólica (por ejemplo, el 45% de las ecuaciones de AI Feynman) y proponen ECSEL para explotar esta estructura directamente.
2. Recuperación Eficiente: ECSEL recupera ecuaciones objetivo en puntos de referencia de SR con mayor frecuencia que los enfoques más avanzados (DGSR, NGGP, NeSymRes) mientras requiere sustancialmente menos tiempo de cálculo.
3. Clasificación Competitiva: ECSEL alcanza una precisión de clasificación competitiva con modelos de aprendizaje automático establecidos (Regresión Logística, Bosque Aleatorio, XGBoost, SVM, MLP) sin sacrificar la interpretabilidad.
4. Interpretabilidad Formal: El método satisface propiedades analíticas que permiten el análisis del comportamiento global de las características, el análisis del límite de decisión y las atribuciones locales de características, todas derivadas de los parámetros del modelo en lugar del muestreo.
5. Utilidad en el Mundo Real: A través de estudios de caso en comercio electrónico y detección de fraude, los autores demuestran que las ecuaciones aprendidas por ECSEL exponen sesgos en los conjuntos de datos, apoyan el razonamiento contrafactual y generan conocimientos procesables.

Resultados Experimentales

Puntos de Referencia de Regresión Simbólica

Evaluado en los conjuntos de datos AI Feynman, Livermore, Jin y Korns (58 ecuaciones en total):

• Tasa de Recuperación: ECSEL logró una tasa de recuperación global promedio del 95.86%, superando significativamente a DGSR (59.10%), NGGP (58.54%) y NeSymRes (56%).
• Tiempo de Cálculo: ECSEL promedió 86.4 segundos por ecuación, en comparación con 612.9s (DGSR), 468.7s (NGGP) y 126.3s (NeSymRes).
• Precisión Numérica: Incluso cuando falló la recuperación simbólica exacta, ECSEL generalmente produjo aproximaciones numéricas casi perfectas ($R^2 \approx 1$).

Puntos de Referencia de Clasificación

Evaluado en 11 conjuntos de datos estándar binarios y de múltiples clases (por ejemplo, ILPD, COMPAS, LOAN, SKINNONSKIN):

• Rendimiento: ECSEL logró la puntuación F1 más alta en 4 de 11 conjuntos de datos y se clasificó dentro de un punto porcentual del mejor método en 9 de 11 conjuntos de datos.
• Recall de la Clase Minoritaria: ECSEL demostró un rendimiento superior en el manejo del desequilibrio de clases, logrando un recall minoritario significativamente mayor en conjuntos de datos como ILPD (42.42% vs. 6.06% para XGBoost) y TRANSFUSIÓN (41.67% vs. 38.89%).
• Eficiencia: Aunque los tiempos de entrenamiento fueron más altos que algunos puntos de referencia (por ejemplo, Regresión Logística), el costo se traslada de la explicación al entrenamiento; después del entrenamiento, todas las atribuciones se obtienen en forma cerrada a un costo insignificante, a diferencia de los modelos de caja negra que requieren costosos cálculos de SHAP/LIME.

Estudios de Caso

1. Intención de Compra en Línea: ECSEL aprendió una signomial de 7 características que identificó "Valor de Página por Tasa de Salida" como el predictor dominante. Logró un recall minoritario competitivo (75.7%) y proporcionó razonamiento contrafactual exacto y descomposiciones locales, superando a LIME en estabilidad y costo computacional.
2. Detección de Fraude en PaySim: En un conjunto de datos con 6.3 millones de transacciones (tasa de fraude del 0.13%), ECSEL logró una puntuación F1 de 79.08% con una precisión del 94.27%. La ecuación aprendida reveló un "mecanismo de targeting de riqueza superlineal" (exponente 1.42 en el saldo de la cuenta de origen), indicando que los estafadores se dirigen desproporcionadamente a cuentas de alto valor. El rendimiento de ECSEL fue competitivo con la Clasificación Simbólica Profunda (DSC) mientras adhería a una validez metodológica más estricta (sin filtrado de datos temporales).

Significado y Afirmaciones

El artículo afirma que ECSEL cierra la brecha entre la interpretabilidad de la Regresión Simbólica y las demandas prácticas de la clasificación moderna. Al combinar la eficiencia computacional con la toma de decisiones transparente, ECSEL ofrece a los profesionales una alternativa procesable a los modelos de caja negra en dominios de alto riesgo. Los autores enfatizan que el método no solo aproxima el comportamiento de una caja negra, sino que proporciona modelos intrínsecamente interpretables donde la lógica de decisión es explícita, matemáticamente rigurosa y capaz de apoyar el razonamiento contrafactual y la auditoría de sesgos. El trabajo sugiere que formulaciones simples y bien elegidas pueden capturar estructuras esenciales de datos, entregando tanto predicciones precisas como explicaciones legibles por humanos.