Resumen Técnico: Corrección de la Importancia de Variables Calculada por Bosques Aleatorios

Planteamiento del Problema

Los Bosques Aleatorios (RF, por sus siglas en inglés) son ampliamente reconocidos como herramientas poderosas para el análisis de datos estadísticos y el aprendizaje automático, ofreciendo un rendimiento robusto en tareas de clasificación y regresión. Una característica clave de los RF es su capacidad para emitir puntuaciones de importancia de variables, las cuales son esenciales para la interpretación, selección y diagnóstico de modelos. Sin embargo, el cálculo estándar de la importancia de las variables en RF —específicamente el método de precisión por permutación— sufre de una limitación crítica: no tiene en cuenta las correlaciones entre variables.

Cuando una variable $U$ está altamente correlacionada con otras variables ($V_1, V_2, \dots$) condicional a la variable de respuesta $Y$, la importancia de $U$ suele ser subestimada o completamente enmascarada. En el enfoque de permutación estándar, barajar los valores de $U$ rompe su asociación con $Y$. Sin embargo, si $V_1, V_2, \dots$ permanecen en el modelo y están altamente correlacionadas con $U$, estas pueden "rellenar" eficazmente la información faltante, resultando en una caída insignificante en la precisión predictiva. Consecuentemente, la importancia calculada para $U$ permanece artificialmente baja, a pesar de que $U$ es un verdadero predictor. Este fenómeno conduce a discrepancias significativas entre la importancia calculada y la utilidad predictiva real de las variables.

Metodología

Para abordar el efecto de enmascaramiento causado por variables correlacionadas, los autores proponen un marco que agrupa las variables basándose en sus correlaciones condicionales (correlación dada la variable de respuesta $Y$) antes de calcular la importancia. La idea central es eliminar la influencia de las variables correlacionadas durante la evaluación de la importancia de una variable de interés específica.

El artículo define el coeficiente de correlación condicional $\rho(U, V | Y)$ como la razón entre la covarianza condicional y el producto de las desviaciones estándar condicionales. Utilizando esta métrica, los autores exploran dos enfoques algorítmicos distintos:

Método 1: Corrección de Variable Individual (corrVI-Individual)

Este enfoque opera sobre una base por variable:

1. Para una variable objetivo $V_i$, el algoritmo identifica el conjunto de variables $V_{cor}$ que están condicionalmente correlacionadas con $V_i$.
2. Construye un conjunto de datos reducido que contiene todas las variables excepto aquellas en $V_{cor}$ (denotado como $V_{nc}$).
3. La precisión predictiva del Bosque Aleatorio se calcula en el conjunto $V_{nc}$ y luego en el conjunto $V_{nc} \cup \{V_i\}$.
4. La importancia de $V_i$ se define como el incremento en la precisión predictiva cuando $V_i$ se añade al conjunto de variables no correlacionadas.
5. Al eliminar todas las variables correlacionadas, el método asegura que la ganancia de precisión se atribuya únicamente a $V_i$, evitando el enmascaramiento.

Nota: Los autores reconocen que este método elimina "más" información de la estrictamente necesaria (ya que $V_{cor}$ puede contener información más allá de $V_i$), lo que podría conducir a una ligera sobreestimación de la importancia. Sin embargo, argumentan que esta sobreestimación es insignificante si las variables restantes proporcionan una separación predictiva adecuada.

Método 2: Corrección por Agrupamiento Espectral (corrVI-Spectral)

Este enfoque agrupa todo el conjunto de variables en subgrupos disjuntos basados en correlaciones condicionales por pares:

1. Se computa una matriz de correlación condicional por pares para todas las variables.
2. Esta matriz se trata como una matriz de similitud, y se aplica el agrupamiento espectral (spectral clustering) para particionar las variables en grupos disjuntos ($G_1, \dots, G_K$) donde las variables dentro de un grupo están altamente correlacionadas, y las variables entre grupos están débilmente correlacionadas.
3. Para una variable $V$ perteneciente al grupo $G_i$, el algoritmo elimina el grupo completo $G_i$ del conjunto de datos.
4. La importancia de $V$ se calcula como el incremento en la precisión predictiva cuando $V$ se añade de nuevo al conjunto de variables $V_{nc} = \text{Todas las Variables} \setminus G_i$.
5. Dado que ninguna variable en $V_{nc}$ está condicionalmente correlacionada con $V$, la puntuación de importancia no es enmascarada.

Eliminación de Variables vs. Permutación:
Los autores eligen explícitamente eliminar las variables correlacionadas en lugar de permutarlas durante el cálculo de la importancia. Demuestran que, si bien eliminar o permutar una sola variable produce resultados similares debido a la selección de variables integrada en RF, permutar múltiples variables simultáneamente puede degradar la precisión predictiva más que la simple eliminación. Esto se debe a que permutar múltiples variables de ruido aumenta la probabilidad de que una variable de ruido sea seleccionada como punto de división, inflando artificialmente la caída en la precisión. Por lo tanto, la eliminación se considera el enfoque más estable para corregir las correlaciones multivariables.

Contribuciones Clave

1. Identificación del Problema de Enmascaramiento: El artículo destaca formalmente cómo las correlaciones condicionales en RF conducen a la subestimación de la importancia de las variables, un problema que suele pasarse por alto en las implementaciones estándar.
2. Marco de Correlación Condicional: Los autores introducen el uso de la correlación condicional (dada $Y$) como la métrica para agrupar variables, en lugar de la correlación incondicional.
3. Dos Algoritmos de Corrección: La propuesta de dos métodos computacionalmente eficientes:
   • Método 1: Un enfoque flexible basado en variables individuales que elimina variables correlacionadas específicas para cada objetivo.
   • Método 2: Un enfoque basado en agrupamiento que utiliza el agrupamiento espectral para manejar grupos de variables de forma global.
4. Validación Empírica: Los métodos son probados en ocho conjuntos de datos del mundo real del repositorio de aprendizaje automático de la UCI, demostrando que las correcciones se alinean mejor con el conocimiento del dominio que las puntuaciones de importancia estándar de RF.

Resultados Experimentales

Los autores evaluaron ambos métodos en conjuntos de datos que incluyen Seeds, Indian Liver Patient, Heart Disease, Wine, Maternal Health, Obesity y Bank Marketing.

• Dataset Seeds: El RF original asignó una importancia cercana a cero a "Compactness" ($V_3$) y una importancia baja a "Area" ($V_1$) y "Perimeter" ($V_2$). Ambos métodos de corrección aumentaron significativamente la importancia de $V_1$ y $V_2$. El Método 1 identificó correctamente a $V_3$ como teniendo una importancia distinta de cero (ya que contiene información única), mientras que el Método 2 (debido a las limitaciones del agrupamiento) la subestimó ligeramente.
• Dataset Indian Liver Patient: Variables como Alkaline Phosphatase ($V_5$) y Total Protein ($V_8$) fueron asignadas con una importancia cercana a cero por el RF estándar. El Método 1 ajustó correctamente estas hacia arriba, reflejando su significancia médica. El Método 2 falló en ajustar $V_5$ porque el algoritmo de agrupamiento no capturó completamente su correlación con otras variables, enmascarando su importancia.
• Dataset Heart Disease: Variables críticas como Edad ($V_1$), Género ($V_2$) y Presión Arterial en Reposo ($V_4$) fueron significativamente subestimadas por el RF estándar. Ambos métodos corrigieron estas puntuaciones. Sin embargo, el Método 2 no ajustó $V_4$ y $V_{11}$ (Slope of ST segment) tan eficazmente como el Método 1 debido a los límites del agrupamiento.
• Datasets Obesity y Bank Marketing: Se observaron tendencias similares donde variables críticas del dominio (por ejemplo, Antecedentes Familiares de Sobrepeso, Antecedentes de Contacto Previo) fueron subestimadas por RF pero corregidas por los métodos propuestos. El Método 1 demostró ser generalmente más robusto en casos donde la estructura de correlación no formaba grupos disjuntos perfectos.

En general, el Método 1 demostró mayor flexibilidad y precisión en la corrección de las puntuaciones de importancia, particularmente cuando las variables formaban estructuras de correlación complejas que el agrupamiento espectral no podía particionar perfectamente.

Significado y Reivindicaciones

El artículo afirma que su enfoque proporciona "correcciones sensatas" a las puntuaciones de importancia de variables producidas por Bosques Aleatorios. El significado radica en:

• Mejor Interpretabilidad: Al mitigar el efecto de enmascaramiento, las puntuaciones corregidas reflejan mejor la verdadera contribución predictiva de las variables, ayudando en la interpretación del modelo y la selección de características.
• Alineación con el Dominio: Las puntuaciones de importancia corregidas se alinean más estrechamente con el conocimiento establecido del dominio (por ejemplo, marcadores médicos en los conjuntos de datos de hígado y corazón) en comparación con las puntuaciones estándar de RF.
• Aplicabilidad General: Aunque motivado por RF, los autores señalan que el enfoque de eliminar variables correlacionadas para evaluar la importancia es aplicable a métodos predictivos generales.

Los autores mantienen un tono modesto, reconociendo que el Método 1 puede sobreestimar ligeramente la importancia al eliminar más información de la necesaria, y que el desempeño del Método 2 depende de la calidad del agrupamiento espectral. No pretenden resolver todos los problemas de la importancia de las características, sino que ofrecen un mecanismo práctico y computacionalmente eficiente para abordar el problema específico del enmascaramiento inducido por la correlación.