Resumen Técnico: Extensión de los Árboles de Conjuntos Explicables (E2Tree) a Contextos de Regresión

Enunciado del Problema

Los métodos de conjuntos, particularmente los Bosques Aleatorios (RF), han revolucionado el aprendizaje supervisado al ofrecer una alta precisión predictiva mediante la agregación de aprendices débiles. Sin embargo, estos modelos funcionan como "cajas negras", careciendo de transparencia sobre cómo procesan los valores de entrada para generar predicciones. Esta opacidad obstaculiza la comprensión y la confianza del usuario, especialmente en dominios críticos como la medicina y las finanzas. Aunque existen enfoques para la interpretabilidad —desde modelos inherentemente interpretables (por ejemplo, árboles de decisión) hasta herramientas de explicación post-hoc (por ejemplo, importancia de variables, valores de Shapley)—, a menudo luchan por equilibrar la precisión del modelo con la capacidad de elucidar interacciones complejas y no lineales entre las características.

El desafío específico abordado en este artículo es la extensión de la metodología de Árboles de Conjuntos Explicables (E2Tree). Propuesta originalmente por Aria et al. (2024) para tareas de clasificación, E2Tree proporciona una representación gráfica, similar a un árbol, de los modelos RF que tiene en cuenta tanto los efectos de los predictores como las asociaciones entre predictores. Los autores señalan que, aunque E2Tree explicó con éxito los RF de clasificación, faltaba una metodología correspondiente para contextos de regresión (modelos de resultados continuos).

Metodología

El artículo propone una extensión del marco E2Tree para manejar problemas de regresión. El objetivo central es derivar una única estructura similar a un árbol, interpretable, que represente fielmente la lógica de toma de decisiones de un modelo de regresión de Bosque Aleatorio entrenado.

1. Construcción de la Matriz de Disimilitud

La metodología comienza definiendo una matriz de disimilitud $D$ derivada del modelo RF. Sea $H = \{H_1, \dots, H_B\}$ un Bosque Aleatorio de $B$ aprendices débiles entrenados sobre una muestra de tamaño $n$. Para cualquier par de observaciones $u_i$ y $u_j$, la disimilitud $d_{ij}$ se define como $1 - O_{ij}$, donde $O_{ij}$ es una medida ponderada de co-ocurrencia.

$O_{ij}$ cuantifica con qué frecuencia un par de observaciones cae en el mismo nodo a lo largo de la secuencia de árboles, ponderado por una medida local de ajuste $W(t)_{ij|b}$ para el nodo $t$ en el árbol $b$:
$$O_{ij} = \frac{\sum_{b=1}^{B} I(u_i \land u_j) \cdot W(t)_{ij|b}}{\max(\sum_{b} u_i W(t)_{i|b}; \sum_{b} u_j W(t)_{j|b})}$$

2. Ajuste Específico para Regresión

Una contribución clave de este artículo es la adaptación de la medida local de ajuste $W(t)_{ij|b}$ para la regresión. En el contexto de clasificación, esta medida se basaba en la pureza; en regresión, los autores proponen utilizar el Error Cuadrático Medio Normalizado (NMSE):
$$NMSE(t)_{ij|b} = \frac{MSE(t)_{ij|b}}{MSE_{max} \cdot p(t)}$$
Donde:

• $MSE(t)_{ij|b}$ es el error cuadrático medio en el nodo $t$.
• $p(t)$ es la proporción de observaciones en el nodo $t$.
• $MSE_{max}$ es el MSE máximo teórico, calculado basándose en el rango de la variable de respuesta $Y$ dentro del nodo (siguiendo a Jacobson, 1969): $MSE_{max} = \frac{(\max(Y|b) - \min(Y|b))^2}{9}$.

La medida de ajuste local se define entonces como:
$$W(t)_{ij|b} = \begin{cases} 0 & \text{si } 1 - NMSE(t)_{ij|b} \le 0 \\ 1 - NMSE(t)_{ij|b} & \text{en caso contrario} \end{cases}$$

3. Construcción del Árbol y Reglas de Detención

El algoritmo construye el E2Tree dividiendo recursivamente los datos basándose en la matriz de disimilitud $D$. Para evitar el sobreajuste y asegurar que el árbol resultante sea parsimonioso, los autores introducen criterios de detención específicos más allá de las divisiones estándar de RF:

• Umbral NMSE ($\gamma$): Un nodo se convierte en terminal si el $NMSE(t)_{ij|b}$ calculado cae por debajo de un umbral especificado $\gamma$ (establecido en 0.05 en los experimentos).
• Equivalencia Distribucional: Para cada división potencial, se realiza una prueba de Mann-Whitney para verificar si las distribuciones de los valores predichos en los nodos hijos son idénticas. Si las distribuciones no son significativamente diferentes, la división se rechaza y el nodo padre se trata como terminal.

Contribuciones Clave

1. Extensión Metodológica: La contribución principal es la extensión formal de E2Tree de la clasificación a la regresión. Esto implica redefinir la métrica local de ajuste para utilizar NMSE en lugar de la pureza de clasificación.
2. Representación Unificada: El método proporciona una única estructura similar a un árbol que captura la lógica global de un Bosque Aleatorio, incluidas las interacciones complejas entre predictores, manteniendo al mismo tiempo la precisión predictiva del conjunto original.
3. Capacidad de Explicación Dual: El E2Tree resultante ofrece tanto explicaciones globales (patrones y reglas seguidos por el modelo) como explicaciones locales (lógica detallada para instancias específicas), cerrando la brecha entre el rendimiento de caja negra y la interpretabilidad humana.
4. Implementación de Código Abierto: Los autores proporcionan un paquete R (e2tree) y disponibilidad de código, facilitando la reproducibilidad y la aplicación adicional del método.

Resultados Experimentales

Los autores validaron el método propuesto utilizando dos conjuntos de datos del repositorio UCI Machine Learning: el conjunto de datos Iris (adaptado para regresión sobre la Longitud del Pétalo) y el conjunto de datos Auto MPG (prediciendo la eficiencia del combustible).

• Conjunto de datos Iris: El E2Tree reconstruyó con éxito la estructura de la matriz de co-ocurrencia del RF. Un análisis de agrupamiento jerárquico que compara la matriz RF original ($O_{ij}$) y la matriz estimada por E2Tree ($\hat{O}_{ij}$) arrojó un Índice de Fowlkes-Mallows (FMI) de aproximadamente 90%, indicando un alto grado de similitud en la estructura de agrupamiento.
• Conjunto de datos Auto MPG: A pesar del mayor tamaño del conjunto de datos y de las relaciones no lineales, el E2Tree visualizó eficazmente las rutas de decisión. La comparación de mapas de calor para $O_{ij}$ y $\hat{O}_{ij}$ resultó en un FMI de aproximadamente 75%.
• Interpretabilidad: En ambos casos, el E2Tree proporcionó vías claras de "Si-Entonces". Para los datos de Auto MPG, el árbol visualizó los efectos negativos del desplazamiento, el peso y la potencia sobre el MPG, y los efectos positivos del año del modelo y el origen, ofreciendo información que no es directamente accesible desde un modelo RF ajustado estándar.

Significado y Afirmaciones

El artículo afirma que E2Tree asegura que los modelos de aprendizaje automático sigan siendo "herramientas de empoderamiento" al ofrecer un proceso de toma de decisiones comprensible sin sacrificar la precisión del conjunto. Los autores enfatizan que su enfoque:

• Interpreta el proceso del conjunto a través de una única estructura de árbol coherente.
• Mantiene el rendimiento de precisión del Bosque Aleatorio subyacente.
• Proporciona una herramienta poderosa para explicar las interacciones entre predictores que determinan las predicciones del nodo final.

Los autores concluyen que esta extensión aborda tanto los problemas de interpretabilidad como de explicabilidad en contextos de clasificación y regresión. Señalan que el trabajo futuro tiene como objetivo generalizar el enfoque a otras metodologías de árboles de conjuntos y desarrollar métricas adicionales para evaluar la fidelidad de los resultados de E2Tree frente a las salidas del conjunto original. El artículo no afirma reemplazar los modelos de caja negra, sino más bien proporcionar una capa de explicación transparente y post-hoc que preserve la utilidad del modelo.