Resumen Técnico: Árboles de Diferimiento Multietapa para la Interpretabilidad Híbrida

Planteamiento del Problema

El desafío central en el aprendizaje automático interpretable es construir modelos que igualen el rendimiento predictivo de vanguardia y, al mismo tiempo, permanezcan transparentes. Si bien los árboles de decisión dispersos bien optimizados pueden lograr esto en dominios ruidosos, persiste una brecha significativa entre la precisión y la interpretabilidad en muchos entornos. En estos casos, se requieren ensambles complejos (por ejemplo, Random Forests, XGBoost) para obtener una alta precisión, pero carecen de interpretabilidad. Los enfoques híbridos existentes intentan cerrar esta brecha utilizando un modelo simple para predecir en la mayor parte de los datos y difiriendo las muestras difíciles a una caja negra. Sin embargo, los métodos actuales suelen tener dificultades para mantener la precisión de la caja negra sin diferir la gran mayoría de las muestras, o bien no logran recuperar la interpretabilidad para el subconjunto diferido.

Metodología

Los autores introducen los Árboles de Diferimiento Multietapa (MDTs, por sus siglas en inglés), una clase de modelo que asigna la complejidad de forma adaptativa mediante el enrutamiento de las entradas a través de una secuencia de árboles de decisión dispersos antes de, potencialmente, diferir a una caja negra.

Definiciones Principales

• Árbol de Diferimiento (Defer Tree): Un árbol binario cuyas hojas están etiquetadas con una predicción de clase o una acción de defer (diferir). Si una hoja difiere, la predicción se pasa a un modelo de respaldo (fallback model) $B$.
• Árbol de Diferimiento Multietapa (MDT): Una secuencia ordenada de árboles de deferimiento $(T_1, \dots, T_K)$. Una entrada $x$ es evaluada por $T_1$. Si $T_1$ predice, el proceso se detiene. Si $T_1$ difiere, $x$ se pasa a $T_2$, y así sucesivamente. Si todos los árboles difieren, el modelo de respaldo final $B$ (que puede ser una caja negra o un modelo disperso) realiza la predicción.

Algoritmo de Entrenamiento

El procedimiento de entrenamiento emplea una estrategia de optimización alternante, descendente e iterativa:

1. Inicialización: Se comienza con un modelo de respaldo $B$ entrenado en el conjunto de datos completo.
2. Entrenamiento de Etapa Iterativo: Para la etapa $j$, se entrena un árbol de deferimiento $T_j$ sobre el subconjunto de datos diferidos por las etapas previas. La función objetivo penaliza la clasificación errónea, la complejidad del árbol (número de divisiones/splits) y los diferimientos al modelo de respaldo actual.
3. Actualización del Modelo de Respaldo: Tras el entrenamiento de $T_j$, el conjunto diferido se actualiza. El modelo de respaldo $B$ se vuelve a entrenar en el conjunto de datos completo utilizando pesos basados en la distancia.
   • Los puntos diferidos reciben un peso completo.
   • Los puntos no diferidos se penalizan mediante un descenso de peso basado en su distancia a la región diferida (medida en el espacio de cuantiles). Esto permite que el modelo de respaldo "tome prestada la fuerza" de los puntos cercanos, mejorando la generalización en la región diferida y evitando el sobreajuste a muestras diferidas específicas.
4. Seguimiento de la Región Factible: El algoritmo rastrea la intersección geométrica de las regiones de deferimiento (hiperrectángulos alineados con los ejes) para filtrar aquellas divisiones que son irrelevantes para la región de deferimiento actual, mejorando la eficiencia.
5. Terminación: El proceso se detiene cuando el conjunto diferido queda vacío, deja de reducirse o excede los presupuestos de complejidad (por ejemplo, el número total de hojas o el tamaño de un solo árbol expandido).

Compresión y Representación

Una contribución teórica clave es la Representación de Lista de Reglas de los MDTs. El Teorema 1 establece que un MDT con $K$ etapas puede representarse como una lista de reglas donde cada hoja de no-diferimiento en cualquier etapa contribuye exactamente con un antecedente. Esto resulta en una representación compacta significativamente más pequeña que las listas de reglas derivadas de ensambles estándar (como Random Forests), donde los antecedentes pueden crecer con la suma de las profundidades a través de todos los árboles.

Los autores también proporcionan algoritmos para comprimir el MDT en un único árbol de deferimiento mediante la expansión recursiva de las hojas de deferimiento y la poda de divisiones que garantizan evaluar de la misma manera dentro de la subregión específica de los datos diferidos.

Principales Contribuciones

1. Clase de Modelo: Introducción de los Árboles de Diferimiento Multietapa, que asignan la complejidad de forma adaptativa según la dificultad de diferentes regiones del espacio de características.
2. Algoritmo de Entrenamiento: Desarrollo de un algoritmo iterativo que estrecha sucesivamente la región de deferimiento mientras utiliza el reponderado basado en la distancia para mejorar la generalización del modelo de respaldo.
3. Técnicas de Compresión: Algoritmos para comprimir los MDT en representaciones de lista de reglas o de un único árbol disperso, y métodos para comprimir el modelo de respaldo (si este es un ensamble de árboles) específicamente para el subconjunto diferido.
4. Garantías Teóricas: Pruebas relativas al tamaño de la representación de lista de reglas y la mejora monotónica de la función objetivo durante el entrenamiento.

Resultados Experimentales

Los autores evaluaron los MDT frente a ensambles de árboles de vanguardia (XGBoost, Random Forest), modelos aditivos dispersos (FIGS) y otros enfoques híbricos existentes (variantes de HyRS y CORELS) en 24 conjuntos de datos.

• Precisión vs. Diferimiento: Los MDT igualaron consistentemente el rendimiento de los ensambles de caja negra complejos (XGBoost) mientras diferían una pequeña proporción de muestras (por ejemplo, $\le 25\%$). En muchos conjuntos de datos, los MDT alcanzaron una precisión dentro del intervalo de confianza del 95% del mejor método de caja negra con tasas de diferimiento significativamente menores que los modelos híbridos competidores.
• Interpretabilidad: El componente interpretable de los MDT (la secuencia de árboles) requirió muy pocas decisiones de división por muestra (a menudo $\le 5.5$ divisiones en promedio) para alcanzar un rendimiento cercano al de la caja negra.
• Compresión: Cuando el modelo de respaldo era un ensamble de árboles, los autores demostraron que comprimir el modelo de respaldo específicamente para la región diferida resultó en reducciones significativas en el número de divisiones y hojas requeridas, sin sacrificar la precisión en esa región.
• Comparación con Baselines: Los MDT superaron a los árboles únicos sin diferimiento y a los métodos híbricos existentes (como HyRS y FLMM) en la relación precisión-deferimiento, particularmente en regímenes donde un solo árbol es insuficiente.

Significado y Reivindicaciones

El artículo afirma que los MDT expanden la frontera de precisión-interpretabilidad. Los autores argumentan que incluso cuando son necesarios modelos complejos para alcanzar la precisión de vanguardia, estos no tienen por qué ser totalmente opacos. Al enrutar la mayoría de los datos a través de un pequeño número de árboles dispersos y confinar la dependencia de modelos complejos a una región altamente restringida del espacio de características, los MDT permiten a los profesionales mantener una alta precisión asegurando que la mayoría de las decisiones sigan siendo interpretables. El método demuestra que el compromiso entre precisión e interpretabilidad no es necesariamente global; puede gestionarse localmente, asignando la complejidad solo donde los modelos simples fallan de forma demostrable.