Resumen Técnico: PINE – Poda de Ensembles de Árboles Potenciados con Equivalencia de Predicción Conformal en Distribución

1. Declaración del Problema

Los métodos de ensembles de árboles, como los Bosques Aleatorios, los Árboles de Decisión Potenciados por Gradiente (GBDT) y XGBoost, se utilizan ampliamente para datos tabulares debido a su fuerte rendimiento predictivo e interpretabilidad. Sin embargo, los ensembles grandes incurren en altos costos de inferencia y huellas de memoria, complicando tareas posteriores como la verificación de robustez y las comprobaciones de equidad.

La poda posterior de ensembles es una solución estándar, pero los métodos existentes enfrentan una compensación entre compresión y fidelidad (equivalencia de predicción):

• Poda orientada a la precisión: Los métodos que optimizan las compensaciones entre precisión y compresión a menudo alteran un subconjunto de predicciones. Esta falta de fidelidad puede interrumpir la consistencia de las decisiones en dominios de alto riesgo (por ejemplo, medicina, finanzas) donde los flujos de trabajo posteriores dependen de salidas específicas del modelo.
• Poda fiel: Métodos como FIPE (Emine et al., 2025) y Ensembles de Árboles Nuevos (Vidal & Schiffer, 2020) garantizan una equivalencia de predicción exacta para todos los inputs en todo el espacio de entrada. Aunque esto asegura la consistencia de las decisiones, el requisito de preservar las predicciones incluso para inputs raros o fuera de distribución (OOD) limita severamente la tasa de compresión alcanzable.

El problema central abordado es cómo lograr tasas de compresión más altas manteniendo una alta fidelidad, sin la carga restrictiva de garantizar la equivalencia en inputs OOD que rara vez se observan en la práctica.

2. Metodología: PINE

Los autores proponen PINE (Poda con Equivalencia en Distribución), un marco de poda que garantiza la equivalencia de predicción solo dentro de una región en distribución (ID) calibrada, $X_{ID}(\alpha)$.

Concepto Central

PINE relaja la restricción de la poda fiel al limitar la garantía de equivalencia a inputs que son "plausibles" bajo la distribución de datos. Introduce un único hiperparámetro, $\alpha$ (nivel de no cobertura), que controla el tamaño de esta región. El método garantiza que, para un futuro input muestreado de la misma distribución, la probabilidad de que el modelo podado coincida con la predicción del modelo original sea al menos $1-\alpha$.

Pipeline Algorítmico

PINE se basa en el marco iterativo Poda-Oráculo utilizado por FIPE, pero modifica el espacio de búsqueda del Oráculo:

1. Definición de Puntuación Plausible: Se define una función de puntuación $s(x)$ tal que puntuaciones más bajas indican mayor plausibilidad (probabilidad) bajo la distribución de datos. La región en distribución se define como $X_{ID}(\alpha) = \{x \in \mathcal{X} \mid s(x) \leq \tau(\alpha)\}$.
2. Puntuación de Árbol de Chow-Liu: El artículo adopta el log-verosimilitud negativo de un árbol de Chow-Liu como puntuación plausible. Las características continuas se discretizan en contenedores, y el árbol de Chow-Liu aproxima la distribución conjunta como una estructura de árbol. Esta elección es crítica porque el log-verosimilitud negativo se descompone en una forma aditiva (marginal de la raíz + términos condicionales de las aristas), permitiendo que la restricción $s(x) \leq \tau(\alpha)$ se codifique eficientemente como una restricción de Programación Lineal Entera Mixta (MILP).
3. Calibración Conformal: Utilizando un conjunto de calibración $D_{cal}$, el umbral $\tau(\alpha)$ se determina mediante predicción conformal dividida. Esto asegura que, bajo el supuesto de intercambiabilidad, la región $X_{ID}(\alpha)$ cubra los futuros inputs con una probabilidad de al menos $1-\alpha$.
4. Poda Iterativa:
   • Podador: Actualiza los pesos del árbol para satisfacer la equivalencia de predicción en un conjunto creciente de restricciones.
   • Oráculo: Busca contraejemplos (inputs donde las predicciones difieren) pero restringe su búsqueda solo a la región $X_{ID}(\alpha)$.
   • El proceso se repite hasta que no se encuentran contraejemplos dentro de la región ID.

Garantías Teóricas

• Equivalencia Probabilística: Bajo el supuesto de intercambiabilidad, PINE proporciona una cota inferior de $1-\alpha$ sobre la probabilidad de que la predicción del modelo podado coincida con la del modelo original para un futuro input.
• Complejidad: El número de estados discretos que el Oráculo debe explorar está acotado superiormente por $e^{\tau(\alpha)}$. Dado que $\tau(\alpha)$ es monótono en $\alpha$, aumentar $\alpha$ (permitiendo una mayor tasa de no cobertura) reduce exponencialmente el espacio de búsqueda, facilitando una mayor compresión.

3. Contribuciones Clave

1. Marco PINE: Un método de poda novedoso que intercambia la fidelidad global estricta por una fidelidad en distribución de alta probabilidad, permitiendo tasas de compresión significativamente más altas que las líneas base de poda fiel.
2. Integración Conformal: La primera aplicación de la predicción conformal dividida para definir una región en distribución garantizada para la poda de ensembles, proporcionando un límite probabilístico riguroso sobre la equivalencia de predicción.
3. Puntuación Embebible en MILP: La propuesta de utilizar el log-verosimilitud negativo del árbol de Chow-Liu como puntuación plausible, que es tanto expresiva para capturar dependencias de características como computacionalmente eficiente para la codificación en MILP.
4. Control Sistemático de Compensaciones: Un mecanismo para ajustar sistemáticamente la compensación entre fidelidad y compresión mediante el único parámetro $\alpha$.

4. Resultados Experimentales

Los autores evaluaron PINE en 12 conjuntos de datos tabulares públicos (por ejemplo, Adult, COMPAS, Pima-Diabetes) utilizando ensembles de XGBoost ($M=30$ árboles, profundidad $D=2$).

• Compresión vs. Fidelidad: PINE supera significativamente a las líneas base de poda fiel (FIPE). A medida que $\alpha$ aumenta de 0.05 a 0.8, la tasa media de poda aumenta de ~45% a ~68%, mientras que la fidelidad media se mantiene alta (99.15%–99.96%). En contraste, FIPE logra una tasa media de poda de ~44% con 100% de fidelidad.
• Comparación con Métodos Orientados a la Precisión: Aunque los métodos orientados a la precisión (IC, DREP, MDEP) pueden mantener la precisión de prueba, muestran caídas sustanciales de fidelidad (a menudo <90%) incluso dentro de la región en distribución. PINE mantiene una fidelidad casi perfecta dentro de la región calibrada.
• Validación de Cobertura: La cobertura empírica de prueba $\hat{\pi}_{ID}$ sigue de cerca el objetivo $1-\alpha$, validando la efectividad de la calibración conformal dividida.
• Escalabilidad: El método es más sensible a la profundidad del árbol ($D$) que al número de árboles ($M$). Árboles más profundos reducen la compresión alcanzable debido a regiones de decisión más localizadas, mientras que ensembles más grandes aumentan principalmente el tiempo de ejecución de la optimización.

5. Significado y Afirmaciones

El artículo afirma que PINE aborda una brecha crítica en la compresión de modelos: la incapacidad de los métodos fieles existentes para comprimir modelos de manera efectiva sin sacrificar la consistencia de las decisiones, y la incapacidad de los métodos de poda estándar para garantizar dicha consistencia.

• Impacto Práctico: PINE permite a los profesionales comprimir modelos hasta un 30% más que las líneas base fieles, manteniendo la consistencia de las decisiones en futuros inputs probables. Esto es particularmente valioso en dominios de alto riesgo donde las salidas del modelo desencadenan flujos de trabajo posteriores o requieren auditabilidad.
• Limitaciones: Los autores reconocen modestamente que la garantía depende del supuesto de intercambiabilidad (sin cambio de distribución). Si la distribución de datos cambia, la garantía puede debilitarse. Además, el costo computacional está ligado a la resolución de MILPs, lo cual puede ser costoso para configuraciones de múltiples clases o árboles muy profundos.
• Conclusión: PINE ofrece un enfoque probabilístico verificable para la poda que equilibra los objetivos competitivos de eficiencia y fiabilidad, superando la elección binaria entre "preciso pero inconsistente" e "inconsistente pero sin comprimir".