Confidence intervals for the random forest generalization error

En el mundo de la ciencia de datos moderna, a menudo se les pide a las computadoras que realicen predicciones sobre el futuro basándose en patrones encontrados en el pasado. Ya sea para pronosticar el precio de una casa, diagnosticar una condición médica o adivinar si un cliente dejará de usar un servicio, estos sistemas dependen de modelos complejos entrenados con grandes conjuntos de información. Un desafío central para cualquiera que utilice estas herramientas es saber cuánta confianza depositar en una predicción. El solo hecho de que un modelo funcione bien con los datos con los que fue entrenado no garantiza que funcionará bien en situaciones nuevas y no vistas. Para medir esta fiabilidad, los científicos tradicionalmente dividen sus datos en dos montones: uno para enseñar al modelo y otro para probarlo. Si bien esto funciona, es un proceso lento y costoso que requiere dividir los datos a la mitad y, a menudo, reentrenar el modelo muchas veces para obtener una imagen clara de su precisión.

Un tipo específico de modelo conocido como bosque aleatorio (random forest) ha ofrecido durante mucho tiempo un atajo ingenioso para estimar qué tan bien se desempeñará. Imagine un bosque donde cada árbol es un tomador de decisiones entrenado con una versión ligeramente diferente de los datos. Debido a la forma en que crecen estos árboles, cada árbol individual ignora una pequeña porción aleatoria de los datos de entrenamiento. Esto significa que, para cada pieza de información en el conjunto de datos, hay un grupo de árboles que nunca la vio durante el entrenamiento. Estos árboles pueden entonces ser consultados para predecir esa pieza específica de información, proporcionando una prueba integrada de precisión sin necesidad de dividir los datos ni ejecutar una nueva simulación. Este método, conocido como estimación fuera de la muestra (out-of-bag estimate), ha sido una herramienta estándar durante décadas, ofreciendo una forma rápida y casi gratuita de obtener un único número que represente el error probable del modelo. Sin embargo, durante mucho tiempo, este método solo proporcionó una estimación puntual, dejando a los usuarios sin un sentido claro del rango de incertidumbre que rodea a ese número.

En un artículo publicado a finales de 2021, el investigador Paulo C. Marques F., del Instituto Insper de Educación e Investigación en Brasil, propuso una forma de convertir ese número único en un rango completo de confianza. El objetivo era utilizar los subproductos existentes del proceso de entrenamiento del bosque aleatorio para construir un intervalo de confianza —un rango estadístico que indica dónde es probable que caiga la tasa de error real— sin el pesado costo computacional de dividir los datos o reentrenar modelos. El enfoque del investigador trata los datos de entrenamiento, junto con el registro de qué árboles ignoraron qué puntos de datos y qué predijeron esos árboles, como un paquete completo. Al remuestrear repetidamente este paquete mediante una técnica estadística específica llamada bootstrapping, el método genera una distribución de posibles tasas de error. Esto permite la construcción de un intervalo de confianza que refleja la incertidumbre del desempeño del modelo, todo ello utilizando los mismos datos que entrenaron al modelo en primer lugar.

El artículo demuestra que este método no solo es computacionalmente eficiente, sino también estadísticamente sólido. A través de extensas simulaciones por computadora utilizando tanto tareas de regresión, donde el objetivo es predecir un número continuo, como tareas de clasificación, donde el objetivo es clasificar elementos en categorías, el investigador probó con qué frecuencia estos nuevos intervalos de confianza capturaban realmente la tasa de error real. En un ejemplo de regresión que involucraba una función matemática compleja con diez variables de entrada, y un ejemplo de clasificación que involucraba veinte variables, las simulaciones mostraron que los intervalos funcionaron exactamente como se pretendía. Cuando el investigador solicitaba un nivel de confianza del 95 por ciento, el error real caía dentro del rango calculado aproximadamente el 95 por ciento de las veces a través de miles de ensayos simulados. Además, el ancho de estos intervalos se reducía a un ritmo predecible a medida que aumentaba la cantidad de datos de entrenamiento, confirmando que el método se vuelve más preciso con conjuntos de datos más grandes.

Para demostrar que el método funciona en problemas del mundo real, el estudio aplicó la técnica a cuatro conjuntos de datos distintos. El primero fue una colección clásica de datos sobre la eficiencia de combustible de automóviles, donde el modelo tenía que predecir las millas por galón basadas en las características del vehículo. El segundo involucró un enorme conjunto de datos de correos electrónicos para distinguir entre mensajes legítimos y spam. El tercero fue un registro detallado de las ventas de viviendas en Ames, Iowa, utilizado para predecir los precios de venta, y el cuarto rastreó el comportamiento de los clientes de una empresa de telecomunicaciones para identificar a aquellos propensos a cancelar su servicio. Para cada conjunto de datos, el investigador calculó intervalos de confianza en varios niveles de certeza. Para los datos de vivienda, por ejemplo, el intervalo de confianza del 95 por ciento para el error de predicción oscilaba aproximadamente entre veintitrés mil dólares y veintisiete mil dólares. Para la tarea de detección de spam, el intervalo para la tasa de error fue un rango estrecho entre aproximadamente 4.1 por ciento y 5.4 por ciento. Estos resultados mostraron que el método podía proporcionar límites significativos e interpretables sobre el error para diversas aplicaciones prácticas.

Una ventaja significativa de este enfoque es su velocidad y simplicidad. Debido a que se basa en los datos ya generados durante el entrenamiento inicial del bosque aleatorio, evita la laboriosa necesidad de dividir los datos repetidamente y reentrenar modelos. El investigador probó el tiempo de ejecución del procedimiento en una computadora portátil estándar y encontró que, incluso para el conjunto de datos más grande que contenía más de cuatro mil correos electrónicos, todo el proceso de generar los intervalos de confianza tomó poco más de un segundo. Esta eficiencia hace que el método sea accesible para el uso diario, permitiendo a los científicos de datos cuantificar la fiabilidad de sus modelos con un esfuerzo adicional mínimo. El trabajo también destaca una propiedad única del método: debido a que se basa en la distribución de los errores mismos, puede traducir fácilmente los resultados a las unidades naturales del problema, como dólares para los precios de las casas o millas por galón para los autos, haciendo que la incertidumbre sea fácil de entender para los no expertos.

El artículo concluye señalando que el código para realizar estos cálculos está disponible gratuitamente como una biblioteca de código abierto, lo que permite a otros aplicar la técnica de inmediato. Al convertir los subproductos ocultos de un proceso de entrenamiento estándar en una medida robusta de incertidumbre, este trabajo proporciona un camino directo para comprender los límites de la generalización de un modelo. Confirma que, con las herramientas estadísticas adecuadas, los intervalos de confianza para el desempeño de un bosque aleatorio pueden derivarse directamente de los datos de entrenamiento, ofreciendo una forma confiable y de bajo costo para evaluar qué tan bien se mantendrá un modelo predictivo en el mundo real.