What composition selection buys in heterogeneous ensembles, and why oracle bounds overstate it

En el mundo del aprendizaje automático, donde las computadoras aprenden a reconocer patrones y a realizar predicciones, existe una estrategia común llamada aprendizaje de conjunto (ensemble learning). Imagine un equipo de expertos tratando de resolver un rompecabezas difícil. En lugar de confiar en un único especialista, el equipo combina las respuestas de muchos individuos diferentes para alcanzar una conclusión más precisa. Este enfoque funciona porque los errores de una persona suelen ser corregidos por la sabiduría del grupo. A veces, estos equipos están formados por miembros que utilizan el mismo método para pensar, como un grupo de estadísticos. Otras veces, el equipo es mixto, reuniendo a expertos que utilizan herramientas y enfoques completamente distintos. Este tipo de mezcla de diferentes métodos se conoce como un conjunto heterogéneo. La pregunta central para los investigadores ha sido durante mucho tiempo cómo construir de la mejor manera tal un equipo cuando los recursos son limitados. Si tiene un presupuesto para entrenar trescientas modelos de computadora, ¿cuántos debería dedicar al primer tipo de experto, cuántos al segundo y cuántos al tercero? Encontrar el equilibrio perfecto parece una forma lógica de exprimir el rendimiento adicional, y muchos investigadores han pasado años desarrollando algoritmos complejos para buscar esa mezcla ideal.

Un nuevo estudio de Muhammetalp Erdem, de la Universidad de Trabzon, desafía la premisa misma de esta búsqueda. El investigador se propuso probar si el esfuerzo dedicado a la caza de la proporción perfecta de diferentes tipos de modelos realmente produce algún beneficio real. Para ello, construyó un experimento masivo utilizando treinta conjuntos de datos públicos, que iban desde registros médicos hasta datos financieros, y realizó las pruebas diez veces en cada uno para asegurar que los resultados no fueran solo una casualidad. Fijó el número total de modelos de computadora en trescientos y los dividió entre tres familias distintas de algoritmos de aprendizaje: bosques aleatorios (random forests), árboles extremadamente aleatorizados (extremely randomized trees) y vecinos más cercanos con bolsa (bagged nearest neighbors). Estas son herramientas estándar y bien conocidas en el campo. El estudio comparó seis formas diferentes de decidir cómo dividir los trescientos modelos. Algunos métodos utilizaron una regla simple y fija, mientras que otros utilizaron búsquedas sofisticadas para encontrar la mejor combinación basándose en su rendimiento en un conjunto de prueba.

Los resultados fueron claros y sorprendentes. El estudio confirmó que un equipo con una mezcla fija e igual de los tres tipos de modelos funcionaba peor que cualquier método que intentara elegir una mezcla específica. En promedio, el simple hecho de intentar seleccionar una mezcla mejoró la precisión en casi siete décimas de punto porcentual en comparación con una división uniforme y aleatoria. Esto demost 됩니다 que la composición del equipo sí importa. Sin embargo, la búsqueda de la composición perfecta resultó ser un callejón sin salida. Ninguno de los métodos de búsqueda sofisticados, incluidos los que intentaban suavizar los errores o promediar muchas estimaciones diferentes, pudo superar una estrategia mucho más simple: elegir la mejor familia individual y llenar todo el presupuesto con ese único tipo de modelo. De hecho, los métodos de búsqueda más complejos funcionaron estadísticamente igual que el simple hecho de elegir la mejor familia única. Los investigadores descubrieron que el esfuerzo adicional para encontrar una mezcla de diferentes modelos no proporcionaba ninguna ganancia medible en la precisión.

El artículo va más allá para explicar por qué este es el caso, revelando que el potencial percibido de mejora era en gran medida una ilusión creada por la forma en que los investigadores miden el éxito. En muchos estudios, el resultado "posible mejor" se calcula observando todas las combinaciones candidatas y eligiendo la que obtuvo la puntuación más alta en los datos de prueba. Esto se llama a menudo un límite de oráculo (oracle bound), que representa un techo teórico que los métodos del mundo real deberían intentar alcanzar. Erdem demostró que este techo es artificialmente alto. Debido a que las diferentes mezclas de modelos son tan similares entre sí —diferenciándose por solo unos pocos modelos de entre cientos—, sus puntuaciones de rendimiento están altamente correlacionadas y son ruidosas. Cuando se elige la puntuación máxima de un grupo grande de estimaciones ruidosas y similares, es casi seguro que se elegirá un número que es superior al potencial real. El estudio introdujo una forma más honesta de medir este potencial dividiendo los datos de prueba a la mitad: usando una mitad para elegir la mejor mezcla y la otra mitad para ver cómo funciona realmente. Cuando se aplicó esta prueba más justa, el supuesto "margen" de mejora desapareció por completo. La aparente ventaja de encontrar una mezcla perfecta resultó ser puramente un sesgo de selección, un artefacto estadístico en lugar de una oportunidad real.

El estudio también exploró si añadir más diversidad al equipo cambiaría el resultado. Los investigadores añadieron un cuarto tipo de modelo, una familia lineal, para ver si un grupo más variado haría que la búsqueda de una mezcla fuera más provechosa. Incluso con esta diversidad añadida, los resultados se mantuvieron firmes. Aunque los potenciales diferencias entre las mezclas se hicieron ligeramente mayores, los métodos de búsqueda complejos todavía no pudieron superar la estrategia simple de elegir la mejor familia única. De hecho, a medida que el número de posibles mezclas aumentaba, la aparente ventaja de encontrar una mezcla perfecta crecía, pero la ventaja real y honesta seguía siendo negativa. Esto confirmó que el problema no era la falta de diversidad en los modelos, sino la dificultad fundamental de distinguir entre opciones muy similares cuando los datos son ruidosos. El paisaje del rendimiento no es un pico afilado donde una mezcla específica destaca claramente; es una meseta amplia y plana donde muchas mezclas diferentes funcionan casi de forma idéntica, y las pequeñas diferencias entre ellas son fácilmente ahogadas por el ruido aleatorio.

Para cualquiera que esté construyendo estos modelos de computadora, el consejo práctico es directo. No pierda tiempo ni esfuerzo de ingeniería intentando calcular la proporción perfecta de diferentes tipos de modelos. En su lugar, elija la mejor familia de modelos disponible y utilice todo su presupuesto para construir un gran equipo de ese único tipo. La única elección que realmente importa es evitar una mezcla por defecto e igual de todo, que es de forma fiable la peor opción. El estudio sugiere que el campo del aprendizaje de conjunto ha estado persiguiendo un fantasma. La creencia de que una búsqueda compleja de la composición ideal es necesaria se basa en un error de medición que sobrestima las ganancias potenciales. Al utilizar un método de prueba más riguroso, la investigación muestra que la señal de una mejor mezcla es a menudo demasiado débil para ser encontrada por encima del ruido de los datos. El camino más efectivo no es buscar una combinación compleja, sino seleccionar la herramienta más fuerte y utilizarla plenamente.