🤖 machine learning

Click prediction boosting via Bayesian hyperparameter optimization based ensemble learning pipelines

Este artículo propone un flujo de trabajo de aprendizaje de conjunto basado en la optimización bayesiana de hiperparámetros que combina la eliminación de características con modelos apilados para mejorar la precisión de la predicción de clics en hoteles para agencias de viajes en línea en aproximadamente un 10%.

Autores originales: Çağatay Demirel, A. Aylin Tokuç, Ahmet Tezcan Tekin

Publicado 2026-07-28

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Çağatay Demirel, A. Aylin Tokuç, Ahmet Tezcan Tekin

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina el internet como un mercado digital gigante y bullicioso donde millones de personas deambulan buscando el lugar perfecto para dormir. Antes de reservar una habitación, a menudo saltan a sitios de "metabúsqueda"—piensa en ellos como enormes tiendas de comparación como Kayak o TripAdvisor—donde pueden ver precios y reseñas de docenas de diferentes agencias de viajes a la vez. Para hacerse notar en este mercado congestionado, las agencias de viajes pagan por anuncios. Pero aquí está la parte complicada: generalmente pagan solo cuando alguien realmente hace clic en su anuncio. Si calculan mal el precio, podrían gastar una fortuna en clics que nunca ocurren o, peor aún, podrían ofertar demasiado bajo y perderse miles de clientes potenciales. Por lo tanto, la gran pregunta para estas agencias es: "Si fijamos nuestro precio en este número específico, ¿cuántas personas harán realmente clic?".

Para responder a esto, los científicos utilizan una rama de la informática llamada aprendizaje automático (machine learning), que es básicamente enseñar a las computadoras a encontrar patrones en los datos en lugar de simplemente seguir reglas rígidas. Un método popular es el "aprendizaje de conjunto" (ensemble learning), que es como formar un superequipo de detectives. En lugar de confiar en un solo detective que podría pasar por alto una pista, reúnes a todo un escuadrón, dejas que cada uno investigue el caso y luego combinas sus teorías para obtener una respuesta mucho más precisa. Este artículo se sumerge en ese mundo, intentando construir el equipo definitivo de algoritmos para predecir clics en hoteles para las agencias de viajes en línea.

Los autores de este estudio se propusieron resolver el rompecabezas de la predicción de clics utilizando un conjunto de datos masivo de una importante agencia de viajes en línea en Turquía. No se limitaron a lanzar un solo algoritmo al problema; en su lugar, construyeron un sofisticado flujo de trabajo para crear un "equipo de ensueño" de predictores. Primero, limpiaron los datos desordenados, llenando los huecos faltantes y añadiendo contexto útil como informes meteorológicos y qué tan cerca estaba un día de un día festivo. Luego, utilizaron un proceso de filtrado inteligente (basado en una herramienta llamada XGBoost) para desechar la información ruidosa y poco útil, dejando solo las pistas más importantes.

A continuación, entrenaron diez tipos diferentes de modelos matemáticos, que van desde complejos sistemas basados en árboles hasta ecuaciones lineales más simples. Pero la verdadera magia ocurrió cuando los combinaron. Probaron cuatro formas diferentes de mezclar estos modelos: simplemente promediando sus respuestas, dando más peso a los modelos más inteligentes, y dos técnicas avanzadas llamadas "stacking" (apilamiento) y "blending" (mezcla). El stacking es como tener al primer equipo de detectives escribiendo un informe, y luego un segundo equipo de nivel superior lee esos informes para dictar el veredicto final. El blending es similar, pero el equipo de nivel superior también puede mirar las pistas originales de nuevo mientras lee los informes.

Los resultados fueron bastante claros. Mientras que los modelos individuales eran decentes, el esfuerzo de equipo fue significativamente mejor. El artículo sugiere que el mejor enfoque fue el modelo de "stack ensemble", específicamente cuando el equipo de nivel superior utilizó herramientas simples como la regresión lineal para interpretar los informes del primer equipo. Este modelo de alto rendimiento logró una puntuación (llamada un R² de 0.639) que fue aproximadamente un 10% mejor que el mejor modelo individual por sí solo. Los autores encontraron que los modelos más simples funcionaban mejor como los "jueces finales" porque el trabajo pesado ya había sido realizado por la primera capa de modelos. También observaron que los modelos más complejos no necesariamente hacían que la decisión final fuera mejor; de hecho, a veces empeoraban las cosas.

Al final, el estudio sugiere que al seleccionar cuidadosamente las características, ajustar las configuraciones de los algoritmos y combinar múltiples modelos de una manera inteligente, las agencias de viajes en línea pueden obtener una imagen mucho más clara de cuántos clics generarán sus anuncios. Los autores proponen que este método es una dirección prometedora para la industria, aunque admiten que todavía hay margen para crecer. Insinúan que en el futuro podrían intentar añadir más tipos de modelos, como redes neuronales artificiales o herramientas especializadas para el manejo de categorías, para ver si pueden extraer incluso más precisión. Por ahora, sin embargo, la evidencia apunta a una verdad simple: en el mundo de la predicción de clics, un equipo bien coordinado de pensadores diversos vence a un genio solitario siempre.

Resumen Técnico: Mejora de la Predicción de Clics mediante el Aprendizaje de Conjuntos Basado en la Optimización Bayesiana de Hiperparámetros

Planteamiento del Problema
El artículo aborda el desafío de predecir el número de clics que recibirá un hotel para una puja específica en los motores de búsqueda de meta-búsqueda. Esta predicción es crítica para las Agencias de Viajes en Línea (OTA) que gestionan campañas de publicidad de Coste por Clic (CPC), ya que el producto del importe de la puja y el número de clics predicho define el coste total de la campaña. El problema se caracteriza por una alta varianza en los datos diarios, la presencia de factores externos (estacionalidad, eventos, ubicación) y la necesidad de modelar relaciones no lineales entre las características y el volumen de clics.

Metodología
El sistema propuesto sigue un pipeline de cinco componentes que involucra la recuperación de datos, el preprocesamiento, la selección de características, la optimización de hiperparámetros y el modelado de conjuntos (ensemble).

Preprocesamiento de Datos e Ingeniería de Características:
- Fuentes de Datos: El conjunto de datos combina informes diarios de una plataforma de meta-búsqueda con datos de una importante OTA turca. Se integran características externas, como el clima diario, los tipos de cambio y la proximidad a días festivos, para capturar contextos económicos y estacionales.
- Limpieza: Los valores faltantes en columnas categóricas y numéricas se imputan con la moda y la media, respectivamente.
- Generación de Características: Un enfoque de ventana deslizante (retraso temporal) calcula agregados estadísticos (media, desviación estándar) en periodos de 3, 7 y 30 días. Las características de series temporales se someten a una descomposición estacional (Tendencia, Estacionalidad, Residuo) para crear componentes aditivos.
- Codificación y Escalamiento: Las características basadas en cadenas de texto se codifican mediante one-hot encoding o binarización, y todas las características se normalizan utilizando el escalamiento min-max.
Selección de Características:
- Los autores emplean un algoritmo de eliminación recursiva de características basado en XGBoost. Este proceso clasifica las características por importancia y elimina iterativamente las menos significativas. La eliminación se detiene cuando el coeficiente de determinación ( $R^2$ ) de un subespacio de características reducido ya no supera la puntuación de la iteración anterior, reduciendo eficazmente la dimensionalidad mientras se retiene el poder predictivo.
Optimización de Hiperparámetros:
- Se aplica la Optimización Bayesiana de Hiperparámetros para ajustar los modelos XGBoost, LightGBM y el Descenso de Gradiente Estocástico (SGD). Este enfoque probabilístico se elige sobre la Búsqueda de Cuadrícula (Grid Search) o la Búsqueda Aleatoria (Random Search) para localizar eficientemente los óptimos globales para funciones no convexas en menos épocas. La métrica de optimización es el coeficiente $R^2$ .
Estrategias de Aprendizaje de Conjuntos (Ensemble Learning):
- El estudio evalúa diez regresores base: XGBoost, LightGBM, SGD, Lasso, Lasso Lars, Ridge, Bayesian Ridge, Huber, Regresores Pasivo-Agresivos y Elastic Net.
- Promedio Simple: Se prueban dos métodos: una media simple de las predicciones y un promedio ponderado, donde los pesos se derivan de los coeficientes $R^2$ individuales de los modelos base.
- Stacking (Apilamiento): Las predicciones de los diez modelos base forman un conjunto de datos intermedio. Este conjunto de datos se introduce en cuatro meta-regresores (XGBoost, Lasso, Bayesian Ridge y Regresión Lineal) para generar las predicciones finales.
- Blending (Mezcla): Similar al stacking, pero las predicciones intermedias se concatenan con el conjunto de características original, de dimensión reducida, antes de ser introducidas en los mismos cuatro meta-regresores. Este enfoque crea eficazmente características artificiales para expandir la dimensión de las características.

Contribuciones Clave

Integración de Pipeline: El artículo presenta un pipeline integral que integra ingeniería de características con retraso temporal, reducción de dimensionalidad basada en XGBoost y optimización bayesiana específicamente para la predicción de clics en hoteles.
Análisis Comparativo de Conjuntos: Compara sistemáticamente cuatro estrategias de conjunto distintas (promedio simple, promedio ponderado, stacking y blending) a través de 46 combinaciones de modelos.
Selección del Meta-Aprendiz: El estudio investiga la eficacia de diferentes meta-aprendices, encontrando que los modelos lineales más simples suelen superar a los modelos basados en árboles complejos cuando se utilizan como la capa final en una arquitectura de stacking.

Resultados

Modelos Individuales: Se probaron diez regresores base individualmente. El mejor modelo individual fue la Regresión Ridge con un $R^2$ de 0.579. El peor desempeño fue de Elastic Net con un $R^2$ negativo de -0.012.
Desempeño de los Conjuntos (Ensembles): Todos los métodos de conjunto superaron a los modelos individuales.
- Los modelos con mejor desempeño fueron tres variantes de Stack Ensemble (usando Regresión Lineal, Lasso y Bayesian Ridge como meta-aprendices), todos alcanzando un $R^2$ de 0.639.
- Los modelos Blend Ensemble con Lasso y Bayesian Ridge le siguieron de cerca con un $R^2$ de 0.638.
- El enfoque de Promedio Ponderado ocupó el tercer lugar con un $R^2$ de 0.597.
- Otras combinaciones, como el stacking con XGBoost o el blending con LightGBM, se situaron al nivel de los modelos aislados.
Ganancia de Desempeño: Los autores concluyen que el mejor modelo de conjunto mejora el desempeño de la predicción en aproximadamente un 10% en comparación con el mejor modelo de aprendizaje automático individual.

Significancia y Reivindicaciones
El artículo afirma que los pipelines de aprendizaje de conjuntos, específicamente aquellos que utilizan stacking con meta-aprendices lineales simples, mejoran significamente la precisión de las predicciones de clics de hoteles en comparación con los regresores independientes. Los autores atribuyen este éxito a la capacidad de los métodos de conjunto para reducir la varianza y aprovechar las fortalezas complementarias de diversos algoritmos. Señalan que el regresor de "nivel-1" (meta-aprendiz) actúa principalmente como un mediador, lo que sugiere que los algoritmos simples son a menudo suficientes para este rol cuando los aprendices de "nivel-0" ya han capturado los patrones complejos. El estudio enfatiza que, si bien el conocimiento del dominio y la ingeniería de características son esenciales, la combinación estructural de modelos mediante stacking ofrece una dirección robusta para mejorar la predicción del CTR y el volumen de clics en entornos de meta-búsqueda.

Más como este