🤖 machine learning

Click prediction boosting via Bayesian hyperparameter optimization based ensemble learning pipelines

Este artigo propõe um pipeline de aprendizado de conjunto baseado em otimização bayesiana de hiperparâmetros que combina eliminação de características com modelos empilhados para melhorar a precisão da previsão de cliques em hotéis para agências de viagens online em aproximadamente 10%.

Autores originais: Çağatay Demirel, A. Aylin Tokuç, Ahmet Tezcan Tekin

Publicado 2026-07-28

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Çağatay Demirel, A. Aylin Tokuç, Ahmet Tezcan Tekin

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine a internet como um gigantesco e movimentado mercado digital onde milhões de pessoas vagam à procura do lugar perfeito para dormir. Antes de reservarem um quarto, elas costumam saltar para sites de "metapesquisa" — pense nestes como enormes lojas de comparação, como o Kayak ou o TripAdvisor — onde podem ver preços e avaliações de dezenas de agências de viagens diferentes ao mesmo tempo. Para serem notadas neste mercado lotado, as agências de viagens pagam por anúncios. Mas aqui está a parte complicada: elas geralmente pagam apenas quando alguém realmente clica no seu anúncio. Se errarem o cálculo do preço, podem gastar uma fortuna em cliques que nunca acontecem ou, pior, podem oferecer um lance muito baixo e perder milhares de clientes potenciais. Assim, a grande questão para estas agências é: "Se definirmos o nosso preço neste número específico, quantas pessoas clicarão realmente?"

Para responder a isto, os cientistas utilizam um ramo da ciência da computação chamado aprendizagem de máquina (machine learning), que é basicamente ensinar computadores a encontrar padrões em dados em vez de apenas seguir regras rígidas. Um método popular é a "aprendizagem de conjunto" (ensemble learning), que é como formar uma super-equipa de detetives. Em vez de confiar apenas num detetive que pode perder uma pista, reúne-se um esquadrão inteiro, deixa que cada um investigue o caso e depois combina as suas teorias para obter uma resposta muito mais precisa. Este artigo mergulha nesse mundo, tentando construir a equipa definitiva de algoritmos para prever cliques de hotéis para agências de viagens online.

Os autores deste estudo propuseram-se a resolver o enigma da previsão de cliques utilizando um enorme conjunto de dados de uma grande agência de viagens online na Turquia. Eles não se limitaram a lançar um único algoritmo contra o problema; em vez disso, construíram um pipeline sofisticado para criar uma "equipa dos sonhos" de preditores. Primeiro, limparam os dados desorganizados, preenchendo lacunas e adicionando contexto útil, como relatórios meteorológicos e a proximidade de um feriado. Depois, utilizaram um processo de filtragem inteligente (baseado numa ferramenta chamada XGBoost) para descartar a informação ruidosa e pouco útil, deixando apenas as pistas mais importantes.

Em seguida, treinaram dez tipos diferentes de modelos matemáticos, que variam desde sistemas complexos baseados em árvores até equações lineares mais simples. Mas a verdadeira magia aconteceu quando os combinaram. Eles testaram quatro formas diferentes de misturar estes modelos: simplesmente fazendo a média das suas respostas, dando mais peso aos modelos mais inteligentes e duas técnicas avançadas chamadas "stacking" e "blending". O stacking é como ter uma primeira equipa de detetives a escrever um relatório, e depois uma segunda equipa de seniores a ler esses relatórios para dar o veredito final. O blending é semelhante, mas a equipa de seniores também tem acesso às pistas originais enquanto lê os relatórios.

Os resultados foram bastante claros. Embora os modelos individuais fossem decentes, o esforço de equipa foi significativamente melhor. O artigo sugere que a melhor abordagem foi o modelo de "stack ensemble", especificamente quando a equipa de seniores utilizou ferramentas simples, como a regressão linear, para interpretar os relatórios da primeira equipa. Este modelo de melhor desempenho alcançou uma pontuação (chamada R² de 0,639) que foi cerca de 10% superior ao melhor modelo individual isolado. Os autores descobriram que os modelos mais simples funcionaram melhor como os "juízes finais", porque o trabalho pesado já tinha sido feito pela primeira camada de modelos. Eles também notaram que modelos mais complexos não tornavam necessariamente a decisão final melhor; de facto, por vezes, tornavam as coisas piores.

No final, o estudo sugere que, ao selecionar cuidadosamente as características, ajustar as configurações dos algoritmos e combinar múltiplos modelos de forma inteligente, as agências de viagens online podem obter uma imagem muito mais clara de quantos cliques os seus anúncios gerarão. Os autores propõem que este método é uma direção promissora para a indústria, embora admitam que ainda há espaço para crescer. Eles sugerem que, no futuro, poderão tentar adicionar ainda mais tipos de modelos, como redes neuronais artificiais ou ferramentas especializadas para lidar com categorias, para ver se conseguem extrair ainda mais precisão. Por agora, no entanto, a evidção aponta para uma verdade simples: no mundo da previsão de cliques, uma equipa bem coordenada de pensadores diversos vence um génio solitário todas as vezes.

Resumo Técnico: Impulsionamento de Predição de Cliques via Otimização Bayesiana de Hiperparâmetros em Pipelines de Aprendizado de Conjunto (Ensemble Learning)

Definição do Problema
O artigo aborda o desafio de prever o número de cliques que um hotel receberá para um determinado valor de lance (bid) em mecanismos de busca de meta-pesquisa (meta-search). Essa predição é crítica para Agências de Viagens Online (OTAs) que gerenciam campanhas de publicidade de Custo por Clique (CPC), uma vez que o produto entre o valor do lance e o número de cliques previsto define o custo total da campanha. O problema é caracterizado pela alta variância nos dados diários, pela presença de fatores externos (sazonalidade, eventos, localização) e pela necessidade de modelar relações não lineares entre as características (features) e o volume de cliques.

Metodologia
O sistema proposto segue um pipeline de cinco componentes envolvendo recuperação de dados, pré-processamento, seleção de características, otimização de hiperparâmetros e modelagem de conjunto (ensemble).

Pré-processamento de Dados e Engenharia de Características:
- Fontes de Dados: O conjunto de dados combina relatórios diários de uma plataforma de meta-pesquisa com dados de uma grande OTA turca. Características externas, como clima diário, taxas de câmbio e proximidade de feriados, são integradas para capturar contextos econômicos e sazonais.
- Limpeza: Valores ausentes em colunas categóricas e numéricas são imputados com a moda e a média, respectivamente.
- Geração de Características: Uma abordagem de janela deslizante (atraso temporal/time-delay) calcula agregados estatísticos (média, desvio padrão) sobre períodos de 3, 7 e 30 dias. As características de séries temporais passam por decomposição sazonal (Tendência, Sazonalidade, Resíduo) para criar componentes aditivos.
- Codificação e Escalonamento: Características baseadas em strings são codificadas via one-hot encoding ou binarizadas, e todas as características são normalizadas usando o escalonamento min-max.
Seleção de Características:
- Os autores utilizam um algoritmo de eliminação recursiva de características baseado em XGBoost. Este processo classifica as características por importância e remove iterativamente as menos significativas. A eliminação para quando o escore $R^2$ de um subespaço de características reduzido não excede o escore da iteração anterior, reduzindo efetivamente a dimensionalidade enquanto retém o poder preditivo.
Otimização de Hiperparâmetros:
- A Otimização Bayesiana de Hiperparâmetros é aplicada para ajustar os modelos XGBoost, LightGBM e Stochastic Gradient Descent (SGD). Esta abordagem probabilística é escolhida em vez de Grid Search ou Random Search para localizar eficientemente ótimos globais para funções não convexas em menos épocas. A métrica de otimização é o escore $R^2$ .
Estratégias de Aprendizado de Conjunto (Ensemble Learning):
- O estudo avalia dez regressores base: XGBoost, LightGBM, SGD, Lasso, Lasso Lars, Ridge, Bayesian Ridge, Huber, Passive Aggressive Regressors e Elastic Net.
- Média Simples: Dois métodos são testados: uma média simples das predições e uma média ponderada, onde os pesos são derivados dos escores $R^2$ individuais dos modelos base.
- Stacking (Empilhamento): As predições dos dez modelos base formam um conjunto de dados intermediário. Este conjunto de dados é alimentado em quatro meta-regressores (XGBoost, Lasso, Bayesian Ridge e Regressão Linear) para gerar as predições finais.
- Blending (Mistura): Semelhante ao stacking, mas as predições intermediárias são concatenadas com o conjunto de características original, dimensionalmente reduzido, antes de serem alimentadas nos mesmos quatro meta-regressores. Esta abordagem cria efetivamente características artificiais para expandir a dimensão das características.

Principais Contribuições

Integração de Pipeline: O artigo apresenta um pipeline abrangente que integra engenharia de características com atraso temporal, redução de dimensionalidade baseada em XGBoost e otimização bayesiana especificamente para a predição de cliques de hotéis.
Análise Comparativa de Ensemble: Compara sistematicamente quatro distintas estratégias de ensemble (média simples, média ponderada, stacking e blending) através de 46 combinações de modelos.
Seleção de Meta-Aprendiz: O estudo investiga a eficácia de diferentes meta-aprendizes, descobrindo que modelos lineares simples frequentemente superam modelos complexos baseados em árvores quando usados como a camada final em uma arquitetura de stacking.

Resultados

Modelos Individuais: Dez regressores base foram testados individualmente. O melhor modelo único foi a Regressão Ridge, com um escore $R^2$ de 0,579. O pior desempenho foi do Elastic Net, com um $R^2$ negativo de -0,012.
Desempenho de Ensemble: Todos os métodos de ensemble superaram os modelos individuais.
- Os modelos de melhor desempenho foram três variantes de Stack Ensemble (usando Regressão Linear, Lasso e Bayesian Ridge como meta-aprendizes), todos alcançando um escore $R^2$ de 0,639.
- Modelos de Blend Ensemble com Lasso e Bayesian Ridge seguiram de perto com um $R^2$ de 0,638.
- A abordagem de Média Ponderada ficou em terceiro lugar com um $R^2$ de 0,597.
- Outras combinações, como stacking com XGBoost ou blending com LightGBM, apresentaram desempenho no nível de modelos isolados.
Ganho de Desempenho: Os autores concluem que o melhor modelo de ensemble melhora o desempenho da predição em aproximadamente 10% em comparação ao melhor modelo de aprendizado de máquina individual.

Significância e Alegações
O artigo afirma que pipelines de aprendizado de conjunto, especificamente aqueles que utilizam stacking com meta-aprendizes lineares simples, aumentam significativamente a precisão das predições de cliques de hotéis em comparação com regressores isolados. Os autores atribuem esse sucesso à capacidade dos métodos de ensemble de reduzir a variância e aproveitar as forças complementares de algoritmos diversos. Eles observam que o regressor de "nível-1" (meta-aprendiz) atua primariamente como um mediador, sugerindo que algoritmos simples são frequentemente suficientes para este papel quando os aprendizes de "nível-0" já capturaram os padrões complexos. O estudo enfatiza que, embora o conhecimento de domínio e a engenharia de características sejam essenciais, a combinação estrutural de modelos via stacking oferece uma direção robusta para melhorar a predição de CTR e volume de cliques em ambientes de meta-pesquisa.

Mais como este