Uncertainty Quantification of Click and Conversion Estimates for the Autobidding

Este artigo propõe o método DenoiseBid, que utiliza uma abordagem bayesiana para corrigir estimativas ruidosas de CTR e CVR e otimizar a eficiência dos lances em algoritmos de autobidding para plataformas de e-commerce.

O essencial

Imagine que você é um leiloeiro em um mercado gigante, como o da Avito (um grande site de classificados na Rússia). Todos os dias, milhões de pessoas tentam vender seus produtos e milhões de compradores procuram por eles. Para que os anúncios apareçam no lugar certo, o site usa um sistema automático chamado autobidding (lance automático).

Esse sistema precisa decidir, em milissegundos, quanto dinheiro oferecer por cada clique ou venda possível. Para fazer isso, ele depende de dois "oráculos" (modelos de inteligência artificial):

1. CTR (Taxa de Clique): Qual a chance de alguém clicar no anúncio?
2. CVR (Taxa de Conversão): Qual a chance de quem clicar realmente comprar o produto?

O Problema: Os Oráculos estão "tontos"

O problema é que esses oráculos não são perfeitos. Eles fazem previsões baseadas em dados, mas estão cheios de ruído (incerteza). É como tentar adivinhar o tempo de amanhã olhando por uma janela embaçada.

Se o sistema de lances confiar cegamente nessas previsões imperfeitas, ele pode cometer erros caros:

• Apostar demais: Pagar muito por um clique que nunca vai acontecer.
• Apostar de menos: Perder uma oportunidade de venda porque achou que a chance era baixa.
• Estourar o orçamento: Gastar todo o dinheiro do anunciante em coisas que não valem a pena.

A Solução: O "DenoiseBid" (Desembarulhador de Lances)

Os autores do artigo criaram um método chamado DenoiseBid. A ideia central é simples, mas genial: não confie apenas na previsão única; confie na distribuição de possibilidades.

Para explicar de forma criativa, vamos usar uma analogia:

A Analogia do "Chapéu Mágico"

Imagine que o modelo de IA tradicional é como um mágico que tira uma única bola de um chapéu e diz: "Essa é a chance de sucesso!". Se ele errar, você perde.

O DenoiseBid é diferente. Ele olha para o chapéu e percebe que, na verdade, ele contém milhares de bolas de cores e tamanhos diferentes, representando todas as possibilidades reais.

1. Em vez de pegar uma bola aleatória (a previsão barulhenta), o DenoiseBid usa uma fórmula matemática (Bayesiana) para calcular a "média ponderada" de todas as bolas que provavelmente estão lá.
2. Ele "limpa" o ruído. Se o mágico disse que a chance é de 50%, mas o histórico mostra que ele costuma errar muito nesse tipo de situação, o DenoiseBid ajusta essa previsão para algo mais realista, como 45% ou 55%, dependendo do padrão de erro.

Como funciona na prática?

O método faz duas coisas principais:

1. Aprende o Padrão (O "Mapa" do Ruído): Ele analisa dados históricos para entender como o modelo de IA costuma errar. É como um detetive que estuda as falhas de um relojoeiro para saber se ele está adiantando ou atrasando os relógios.
2. Corrige o Lance: Antes de fazer o lance no leilão, ele usa esse "mapa" para transformar a previsão barulhenta em uma expectativa posterior (uma previsão mais limpa e confiável).

O Resultado: O Piloto Automático Confiável

Os autores testaram essa ideia em vários cenários (dados sintéticos e dados reais de grandes empresas). O resultado foi impressionante:

• Sempre dentro do orçamento: Diferente dos métodos antigos que, quando o ruído aumentava, começavam a gastar dinheiro sem controle, o DenoiseBid manteve o custo por clique (CPC) sempre dentro do limite permitido.
• Mais vendas pelo mesmo preço: Enquanto outros métodos ficavam "medrosos" e paravam de fazer lances para não errar (perdendo vendas), o DenoiseBid continuou fazendo lances inteligentes, conseguindo mais conversões (vendas) sem estourar o orçamento.

Resumo em uma frase

O DenoiseBid é como um piloto automático de avião que, em vez de confiar apenas no GPS que está com interferência, cruza essa informação com mapas antigos e sensores de vento para calcular a rota mais segura e eficiente, garantindo que o avião (o orçamento do anunciante) chegue ao destino (vendas) sem gastar combustível demais.

Em suma, o paper mostra que, ao tratar a incerteza das previsões de IA com matemática inteligente (Bayesiana), é possível fazer lances automáticos muito mais eficientes, econômicos e seguros.

Resumo técnico

1. O Problema

As plataformas de e-commerce modernas utilizam mecanismos de leilão automatizados (como o Leilão de Segundo Preço - SPA) para alocar slots de publicidade. Para escalar, elas empregam sistemas de autobidding (lances automáticos) que calculam lances ótimos baseados em estimativas de Taxa de Clique (CTR) e Taxa de Conversão (CVR) geradas por modelos de aprendizado de máquina.

O problema central identificado pelos autores é a incerteza inerente nessas previsões. Como o lance ótimo em um SPA é uma função linear direta do CTR e do CVR, erros de estimativa propagam-se diretamente para o lance final. Isso pode levar a:

• Alocação subótima de orçamento.
• Violação das restrições de custo por clique (CPC) impostas pelo anunciante.
• Redução no volume total de conversões.

A maioria dos métodos existentes trata as previsões como determinísticas ou utiliza abordagens de otimização robusta que não aproveitam totalmente as estimativas de incerteza específicas de cada previsão (per-prediction uncertainty).

2. Metodologia: DenoiseBid

Os autores propõem o DenoiseBid, um método de autobidding baseado em Bayesianismo que substitui as estimativas ruidosas de CTR e CVR por suas esperanças a posteriori (condicionadas às observações ruidosas e a uma distribuição a priori recuperada).

A abordagem segue os seguintes passos técnicos:

• Formulação Estocástica: O problema de otimização determinístico é reformulado para maximizar a expectativa condicional das conversões reais, dado o ruído observado.
• Espaço Logit: Para lidar com a natureza probabilística (valores entre 0 e 1), o método opera no espaço logit ($\xi = \ln(\frac{p}{1-p})$), assumindo que o ruído é aditivo e segue uma distribuição Gaussiana nesse espaço.
• Recuperação da Distribuição A Priori: Como a distribuição real dos valores verdadeiros (CTR/CVR) é desconhecida e complexa (multimodal), o método utiliza a técnica Extreme Deconvolution (XDGMM). Isso permite estimar os parâmetros de uma Mistura Gaussiana (Gaussian Mixture) que representa a distribuição a priori dos dados, mesmo a partir de amostras ruidosas.
• Cálculo do Lance Ótimo:
  • O lance é derivado como uma função fechada (closed-form) baseada nas expectativas a posteriori.
  • Para o caso de incerteza apenas no CTR, a expectativa é calculada analiticamente usando aproximações de probit.
  • Para o caso de incerteza conjunta (CTR e CVR), o método modela a distribuição conjunta como uma Mistura Gaussiana bivariada e utiliza quadratura Gauss-Hermite para calcular a expectativa do produto das probabilidades, mantendo a eficiência computacional necessária para leilões em tempo real.

3. Principais Contribuições

1. Formulação Teórica: Estabelecimento formal do problema de autobidding sob valores ruidosos de CTR/CVR e derivação de uma regra de lance fechada baseada em expectativas a posteriori bayesianas.
2. Método DenoiseBid: Desenvolvimento de um pipeline prático que recupera a distribuição a priori a partir de observações ruidosas (usando XDGMM) e calcula lances "desruídos" (denoised) de forma eficiente.
3. Validação Empírica Abrangente: Experimentos extensivos em quatro conjuntos de dados (Synthetic, iPinYou, BAT e Criteo Attribution) sob dois regimes de ruído:
   • Ruído Sintético: Adicionado artificialmente para verificar a consistência matemática.
   • Ruído Empírico: Extraído de modelos reais (usando Virtual Ensembles do CatBoost para estimar a incerteza do conhecimento).

4. Resultados Experimentais

Os experimentos compararam o DenoiseBid contra duas linhas de base:

• Non-robust (Não Robusto): O método padrão que ignora a incerteza.
• RobustBid: Um método de otimização robusta baseado em conjuntos de incerteza.

Desempenho Chave:

• Estabilidade sob Ruído: O método não robusto falha rapidamente à medida que o ruído aumenta, violando as restrições de CPC e reduzindo a eficiência. O RobustBid mantém a conformidade com o CPC, mas sacrifica significativamente o volume de conversões (reduzindo a razão $R/R^*$).
• Equilíbrio Ótimo: O DenoiseBid demonstrou o melhor equilíbrio, mantendo um volume de conversões próximo ao ótimo teórico enquanto aderia estritamente às restrições de custo (CPC), superando consistentemente as outras abordagens em todos os níveis de ruído.
• Cenários Reais: No conjunto de dados Criteo (com ruído empírico), o DenoiseBid (especificamente a configuração com Mistura Gaussiana no espaço logit) mostrou ganhos estatisticamente significativos na redução do desvio de custo e aumentos nas conversões, especialmente em cenários de alta incerteza (ex: remoção de features ou redução do tamanho dos dados de treinamento).

5. Significado e Conclusão

O trabalho é significativo porque preenche a lacuna entre a previsão de modelos de ML e a tomada de decisão em leilões. Ao tratar a incerteza não apenas como um ruído a ser mitigado, mas como uma informação probabilística para ser integrada via inferência bayesiana, o DenoiseBid oferece uma solução que é:

• Model-free: Funciona com qualquer modelo de previsão (GBDT, Deep Learning, etc.).
• Eficiente: Mantém uma regra de lance em forma fechada, permitindo execução em tempo real.
• Robusta: Adapta-se dinamicamente à qualidade das previsões, protegendo o orçamento do anunciante sem sacrificar excessivamente o desempenho.

Os autores concluem que a incorporação explícita da quantificação de incerteza é crucial para a eficácia de sistemas de autobidding em escala, e o DenoiseBid representa um avanço prático e teoricamente fundamentado nessa direção.