Resumo Técnico: Despacho de Requisições Consciente da Competição em Exchanges de Anúncios em Tempo Real

1. Definição do Problema

As exchanges de anúncios de lances em tempo real (RTB) operam atualmente sob uma prática dominante da indústria de encaminhar quase todas as requisições de impressão elegíveis para as Demand-Side Platforms (DSPs). No entanto, em ambientes de produção, menos de 40% dessas requisições encaminhadas resultam em um lance. Essa "superdistribuição" cria ineficiências significativas:

• Desperdício de Recursos: As DSPs operam sob rigorosas restrições de computação, latência e orçamento. Inundá-las com tráfego de baixo valor dispara o controle de fluxo (throttling) ou a participação seletiva, reduzindo sua capacidade de lances efetiva.
• Resultados de Leilão Degradados: Quando as DSPs limitam a participação devido ao excesso de tráfego de baixo valor, a alocação da capacidade de lances limitada torna-se subótima, reduzendo os resultados monetizados.
• Limitações das Soluções Existentes: As abordagens atuais do lado da exchange (ex: filtragem por taxa de resposta) otimizam para a probabilidade de uma resposta em vez do valor dessa resposta para o leilão. Uma DSP pode responder a uma requisição, mas contribuir pouco com valor competitivo para o preço final do leilão.

O desafio central é otimizar o equilíbrio qualidade–quantidade: determinar quais requisições devem ser encaminhadas para quais DSPs para maximizar a qualidade da participação no leilão e a receita, em vez de simplesmente maximizar o volume bruto de tráfego.

2. Metodologia

Os autores propõem um Framework de Despacho de Requisições Consciente da Competição que integra modelagem de lances distributiva, encaminhamento probabilístico e otimização de limiar adaptativa. O sistema opera sob rigorosas restrições de tempo real (<7ms de latência em CPU) enquanto atende a mais de 20 bilhões de requisições diárias.

2.1 Modelagem Distributiva de Lances

O sistema utiliza um modelo de produção, Bias-LF-DCN (Deep & Cross Network com Late Fusion), para estimar dois sinais para cada par requisição–DSP:

1. Probabilidade de Preenchimento ($p_{fill}$): A probabilidade de uma DSP retornar um lance.
2. Distribuição de Valor do Lance: A distribuição condicional dos valores de lance dado um evento de preenchimento, modelada como uma distribuição Gamma ($\Gamma(\alpha, \beta)$).

Eficiência de Arquitetura: Para reduzir os custos de CPU, o modelo emprega fusão tardia de DSP (late DSP fusion). Os recursos compartilhados da requisição são codificados uma única vez e combinados apenas com recursos específicos de cada DSP antes das torres específicas por tarefa (predição de preenchimento e distribuição de lances). Esta arquitetura reduz o uso de CPU em ~30% em comparação com modelos por DSP, mantendo a qualidade da predição (AUC ~0.96).

2.2 Lógica de Despacho Consciente da Competição

O objetivo do despacho não é maximizar as taxas de resposta, mas sim encaminhar requisições onde uma DSP possui uma alta contribuição marginal esperada para o leilão.

• Valor de Oportunidade ($v_i$): Calculado como $p_{fill} \times E[\text{Valor do Lance}]$.
• Limiar de Competição ($\tau$): Definido com base nos top $K$ valores de oportunidade (incluindo demanda garantida) para um leilão específico.
• Probabilidade de Encaminhamento ($p_{fwd}$): Uma política probabilística determina se uma requisição é enviada para a DSP $i$ com base em:
  • A probabilidade de o lance da DSP exceder o limiar de competição.
  • Um "portão de preenchimento" (fill gate) suave para suprimir o tráfego de baixa resposta.
  • Um piso de exploração ($p_{min}$) para manter a cobertura contrafactual e reduzir o viés de seleção.

2.3 Otimização de Limiar Adaptativa (PPO)

Limiares estáticos são insuficientes devido à dinâmica não estacionária do mercado e ao acoplamento dos comportamentos das DSPs (ex: alterar o limiar de uma DSP altera o contexto competitivo para as outras).

• Mecanismo: O sistema utiliza Otimização de Política Próxima (PPO) para atualizar periodicamente os limiares de despacho por DSP ($\lambda_p, \lambda_f$) offline.
• Estado ($s_t$): Estatísticas agregadas do marketplace (taxas de preenchimento, volume de requisições, distribuições de lances, RPM da DSP, resultados de leilão).
• Ação ($a_t$): Ajustar o conservadorismo dos limiares de competição e a agressividade da filtragem de preenchimento.
• Recompensa ($R_t$): Uma soma ponderada do lance mais alto e da receita da DSP por mil requisições (RPM), equilibrando o valor do leilão com a eficiência da requisição.

3. Principais Contribuições

1. Formulação: O artigo formula o despacho de requisições do lado da exchange como um problema de otimização consciente da competição, mudando o foco de maximizar as taxas de resposta para maximizar a qualidade da participação no leilão.
2. Framework de Produção: Desenvolve um sistema prático que combina modelagem distributiva de lances, despacho probabilístico e otimização de limiar adaptativa baseada em PPO, implantado em uma plataforma que lida com >20 bilhões de requisições diárias com <7ms de latência.
3. Validação Empírica: Experimentos online de larga escala demonstram que o despacho seletivo pode simultaneamente reduzir o volume de tráfego para as DSPs e melhorar os resultados monetizados.
4. Análise Estratificada: Os autores fornecem análises por DSP e por segmento de tráfego mostrando que métricas agregadas podem mascarar heterogeneidades críticas, revelando que a política evidencia vantagens comparativas entre as DSPs.

4. Resultados Experimentais

O framework foi avaliado através de quatro experimentos online sequenciais (E1–E4) em uma plataforma de produção.

4.1 Experimentos de DSP Única (E1–E3)

Visando o estrato de tráfego de RPM Médio, estes experimentos mostraram:

• Redução de Tráfego: O volume de requisições da DSP diminuiu de 34% a 71%.
• Ganhos de Eficiência: As taxas de preenchimento aumentaram significativamente (até +293%) e o RPM da DSP melhorou.
• Receita: A receita líquida aumentou de 15,1% a 24,3% nos ciclos bem-sucedidos, com o lance mais alto aumentando em todos os casos.

4.2 Implantação Multi-DSP (E4)

Uma implantação completa entre as top-N DSPs (cobrindo >80% do tráfego) durante um período de 20 dias (com uma janela de pós-adaptação de 14 dias) resultou em:

• Volume de Requisições: Reduziu as requisições das DSPs em 34,2%.
• Receita: Aumentou a receita líquida em 4,6% (estatisticamente significativo, $p < 0,001$).
• Eficiência: As taxas de preenchimento das DSPs aumentaram 41,8%, e o RPM da DSP subiu 59,0%.
• Métricas de Usuário: Cliques líquidos aumentaram 3,0%, apesar de uma leve diminuição (-1,5%) nas impressões totais, indicando que a política reteve impressões de maior qualidade.

4.3 Insights Estratificados

• Tráfego de Baixo-RPM: Constitui 96,4% das requisições, mas possui uma taxa de realização de impressão baixa (4,9%). A política filtrou agressivamente este tráfego, causando um efeito agregado negativo no "Lance Mais Alto", mas preservando a receita.
• Tráfego de Médio-RPM: Mostrou o maior aumento de receita (+10,5%) e efeitos positivos no lance mais alto, confirmando que é aqui que o despacho cria o maior valor.
• Heterogeneidade das DSPs: Diferentes DSPs exibiram "vantagens comparativas". Algumas refinaram seu mix de requisições (menos requisições, lances mais altos), enquanto outras aumentaram os preços de lance e o eCPC. A política concentrou efetivamente cada DSP no tráfego alinhado com seus modelos e orçamentos específicos.

5. Significância e Alegações

O artigo afirma que a curadoria de tráfego e a qualidade da participação são mais críticas do que maximizar o volume de requisições nos modernos mercados de RTB.

• Mudança de Paradigma: O trabalho desafia a suposição de que "mais tráfego equivale a mais receita". Em vez disso, demonstra que reduzir o tráfego de baixo valor pode aliviar as restrições das DSPs, levando a um melhor comportamento de lances e maior eficiência de leilão.
• Dinâmica de Marketplace: A política não apenas eleva os preços internos; ela remodela o cenário competitivo ao evidenciar as vantagens comparativas entre as DSPs, melhorando a competitividade externa da exchange em toda a cadeia de monetização.
• Limitações: Os autores notam modestamente limitações, incluindo o fato de o PPO operar sobre estatísticas agregadas em vez de leilões individuais, simulações offline que reproduzem apenas parcialmente o comportamento das DSPs, e resultados derivados de um único ambiente de exchange. Eles sugerem que trabalhos futuros foquem em uma identificação causal mais forte dos efeitos de competição entre as DSPs.