Resumo Técnico: HOBA – Agentes de Lances Hierárquicos On-Policy para Publicidade Online Adaptativa

1. Definição do Problema

Sistemas de lances de publicidade online operam em mercados de leilão não estacionários, onde as estratégias dos concorrentes, os comportamentos dos usuários e a dinâmica das plataformas evoluem continuamente. As práticas atuais da indústria dependem de modelos especialistas treinados offline (ex: controladores PID, Controle Preditivo Baseado em Modelo e políticas de Aprendizado por Reforço offline), mas enfrentam duas limitações críticas:

1. Falta de Adaptabilidade Online: Os parâmetros do especialista permanecem fixos após a implantação, impedindo a resposta a mudanças de mercado sem o custo de um novo treinamento.
2. Ajuste Manual de Hiperparâmetros: Os sistemas exigem um ajuste trabalhoso e específico para cada campanha de limites de lances, taxas de ritmo de orçamento (pacing) e coeficientes de exploração.

Viabilizar o aprendizado online seguro é desafiador. Métodos on-policy (ex: PPO, A3C) correm o risco de uma exploração catastrófica que pode esgotar orçamentos rapidamente, enquanto métodos off-policy sofrem com colapso de ação e mudança de distribuição quando implantados em ambientes diferentes dos seus dados de treinamento. Além disso, abordagens existentes frequentemente confundem o planejamento estratégico com a execução tática, carecendo de interpretabilidade.

2. Metodologia: Estrutura HOBA

Os autores propõem o HOBA (Hierarchical On-Policy Bidding Agents), uma estrutura que decompõe o problema de lances em três níveis hierárquicos que operam em escalas de tempo distintas. Este design confina o aprendizado online à seleção discreta de especialistas em vez da otimização contínua de lances, reduzindo significativamente o risco de exploração, mantendo a adaptabilidade.

2.1 Camada de Alto Nível: Raciocínio Estratégico (Ciclo Horário)

• Agente: Um agente de Grande Modelo de Linguagem (LLM).
• Função: Infere hiperparâmetros ótimos ($\theta_t$) a partir do contexto da campanha via um loop Pensar-Agir-Observar-Refletir.
• Mecanismo:
  • Pensar: O LLM recupera experiências históricas semelhantes de um banco de memória usando similaridade semântica e realiza raciocínio estruturado para identificar as causas raízes de desvios de desempenho.
  • Agir: Gera hiperparâmetros incluindo limites de lance, modos de resposta (conservador/agressivo), alvos de controle (CPA, taxa de ritmo) e bônus de exploração.
  • Observar & Refletir: Após uma janela de execução de uma hora, o sistema agrega observações, computa desvios das previsões e o LLM avalia a qualidade da decisão para gerar lições estruturadas para recuperação futura.
• Segurança: As saídas são estritamente limitadas a intervalos seguros predefinidos, e a imposição de esquema JSON garante saídas válidas.

2.2 Camada de Nível Médio: Seleção Tática (Ciclo de 2 Minutos)

• Agente: Um agente SARSA (State-Action-Reward-State-Action).
• Função: Seleciona dinamicamente o melhor modelo especialista de um conjunto de especialistas pré-validados com base no contexto atual do mercado.
• Ajuste Causal: Para abordar o viés de confusão em dados históricos (onde especialistas foram preferencialmente selecionados em contextos favoráveis), o agente utiliza um Estimador Duplamente Robusto. Este combina um modelo de resultado (XGBoost) e um modelo de propensão (Regressão Logística) para estimar o efeito causal da seleção de um especialista específico, garantindo que o processo de Q-learning não herde correlações espúrias.
• Exploração: Utiliza exploração de Limite Superior de Confiança (UCB) modulada pelo bônus de exploração do LLM de alto nível.

2.3 Camada de Nível Baixo: Execução Operacional (Por Leilão)

• Componentes: Um pool dinâmico de especialistas contendo modelos treinados offline:
  • PID: Para correção rápida de erros.
  • MPC: Para planejamento de orçamento explícito sobre um horizonte futuro.
  • Modelos de RL Offline: CQL (Conservative Q-Learning), IQL (Implicit Q-Learning) e DT (Decision Transformer) para aprender a partir de dados registrados.
• Função: Executa lances por leilão sob restrições impostas pela camada de alto nível.
• Mecanismo de Segurança: Os lances estão sujeitos a dupla limitação: primeiro contra limites estratégicos (do LLM) e segundo contra limites de volatilidade (ex: $\pm 20\%$ do lance anterior). Isso garante que todos os lances satisfaçam as restrições de orçamento e custo por aquisição (CPA), independentemente do comportamento do especialista selecionado.
• Adaptação: O pool expande-se dinamicamente com variantes ajustadas dos especialistas de melhor desempenho e descarta os de baixo desempenho, embora o aprendizado online principal permaneça na camada de seleção.

3. Principais Contribuições

1. Estrutura de Multi-Agentes Hierárquica: O primeiro framework que desacopla o raciocínio estratégico, a seleção de especialistas e a execução de lances através de escalas de tempo (horária, minutos, por leilão), tratando cada camada como um agente autônomo dentro de uma restrição de receita compartilhada.
2. Adaptação Online Segura: Introduz a otimização de hiperparâmetros guiada por LLM com raciocínio em linguagem natural e seleção de especialistas on-policy com ajuste causal. Esta abordagem alcança segurança ao restringir o aprendizado online à seleção discreta de modelos (5–10 modelos validados) em vez da otimização contínua de lances.
3. Debiasing Causal: Incorpora o ajuste causal duplamente robusto no agente de nível médio para eliminar o viés de seleção de dados históricos, garantindo uma seleção de especialistas robusta em mercados não estacionários.
4. Validação Empírica: Demonstra viabilidade prática através de testes A/B em larga escala, alcançando melhorias significativas de valor de negócio.

4. Resultados Experimentais

O framework foi avaliado no benchmark AuctionNet e via um teste A/B online em larga escala em uma grande plataforma de publicidade.

4.1 Benchmarks Offline (AuctionNet)

• Desempenho: O HOBA superou consistentemente as linhas de base de estado da arte (incluindo PID, MPC, BCQ, CQL, IQL, DT e HRL-Bid) tanto em configurações padrão quanto esparsas.
• Melhorias: Alcançou melhorias de pontuação variando de +3,0% (padrão, 50% de orçamento) a +12,1% (esparso, 100% de orçamento).
• Estudos de Ablação:
  • Remover a seleção de especialistas baseada em SARSA causou a maior queda de desempenho (-10,7%), confirmando que nenhum especialista único domina todas as condições de mercado.
  • Remover o LLM de alto nível degradou o desempenho em 7,1%, destacando o valor da inferência de hiperparâmetros adaptativa.
  • Substituir SARSA por DQN off-policy resultou em uma perda de 6,4% e aumentou a instabilidade de alternância, validando a estabilidade do aprendizado on-policy em ambientes não estacionários.
  • Remover o ajuste causal levou a uma perda de 4,9%, demonstrando a necessidade de debiasing de dados históricos.

4.2 Teste A/B Online

Implantado em mais de 100.000 campanhas com um rollout faseado (5% $\to$ 20% $\to$ 100% de tráfego), o HOBA demonstrou:

• Alcance do Custo Alvo: Melhoria de +3,6% (90,0% $\to$ 93,2%), indicando melhor adesão aos alvos de CPA dos anunciantes.
• Valor de Conversão: Aumento de +8,1% ($1,50M de valor adicional em 7 dias).
• ROI: Melhoria de +3,3% (2,15 $\to$ 2,22).
• Conclusão de Orçamento: Melhoria de +3,8% (94,2% $\to$ 97,8%), reduzindo o desperdício de subgasto.
• Satisfação do Anunciante: Aumento de 7,6%.
• Eficiência: O sistema manteve a latência P99 de 38ms (bem dentro do requisito de 100ms) e reduziu os custos operacionais em 96% em comparação com o ajuste manual de hiperparâmetros.

5. Significância e Alegações

O artigo afirma que o HOBA aborda com sucesso o fundamental tradeoff entre segurança e adaptabilidade na publicidade online. Ao decompor o problema em uma estrutura hierárquica, o sistema restringe o aprendizado online a decisões discretas e seguras (selecionar um especialista) em vez de otimização contínua arriscada (gerar um lance).

Os autores enfatem que este design permite:

• Interpretabilidade: A supervisão estratégica é fornecida através de rastros de raciocínio do LLM, e as contribuições dos especialistas são quantificadas via análise causal.
• Robustez: O sistema mantém o desempenho através de volumes de tráfego variáveis, demografias de usuários e paisagens competitivas, incluindo cenários de cold-start onde superou as linhas de base em 48% na melhoria do ROI.
• Escalabilidade: A estrutura foi validada em produção servindo bilhões de leilões diários, provando que o lances de multi-agentes hierárquicos é um paradigma viável para publicidade online adaptativa.

O trabalho conclui que, embora direções futuras incluam meta-aprendizado para tipos de campanhas raras e otimização multiobjetivo, a estrutura atual fornece uma solução robusta, interpretável e altamente eficaz para desafios reais de lances.