🤖 machine learning

AIGB-R1: Self-Evolving Generative Auto-Bidding via Hierarchical Planner-Executor Optimization

Este artigo apresenta o AIGB-R1, um framework de auto-licitação hierárquico e autoevolutivo que utiliza Grandes Modelos de Linguagem com uma arquitetura de planejador-executor e um novo algoritmo de Otimização de Política Relativa de Grupo Desacoplada (D-GRPO) para superar as limitações dos métodos de licitação gerados por IA existentes, aumentando o raciocínio estratégico, a precisão numérica e a otimização autônoma por meio de um ciclo orientado pela experiência.

Autores originais: Yuejia Dou, Hesong Wang, Xinyu Zhang, Tianyu Wang, Zhilin Zhang, Chuan Yu, Jian Xu, Bo Zheng, Qi Qi

Publicado 2026-07-21

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yuejia Dou, Hesong Wang, Xinyu Zhang, Tianyu Wang, Zhilin Zhang, Chuan Yu, Jian Xu, Bo Zheng, Qi Qi

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um mundo onde, toda vez que você rola a tela do seu celular, um leilão silencioso e de alta velocidade está acontecendo. Os anunciantes estão lutando pela sua atenção, lançando dinheiro digital na tela para exibir seus anúncios. Este é o território selvagem da publicidade online, um lugar onde bilhões de oportunidades passam num piscar de olhos. Para vencer essas batalhas, as empresas costumavam depender de humanos ajustando lances manualmente, mas isso é como tentar pegar uma bala em alta velocidade com uma rede feita de espaguete — é simplesmente muito lento e bagunçado. Então, elas recorreram aos computadores. Primeiro veio o "Auto-bidding" (lances automáticos), onde algoritmos ajustam os preços automaticamente para conseguir o melhor negócio. Depois veio a "IA Generativa", que tenta aprender com leilões passados para prever o movimento perfeito. Mas aqui está o problema: esses modelos de IA são como estudantes que estudaram apenas por um único livro didático desatualizado. Eles ficam confusos quando o mundo real muda e muitas vezes têm dificuldade com a matemática, às vezes "alucinando" (inventando) números que não fazem sentido.

Apresentamos a nova estrela do show: os Large Language Models (LLMs). Você pode conhecê-los como os chatbots que podem escrever poemas ou resolver enigmas. Eles são incrivelmente inteligentes em entender o contexto e planejar com antecedência, mas são terríveis em fazer cálculos rápidos e precisos e são lentos demais para leilões em tempo real. A grande questão que os cientistas estão fazendo é: Podemos combinar o poder cerebral de um planejador inteligente com a velocidade de uma calculadora rápida para vencer esses leilões digitais? É exatamente isso que uma equipe de pesquisadores se propôs a resolver, visando construir uma IA que não apenas adivinha, mas que realmente pensa o seu caminho para a vitória.

O Cérebro e o Músculo: AIGB-R1

Os pesquisadores propõem um novo sistema chamado AIGB-R1. Pense nisso como uma equipe de negociações de alto risco onde as funções são perfeitamente divididas. No passado, as pessoas tentaram usar uma única IA gigante para fazer tudo — pensar, calcular e agir. Mas os autores argumentam que isso é uma má ideia porque a IA é ruim com números precisos e lenta para reagir. Em vez disso, o AIGB-R1 utiliza uma abordagem hierárquica, dividindo o trabalho em duas partes distintas: um Planejador e um Executor.

O Planejador é o "Grande Cérebro". É um Large Language Model poderoso que atua como um general experiente ou um grande mestre de xadrez. Antes mesmo do leilão começar, este general observa o orçamento do anunciante, seus objetivos e o desempenho passado. Ele não se preocupa com os detalhes minúsculos do próximo segundo; em vez disso, ele formula uma estratégia de macro nível. Ele pode dizer: "Hoje, seremos agressivos e gastaremos rápido", ou "Precisamos ser conservadores e economizar nosso dinheiro". Ele escreve essa estratégia como um prompt claro e estruturado.

O Executor é o "Músculo". Este é um modelo de IA leve e superveloz (especificamente um Prompt Decision Transformer) que realiza o lance real. Ele recebe o prompt estratégico do general e então foca no momento imediato. Ele observa o estado atual do leilão, o orçamento restante e a competição, e calcula instantaneamente o número exato a ser ofertado. Como o Executor é um modelo matemático especializado, ele não alucina números e reage em milissegundos. O Planejador fornece o "o quê" e o "porquê", e o Executor cuida do "como" e do "quando".

Aprendendo com a Experiência, Não Apenas com Livros

O artigo também introduz uma maneira inteligente para que este sistema se torne mais inteligente ao longo do tempo, o que eles chamam de loop de autoevolução. A maioria dos sistemas de IA é treinada com dados antigos e estáticos — como estudar para uma prova usando um livro didático de dez anos atrás. Se o mercado muda, a IA fica confusa. O AIGB-R1, no entanto, constrói um ambiente de simulação chamado AuctionNetEnv. Imagine um videogame onde a IA pode jogar contra milhares de outros bots, testando diferentes estratégias repetidamente.

É aqui que fica realmente legal. O sistema não apenas adivinha aleatoriamente. Ele mantém um banco de memória de seus melhores movimentos passados. Se uma certa estratégia funcionou bem ontem, o Planejador se lembra dela e tenta refiná-la hoje. Se uma estratégia falhou, ele aprende com esse erro. Esta é a parte da "autoevolução": o sistema aprende com sua própria experiência acumulada, ajustando constantemente sua abordagem para chegar mais perto do lance perfeito.

O Ingrediente Secreto: D-GRPO

Um dos maiores desafios nesta configuração é descobrir quem recebe o crédito (ou a culpa) quando a equipe ganha ou perde. Foi o General (Planejador) que deu uma ordem ruim, ou o Soldado (Executor) falhou em segui-la? Para resolver isso, os autores inventaram um novo truque matemático chamado Decoupled Group Relative Policy Optimization (D-GRPO).

Imagine um treinador observando uma corrida de revezamento. Se a equipe perde, o treinador precisa saber se o primeiro corredor foi lento ou se o segundo corredor deixou o bastão cair. O D-GRPO atua como um treinador superinteligente que pode separar o desempenho do Planejador do Executor. Ele analisa os resultados e diz: "A estratégia foi boa, mas a execução falhou", ou "A execução foi perfeita, mas a estratégia estava errada". Ao separar esses dois sinais, o sistema pode treinar ambas as partes simultaneamente sem que elas fiquem confusas, levando a um processo de aprendizado muito mais estável e eficaz.

O Que Eles Descobriram

Os pesquisadores testaram o AIGB-R1 em um enorme conjunto de dados do mundo real da Alibaba, contendo cerca de 480.000 trajetórias de lances. Eles compararam seu sistema com muitos outros métodos de IA de alto nível, incluindo aqueles baseados em Reinforcement Learning (Aprendizado por Reforço) e outros modelos generativos.

Os resultados foram claros: o AIGB-R1 venceu. Ele superou consistentemente todos os outros métodos, alcançando as pontuações mais altas tanto em cenários de leilão padrão quanto nos desafiadores de "escassez" (sparse). O artigo sugere que simplesmente usar um Large Language Model como tomador de decisão não é suficiente devido às suas limitações matemáticas, mas usá-lo como um planejador estratégico enquanto deixa um modelo especializado lidar com os números é um divisor de águas.

O estudo também mostrou que cada parte de seu sistema era necessária. Quando removeram o treinamento de "autoevolução" (deixando a IA aprender com suas próprias simulações), o desempenho caiu. Quando removeram o Planejador e deixaram apenas o Executor adivinhar, o desempenho foi pior. E quando congelaram o Planejador para que ele não pudesse aprender com novas experiências, o sistema não foi tão bom quanto quando podia se adaptar. Isso prova que a combinação de um planejador inteligente, um executor rápido e um loop que aprende com a experiência é a chave para desbloquear o próximo nível do auto-bidding.

Em resumo, o AIGB-R1 sugere que o futuro da publicidade automatizada não é construir um único robô gigante e onisciente. É construir uma equipe: um estrategista sábio que planeja a rota e um motorista ágil que dirige o carro, ambos aprendendo juntos a cada quilômetro percorrido.

Resumo Técnico: AIGB-R1

Declaração do Problema

O lance automático (auto-bidding) é crítico para a publicidade online, onde agentes devem ajustar lances automaticamente para maximizar os objetivos do anunciante (ex: conversões) sob restrições como orçamento e Custo por Ação (CPA). Embora o paradigma emergente de Lances Gerados por IA (AIGB - AI-Generated Bidding) utilize modelos generativos (ex: Decision Transformers) para aprender com dados offline, esses métodos enfrentam três limitações primárias:

Cobertura de Dados: O desempenho degrada em estados fora da distribuição (OOD) devido à cobertura de modo limitada dos conjuntos de dados offline.
Compreensão de Estado: Métodos existentes condicionam políticas ao "retorno-para-ir" (return-to-go) sem compreender totalmente estados de tarefas específicos ou valores de ação, dificultando o planejamento de estratégias ótimas.
Adaptabilidade: Distribuições de preferência fixas no treinamento tornam difícil a adaptação a diversas preferências de anunciantes sem um retreinamento dispendioso.

Embora os Grandes Modelos de Linguagem (LLMs) ofereçam raciocínio superior e conhecimento de mundo para abordar essas lacunas, sua aplicação direta ao lance automático é dificultada por:

Precisão Numérica: Os LLMs têm dificuldade com o controle numérico contínuo e preciso exigido para parâmetros de lance, frequentemente sofrendo de alucinações e precisão insuficiente.
Latência: O lance online exige respostas de milissegundos, enquanto grandes LLMs enfrentam um compromisso entre qualidade de decisão e velocidade de inferência.
Atribuição de Crédito: Tentativas hierárquicas existentes muitas vezes falham em otimizar tanto o raciocínio de alto nível quanto a execução de baixo nível de forma ponta a ponta, dependendo de funções de valor offline que sofrem de erros de extrapolação.

Metodologia: Estrutura AIGB-R1

Os autores propõem o AIGB-R1, uma estrutura de lance automático hierárquica e autoevoluível que desacopla o planejamento de estratégia de macro nível da tomada de decisão de granularidade fina.

1. Arquitetura Planejador-Executor Hierárquica

Planejador de Alto Nível: Utiliza um LLM para raciocinar sobre estratégias de macro nível (ex: preferência de risco, ritmo de orçamento) para um período de lance baseado no contexto do anunciante e desempenho histórico. Ele gera um prompt de estratégia estruturado contendo rótulos de estratégia enumerados e raciocínio semântico. Este planejamento ocorre de forma assíncrona antes do início do período de lance.
Executor de Baixo Nível: Emprega um Prompt Decision Transformer (PDT), um transformer causal leve. O Executor recebe o prompt de estratégia do Planejador como um prefixo condicional e gera parâmetros de lance precisos em cada passo de tempo com base em sequências numéricas observadas (estados, ações, retorno-para-ir). Este design aproveita o raciocínio do LLM enquanto utiliza um modelo especializado para controle numérico preciso e baixa latência.

2. Pipeline de Treinamento em Duas Etapas

Pré-treinamento Offline: O Executor é pré-treinado em trajetórias de lances offline. Os prompts de estratégia são anotados por um LLM avançado. O Executor aprende uma política estocástica (modelada via distribuição log-normal) para maximizar a verossimilhança do conjunto de dados, condicionado tanto ao prompt quanto às sequências históricas.
Alinhamento de Pós-treinamento (Loop de Autoevolução): Para superar as limitações dos dados offline, a estrutura emprega um ambiente de simulação de lances interativo (AuctionNetEnv) para o rollout de estratégia online.
- Rollout Guiado por Experiência: Para cada tarefa, o Planejador gera $M$ prompts de estratégia diversos. Para cada prompt, o Executor realiza $K$ rollouts na simulação.
- Buffer de Experiência: Um buffer mantém uma "âncora de melhor estratégia" e uma janela de memória deslizante de trajetórias recentes para cada tarefa, permitindo que o Planejador refine as estratégias com base na experiência acumulada em vez de amostragem aleatória.

3. Otimização de Política Relativa de Grupo Desacoplada (D-GRPO)

Para permitir a otimização ponta a end (end-to-end) de ambos o Planejador e o Executor, os autores propõem o D-GRPO. A Otimização de Política Relativa de Grupo (GRPO) padrão falha aqui porque o sinal de recompensa acopla as contribuições de ambos os módulos. O D-GRPO aborda isso via desacoplamento de vantagem:

A matriz de recompensa ( $M$ $M$ estratégias $\times$ $\times$ $K$ $K$ rollouts) é decomposta em dois componentes ortogonais:
- Componente intergrupo: O desvio da recompensa média de uma estratégia em relação à média global. Este sinal é usado para atualizar o Planejador, refletindo a qualidade da seleção de estratégia.
- Componente intragrupo: O desvio da recompensa de uma trajetória específica em relação à média de sua estratégia. Este sinal é usado para atualizar o Executor, refletindo o desempenho da tomada de decisão sob uma estratégia fixa.
Esta decomposição permite uma atribuição de crédito estável e ponta a ponta sem erro de atribuição de recompensas entre as camadas.

Principais Contribuições

Estrutura AIGB-R1: Uma arquitetura hierárquica que aproveita totalmente o raciocínio de LLM para planejamento macro, enquanto contorna as limitações de precisão numérica e latência via um Executor PDT dedicado.
Loop de Autoevolução Guiado por Experiência: Um mecanismo que permite a exploração e otimização autônoma de estratégias a partir da experiência de rollout acumulada, indo além da amostragem aleatória cega.
Algoritmo D-GRPO: Um método de otimização inovador que alcança a atribuição de crédito entre camadas através do desacoplamento de vantagem, permitindo o treinamento estável e ponta a end do sistema hierárquico.
Ambiente de Simulação Interativo: A construção do AuctionNetEnv para facilitar o rollout de estratégia online confiável e mitigar erros de extrapolação offline.

Resultados Experimentais

A estrutura foi avaliada em grandes conjuntos de dados públicos (AuctionNet e AuctionNet-Sparse) contendo aproximadamente 480 mil trajetórias de lances.

Desempenho: O AIGB-R1 superou significativamente os baselines de estado da arte, incluindo métodos de RL (USCB, CQL, IQL), modelos generativos (Decision Transformers, modelos de Difusão) e outros abordagens baseadas em LLM (LBM).
- No AuctionNet, o AIGB-R1 alcançou uma pontuação de 385, superando o próximo melhor baseline (GAS com 359).
- No AuctionNet-Sparse, alcançou 39.0, superando o próximo melhor (GAVE com 37.2).
Generalização: O modelo demonstrou desempenho robusto em diferentes configurações de orçamento (50% a 150% do baseline), superando consistentemente baselines generativos avançados.
Estudos de Ablação:
- Remover o Planejador ou a etapa de pós-treinamento resultou em quedas significativas de desempenho, confirmando a necessidade de ambos os componentes.
- A otimização ponta a end (atualizando tanto o Planejador quanto o Executor) via D-GRPO rendeu resultados superiores comparado ao congelamento do Planejador, validando a importância do treinamento conjunto.

Significância

O artigo afirma que o AIGB-R1 fornece uma solução promissora para o lance automático impulsionado por LLM, ao preencher efetivamente a lacuna entre as capacidades de raciocínio dos LLMs e os requisitos de precisão/latência dos sistemas de lance em tempo real. Ao introduzir um loop de autoevolução e um algoritmo de otimização desacoplado, a estrutura aborda os gargalos críticos de cobertura de dados offline, precisão numérica e atribuição de crédito na tomada de decisão hierárquica. Os resultados sugerem que o desacoplamento do planejamento de estratégia da execução, combinado com a autoevolução guiada por experiência, é um caminho viável para sistemas de lances automatizados mais adaptáveis e ótimos.