LBM: Hierarchical Large Auto-Bidding Model via Reasoning and Acting

Este artigo propõe o LBM, um modelo hierárquico de auto-lance que combina um componente de raciocínio (LBM-Think) e um de ação (LBM-Act) com mecanismos de fusão de embeddings e ajuste fino por reforço offline (GQPO) para superar as limitações de métodos existentes e melhorar a performance e a generalização em leilões publicitários dinâmicos.

O essencial

Imagine que você é o gerente de uma grande campanha de publicidade na internet. O seu objetivo é simples: gastar o seu orçamento de forma inteligente para conseguir o máximo de cliques ou vendas possível, sem gastar mais do que o permitido por cada venda.

O problema é que o mercado de anúncios online é como uma leilão de alta velocidade que acontece milhões de vezes por segundo. É impossível para um humano ajustar os preços (lances) manualmente a cada segundo. Por isso, usamos "robôs" de licitação automática (auto-bidding).

Até agora, esses robôs funcionavam como alunos que apenas memorizam: eles olhavam para dados passados e tentavam repetir o que funcionava. O problema é que, quando a situação mudava um pouco (algo que nunca aconteceu nos dados antigos), esses robôs ficavam confusos e tomavam decisões estranhas, como gastar todo o dinheiro no primeiro minuto ou não gastar nada.

Este artigo apresenta uma nova solução chamada LBM (Modelo de Licitação Automática em Grande Escala). Pense nele como um robô com um "cérebro" e "mãos" separados, trabalhando em equipe.

A Analogia: O Estrategista e o Executor

O LBM divide o trabalho em duas partes, como se fosse uma empresa com um Diretor de Estratégia e um Operador de Máquina:

1. O "LBM-Think" (O Estrategista)

• O que faz: Ele é o "cérebro" que pensa. Ele lê o histórico de desempenho (como se estivesse lendo um diário de bordo) e usa sua inteligência para criar um plano de ação.
• A mágica: Diferente dos robôs antigos que apenas calculavam números, este estrategista usa um Modelo de Linguagem Grande (LLM) — a mesma tecnologia por trás de chatbots inteligentes. Ele consegue "raciocinar" como um humano experiente.
  • Exemplo: Se o robô vê que gastou pouco dinheiro e o custo por venda está alto, o Estrategista pensa: "Ei, estamos gastando muito devagar e o preço está caro. Vamos aumentar um pouco o lance para pegar mais oportunidades, mas com cuidado."
• O resultado: Ele escreve um "bilhete de raciocínio" (chamado de Chain-of-Thought), explicando por que deve tomar uma decisão, antes mesmo de agir.

2. O "LBM-Act" (O Executor)

• O que faz: Ele é as "mãos" rápidas. Ele recebe o bilhete de raciocínio do Estrategista e os números exatos do momento atual (orçamento restante, tempo, etc.).
• A mágica: Ele é um modelo menor e mais rápido, especializado em traduzir aquele raciocínio em um número exato de lance.
• O problema que resolve: Modelos de linguagem puros (como o ChatGPT) são ótimos em conversar, mas péssimos em matemática precisa. Se você pedir para eles definirem um lance de "R$1,23456", eles podem alucinar e dizer "R$ 1,23457", o que custa dinheiro. O "Executor" foi treinado especificamente para pegar a ideia do "Estrategista" e transformá-la em um número matemático perfeito, sem erros.

Como eles aprendem? (O Treinamento)

O artigo descreve duas etapas de treinamento para garantir que o robô não cometa erros:

1. Aprendizado Guiado por Linguagem: Primeiro, ensinamos o "Executor" a entender as instruções do "Estrategista". É como se o Diretor passasse um memorando escrito e o Operador aprendesse a executá-lo perfeitamente.
2. Ajuste Fino Offline (GQPO): Aqui está a parte mais inteligente. Em vez de testar o robô na vida real (o que seria arriscado e caro), eles usam uma técnica chamada GQPO.
   • A analogia: Imagine que o "Estrategista" escreve 10 planos diferentes. O sistema simula internamente qual desses planos teria dado mais dinheiro no passado. Ele escolhe o melhor plano e diz ao Estrategista: "Esse foi o melhor raciocínio, aprenda com ele". Isso melhora a lógica do robô sem gastar um centavo real.

Por que isso é um avanço?

• Não é uma "caixa preta": Os robôs antigos eram caixas pretas; você não sabia por que eles tomaram uma decisão. Com o LBM, o "Estrategista" explica o raciocínio, o que gera confiança.
• Adaptação: Se o mercado mudar de repente, o "Estrategista" consegue usar seu conhecimento geral (como um humano experiente) para se adaptar, enquanto os robôs antigos ficariam travados.
• Precisão: Ao separar o pensamento (linguagem) da ação (números), o sistema evita os erros de cálculo que modelos de linguagem puros costumam cometer.

Resumo Final

O LBM é como contratar um gerente de marketing sênior (que pensa, planeja e explica o "porquê") e um operador de máquina de alta precisão (que executa o comando exato). Juntos, eles conseguem gerenciar leilões de anúncios de forma mais inteligente, segura e eficiente do que qualquer método anterior, garantindo que o dinheiro do anunciante seja gasto da melhor maneira possível.

Resumo técnico

Resumo Técnico: LBM – Modelo Hierárquico de Lances Automáticos via Raciocínio e Ação

1. Problema e Contexto

O mercado de publicidade online enfrenta uma competição intensificada devido à escala massiva de leilões de impressões. O lance manual tornou-se impraticável, exigindo sistemas de lance automático (auto-bidding) para ajudar anunciantes a atingir objetivos econômicos (como maximizar conversões) respeitando restrições (como CPA – Custo por Ação e orçamentos).

Os métodos atuais baseiam-se principalmente em:

• Aprendizado por Reforço Offline (RL): Que aprende políticas a partir de logs históricos.
• Métodos Generativos: Como o Decision Transformer (DT).

Limitações dos métodos existentes:

• Comportamento contra-intuitivo: Frequentemente agem como "caixas pretas", tomando decisões que violam a lógica humana (ex: aumentar lances mesmo quando o CPA já está acima do limite).
• Falta de Generalização: Dificuldade em lidar com cenários dinâmicos ou casos de borda não presentes nos dados de treinamento.
• Desafios na Aplicação Direta de LLMs: Modelos de Linguagem Grandes (LLMs) possuem raciocínio, mas aplicá-los diretamente a lances contínuos e precisos gera alucinações e decisões subótimas, pois os dados de lance não existem nativamente em formato de texto e a precisão numérica é crítica.

2. Metodologia Proposta: LBM

Os autores propõem o LBM (Large auto-Bidding Model), uma arquitetura hierárquica que desacopla o raciocínio da ação, utilizando dois módulos distintos:

A. Arquitetura Hierárquica:

1. LBM-Think (Alto Nível):
   • Responsável pelo raciocínio em espaço de linguagem.
   • Analisa o histórico de desempenho e gera um Chain-of-Thought (CoT).
   • O CoT resume o status do lance, calcula métricas (como a razão CPA) e determina a direção de ajuste de alto nível (ex: "aumentar" ou "diminuir" os parâmetros).
   • Pode ser executado de forma assíncrona antes do passo de decisão, permitindo o uso de LLMs maiores.
2. LBM-Act (Baixo Nível):
   • Responsável pela geração precisa da ação no espaço contínuo.
   • Recebe o CoT gerado pelo Think e o estado numérico atual (histórico de estados, ações e retornos).
   • Gera o parâmetro de lance final (ação contínua).

B. Mecanismos de Treinamento Inovadores:

1. Mecanismo de Dupla Incorporação (Dual Embedding) para o LBM-Act:
   • Para evitar a ineficiência de converter números longos em tokens de texto (que consome muitos tokens e limita a atenção), o modelo utiliza duas camadas de incorporação distintas:
     • Uma para o texto (CoT).
     • Uma para os dados numéricos (usando um MLP para projetar sequências numéricas em embeddings do mesmo tamanho dos tokens).
   • Isso permite a fusão eficiente das duas modalidades dentro das camadas do Transformer.
2. Ajuste Fino por Reforço Offline (GQPO) para o LBM-Think:
   • Para mitigar alucinações e melhorar o raciocínio sem necessidade de rollouts no mundo real (que seriam arriscados e caros), os autores propõem o Group relative-Q Policy Optimization (GQPO).
   • Funcionamento: O modelo gera um grupo de CoTs diferentes. Um valor Q (aprendido offline via IQL - Implicit Q-Learning) avalia a qualidade de cada CoT comparando a ação resultante com a ação ideal do dataset.
   • O CoT que produz o maior ganho relativo de valor Q (ΔQ > 0) é selecionado para o ajuste fino. Isso trata o CoT como a "ação" a ser otimizada, permitindo um treinamento estável e totalmente offline.

3. Contribuições Principais

1. Modelo Hierárquico LBM: Uma nova abordagem que separa o raciocínio estratégico (LLM grande) da execução precisa (LLM menor), superando as limitações de modelos únicos.
2. Mecanismo de Dupla Incorporação: Uma técnica eficiente para fundir entradas de linguagem e numéricas, permitindo que o modelo de ação compreenda instruções de alto nível sem sacrificar a precisão numérica.
3. Técnica GQPO: Um método de ajuste fino offline que utiliza valores Q relativos para reduzir alucinações e melhorar o raciocínio do LLM-Think, eliminando a necessidade de simulação interativa.
4. Validação Experimental: Demonstração de que uma base generativa baseada em LLMs supera métodos tradicionais de RL e DT, especialmente em eficiência de treinamento e generalização.

4. Resultados Experimentais

Os experimentos foram conduzidos no benchmark AuctionNet (dados reais de plataformas de publicidade).

• Comparação com Baselines: O LBM superou consistentemente métodos de RL offline (USCB, CQL, IQL) e métodos generativos (DT, DiffBid).
  • Na configuração densa, o LBM(GQPO) alcançou 382 conversões e uma pontuação de 348, superando o melhor baseline (DT-Q) que teve 371 conversões e 334 pontos.
• Generalização: O modelo demonstrou robustez em diferentes configurações de orçamento, mantendo desempenho superior mesmo em cenários não vistos durante o treinamento.
• Comportamento Racional: Diferente do DT, que às vezes falha em seguir restrições econômicas, o LBM ajustado com GQPO seguiu princípios lógicos (ex: reduzir lances quando o CPA ratio > 1 e aumentar quando < 1), alinhando-se ao conhecimento humano prévio.
• Eficiência: O uso de um modelo de 3B parâmetros (Qwen2.5-3B) para o Think foi suficiente, mostrando que modelos menores podem ser eficazes quando bem arquitetados.

5. Significado e Impacto

Este trabalho representa um avanço significativo na interseção entre Inteligência Artificial Generativa e Publicidade Computacional.

• Solução para o "Black Box": Ao introduzir o raciocínio explícito (CoT), o LBM torna as decisões de lance mais interpretáveis e alinhadas com a lógica de negócios, aumentando a confiança dos anunciantes.
• Viabilidade Industrial: A arquitetura hierárquica e o treinamento offline resolvem os problemas de latência e risco de segurança, tornando possível a aplicação de LLMs em ambientes de leilão de alta frequência (onde os ajustes de lance ocorrem a cada 30 minutos, por exemplo).
• Novo Paradigma: Estabelece um novo padrão para o uso de LLMs em tarefas de controle contínuo e decisão sequencial, demonstrando que a separação de "pensar" e "agir" é crucial para o sucesso em ambientes complexos e competitivos.

Em resumo, o LBM prova que a combinação de raciocínio linguístico avançado com controle numérico preciso, treinada de forma offline e segura, pode superar os métodos de otimização tradicionais em cenários de publicidade digital de larga escala.