Resumo Técnico: DRIVE (Distributional and Retrieval-Augmented Bidding with Value Evaluation)

1. Definição do Problema

O artigo aborda limitações críticas na aplicação de aprendizado por reforço offline (RL) e modelagem de sequência baseada em Transformer (ex: Decision Transformer) em sistemas de lances automáticos (auto-bidding) do mundo real. Embora o RL offline seja necessário devido aos riscos e custos proibitivos da exploração online em leilões de publicidade, os métodos existentes enfrentam dois desafios primários:

1. A Armadilha da "Ação Média": Abordagens baseadas em Transformer padrão geralmente empregam objetivos de regressão unimodais (ex: Erro Quadrático Médio). Em ambientes de lances, estados de mercado semelhantes frequentemente admitem múltiplas estratégias distintas, porém eficazes (ex: lances altos agressivos vs. lances baixos conservadores). A modelagem unimodal colapsa esses comportamentos diversos em uma única ação média subótima, que não é agressiva o suficiente para vencer leilões nem conservadora o suficiente para controlar custos.
2. Inconfiabilidade em Dados Esparsos/Long-Tail: Modelos puramente paramétricos carecem de mecanismos explícitos para reter decisões históricas de alta qualidade. Consequentemente, eles geram ações não confiáveis em regiões de baixa densidade ou sob condições de tráfego de cauda longa (long-tail), apesar da presença de decisões de alta qualidade no conjunto de dados registrado.

2. Metodologia: O Framework DRIVE

Os autores propõem o DRIVE (Distributional and Retrieval-Augmented Bidding with Value Evaluation), um framework unificado baseado em Transformer que desacopla a geração de candidatas de ação da tomada de decisão. O framework integra três componentes principais:

A. Modelagem de Ação Distribucional (Cabeça GMM)

Em vez de uma cabeça de regressão determinística, o DRIVE emprega um Modelo de Mistura Gaussiana (GMM) para modelar o espaço de ações.

• Mecanismo: A política prevê um conjunto de $M$ componentes de mistura, cada um definido por coeficientes de mistura ($\alpha_m$), médias ($\mu_m$) e variâncias ($\sigma^2_m$).
• Objetivo: O modelo é treinado maximizando a log-verossimilhança das ações históricas. Isso permite que a política represente uma densidade com múltiplos picos, capturando diversos modos de lances simultaneamente, em vez de colapsá-los em uma estimativa de ponto único.
• Inferência: Durante a inferência, o modelo amostra estocasticamente um conjunto de ações candidatas ($A_{gen}$) a partir da distribuição de mistura aprendida, preservando padrões de lances multimodais.

B. Geração de Candidatas com Aumento por Recuperação (Retrieval-Augmented)

Para mitigar a inconfiabilidade dos modelos paramétricos em regimes de dados esparsos, o DRIVE incorpora um mecanismo de recuperação fundamentado em trajetórias históricas de alta qualidade.

• Construção do Índice: Um índice de recuperação ($I$) é construído a partir do conjunto de dados offline usando embeddings de estado contextual gerados por um codificador Transformer leve.
• Estratégia de Recuperação: No momento da inferência, o estado atual é codificado e o sistema recupera os $K_{pool}$ vizinhos mais próximos baseados em similaridade de cosseno. Esses candidatos são então filtrados e classificados por seus valores de Retorno-para-Ir (RTG) armazenados para selecionar as top-$K$ ações de alta qualidade ($A_{ret}$).
• Papel: Isso fornece suporte não paramétrico explícito, ancorando as decisões em comportamentos comprovados de alto desempenho do conjunto de dados.

C. Avaliação de Ação Baseada em Valor

Para selecionar robustamente o lance final a partir do pool combinado de candidatas geradas e recuperadas, o DRIVE utiliza um crítico baseado em valor.

• Arquitetura do Crítico: O framework adota o paradigma de Aprendizado Q Implícito (IQL). Ele aprende duas funções Q e uma função de valor de estado ($V(s)$) estritamente dentro do suporte do conjunto de dados offline usando regressão de percentil (expectile regression).
• Consciência de Restrição: Para tarefas de lances com restrições (ex: Custo Por Ação - CPA), a função de recompensa é moldada para incluir termos de penalidade. Isso garante que o panorama de valor aprendido reflita inerentemente as restrições de segurança, guiando o agente para regiões viáveis.
• Seleção: A ação final ($a^*$) é selecionada avaliando todas as candidatas ($A_{cand} = A_{gen} \cup A_{ret}$) usando o crítico:
  $$a^* = \arg \max_{a \in A_{cand}} \min_{i=1,2} Q_i(s, a)$$

3. Principais Contribuições

1. Framework Unificado: A proposta do DRIVE, que sinergiza a modelagem de mistura GMM distribucional, contexto aumentado por recuperação e avaliação baseada em valor para abordar a armadilha da "Ação Média" e a esparsidade de dados no auto-bidding.
2. Validação Empírica no AuctionNet: Experimentos extensos no AuctionNet, um benchmark industrial de larga escala apresentando dinâmica estocástica e restrições rigorosas de orçamento/CPA, demonstram que o DRIVE supera consistentemente as linhas de base de estado da arte (incluindo CQL, IQL, BCQ, DT e métodos baseados em difusão).
3. Generalizabilidade: O framework mostra-se amplamente aplicável, integrando-se perfeitamente a múltiplas arquiteturas baseadas em Transformer (DT, CDT, PDiT, BC) e melhorando consistentemente o desempenho em diversos benchmarks de RL offline (D4RL Gym-MuJoCo e Maze2D).

4. Resultados Experimentais

• Desempenho no AuctionNet: O DRIVE alcança desempenho superior em todas as restrições de orçamento (50% a 150%). Notavelmente, no conjunto de dados AuctionNet-Sparse, onde as linhas de base puramente generativas (como DT e DiffBid) degradam significativamente devido à esparsidade de dados, o DRIVE mantém um desempenho robusto ao utilizar a recuperação para ancorar as decisões.
• Benchmarks D4RL: O DRIVE atinge as maiores pontuações normalizadas médias nas tarefas de locomoção do Gym e demonstra vantagens significativas no domínio Maze2D (ex: uma pontuação de 136.8 em maze2d-medium, superando todos os competidores).
• Estudos de Ablação:
  • Remover a cabeça GMM (revertendo para determinístico) ou o módulo de recuperação leva a quedas substanciais de desempenho.
  • Comparando cabeças GMM vs. Difusão, o GMM alcança desempenho comparável ou superior com latência de inferência significativamente menor (11ms vs. 223ms), tornando-o mais adequado para lances em tempo real.
  • A análise da multimodalidade da função Q revela que 17,6% dos estados são multimodais, onde as políticas DT padrão exibem uma taxa subótima de 54,7%, confirmando a necessidade de modelagem distribucional.
• Eficiência: Embora o DRIVE incorra em uso adicional de memória (principalmente para o índice de recuperação FAISS), sua latência total de inferência permanece abaixo de 50ms, satisfazendo os requisitos rigorosos dos sistemas industriais de lances em tempo real.

5. Significância e Alegações

O artigo afirma que o DRIVE fornece um paradigma robusto para o deploy de RL offline em ambientes de lances. Ao desacoplar a geração de candidatas da tomada de decisão, ele mitiga efetivamente a armadilha da "Ação Média" e garante uma tomada de decisão confiável sob regimes de dados esparsos e de cauda longa. Os autores enfatem que sua abordagem não depende de modelagem complexa do ambiente ou exploração online, tornando-a uma solução prática para sistemas de publicidade do mundo real onde segurança e restrições de orçamento são primordiais. A capacidade do framework de se generalizar através de diferentes backbones de Transformer sugere que ele oferece uma solução geral para o colapso de modo e instabilidade de amostragem em modelagem de sequência para RL offline.