Ad Headline Generation using Self-Critical Masked Language Model

Resumo Técnico: Geração de Títulos de Anúncios usando Modelo de Linguagem Mascarado Autocrítico

Declaração do Problema
Gerar anúncios duradouros e de alta qualidade para plataformas de e-commerce é um desafio não trivial, particularmente em escala. Os métodos manuais existentes frequentemente dependem de preenchimento programático de palavras-chave ou criativos baseados em modelos (ex: "Economize agora em...") , que falham em criar entusiasmo ou identidade de marca. Além disso, os dados de produtos de varejo apresentam dificuldades únicas: os títulos frequentemente sofrem com má estrutura, problemas gramaticais ou frases parciais, e as campanhas frequentemente envolvem múltiplos produtos relacionados que devem ser generalizados em um único título coeso. O objetivo é construir um sistema de Geração de Linguagem Natural (NLG) que possa gerar instantaneamente títulos atraentes e gramaticalmente corretos que capturem características compartilhadas entre múltiplos produtos sem serem específicos a um único item.

Metodologia
Os autores propõem uma abordagem inovadora combinando Modelos de Linguagem Mascarada (MLM) com Aprendizado por Reforço (RL) usando um método de gradiente de política autocrítico.

1. Arquitetura e Codificação de Entrada:

   • O sistema utiliza um modelo BERT baseado em Transformer (especificamente o BERT Large).
   • Ao contrário dos modelos auto-regressivos padrão, esta abordagem condiciona a geração em múltiplos produtos simultaneamente. O modelo concatena tokens de múltiplos títulos de produtos usando um token separador especial ([P_SEP]) e concatena um token de início ([SOS]).
   • Apenas os tokens correspondentes ao título alvo são mascarados aleatoriamente durante o treinamento; os tokens dos produtos de origem permanecem não mascarados para preservar sua informação.
   • Para permitir a geração auto-regressiva (predizendo uma palavra por vez) com um modelo bidirecional, os autores utilizam atenção mascarada. Isso modifica o mecanismo de auto-atenção padrão para evitar que o modelo atenda a tokens futuros durante a etapa de inferência, restringindo efetivamente a atenção apenas aos tokens acessíveis.

2. Treinamento via Treinamento de Sequência Autocrítica (SCST):

   • O treinamento padrão de MLM otimiza a log-verossimilhança, o que pode levar ao viés de exposição e não otimiza diretamente métricas de qualidade não diferenciáveis como BLEU ou ROUGE.
   • Para abordar isso, os autores enquadram a tarefa de geração como um problema de RL, onde o modelo atua como um agente que prevê palavras mascaradas (ações) para maximizar uma recompensa baseada na qualidade do título.
   • Eles utilizam o Treinamento de Sequência Autocrítica (SCST). Nesta configuração, dois títulos são gerados para a mesma entrada:
     • $\hat{x}_h$: Gerado amostrando da distribuição do vocabulário do modelo.
     • $\hat{z}_h$: Gerado usando uma estratégia de inferência gananciosa (greedy) (selecionando o token com a maior probabilidade em cada etapa).
   • O gradiente é atualizado com base na diferença de recompensas entre o título amostrado e a linha de base gananciosa: $\nabla \theta L_{SC\_MLM} \approx -(r(\hat{x}_h) - r(\hat{z}_h)) \nabla_\theta P$. Isso permite que o modelo otimize diretamente métricas como ROUGE-L sem alterar a configuração de inferência ou a latência.

3. Inferência:

   • Durante a inferência, os títulos são gerados auto-regressivamente usando Busca de Feixe (Beam Search).
   • Uma técnica modificada de Normalização de Comprimento é aplicada às pontuações da busca de feixe para evitar o viés contra títulos longos, que tipicamente possuem log-probabilidades brutas menores.
   • O pós-processamento inclui limpeza baseada em Expressões Regulares para remover espaços extras ao redor de símbolos.

Principais Contribuições

• Condicionamento de Múltiplos Produtos: O modelo é o primeiro a utilizar MLMs para gerar títulos condicionados a múltiplos produtos simultaneamente, permitindo que generalize atributos compartilhados de forma eficaz.
• MLM Otimizado por RL: O artigo demonstra uma aplicação inovadora de gradientes de política autocrítica para treinar MLMs. Isso permite a otimização direta de métricas de qualidade de título (ex: ROUGE, BLEU) durante o treinamento, mantendo a latência de inferência padrão do modelo.
• Desempenho Sobre Baselines: O método proposto supera os baselines existentes, incluindo Redes de Ponte (Pointer Networks) baseadas em LSTM com RL e modelos Transformer padrão, tanto em métricas de sobreposição quanto em auditorias de qualidade humana.
• Eficiência: A abordagem reduz significativamente o esforço e o tempo manuais para criar títulos, mantendo baixa latência de inferência.

Resultos
O sistema foi avaliado em um conjunto de dados de mais de 500.000 campanhas de anúncios da Amazon.

• Métricas de Sobreposição: O SC-MLM (Self-Critical MLM) proposto alcançou as pontuações mais altas em todas as métricas de sobreposição (ROUGE-L, CIDEr, BLEU-4, METEOR) em comparação com os baselines e estudos de ablação. Por exemplo, alcançou uma pontuação ROUGE-L de 6,33, superando significativamente o baseline bi-LSTM (0,62) e o MLM padrão sem RL (5,08).
• Auditorias de Qualidade: Em uma avaliação de larga escala, dupla-cega e crowdsourced (N ≈ 5.000), o modelo SC-MLM superou os títulos submetidos por humanos. Ele alcançou uma melhoria de 2,07% na classificação média sobre os títulos humanos e gerou 6,53% mais títulos classificados como um "3 de 3" perfeito (Correto e Atraente).
• Gramática: O modelo demonstrou correção gramatical superior, com 98,13% dos títulos do SC-MLM julgados como gramaticalmente corretos, comparado a 93,14% dos títulos submetidos por humanos.
• Estudos de Ablação: Experimentos confirmaram que o pré-treinamento, o uso do BERT Large, o mascaramento apenas do título (não dos títulos de origem) e o uso de múltiplos produtos foram todos críticos para o desempenho. O uso de apenas um produto resultou em menor qualidade, e o mascaramento dos títulos de origem reduziu o desempenho.

Significância e Alegações
O artigo afirma que este trabalho representa uma solução de estado da arte (SOTA) para a geração programática de títulos de anúncios. Os autores enfatizam que seu método consegue unir com sucesso o poder expressivo de Transformers pré-treinados com os requisitos específicos da publicidade (generalizar múltiplos produtos, otimizar métricas de qualidade).

Crucialmente, os autores observam que o componente de Aprendizado por Reforço apenas modifica o procedimento de treinamento. Ele não altera a configuração de inferência nem introduz latência adicional, tornando a solução prática para implantação em larga escala no mundo real. O artigo conclui que esta abordagem não se limita à publicidade, mas pode ser aplicada a outras tarefas de NLG, como sumarização e tradução, onde a otimização de métricas não diferenciáveis é desejada.