Ad Headline Generation using Self-Critical Masked Language Model

Technische Samenvatting: Generatie van Advertentiekoppen met behulp van een Self-Critical Masked Language Model

Probleemstelling
Het genereren van duurzame, hoogwaardige advertenties voor e-commerceplatforms is een complexe uitdaging, vooral op grote schaal. Bestaande handmatige methoden vertrouwen vaak op programmatische trefwoordvulling of sjabloonmatige creaties (bijv. "Bespaar nu op..."), die er niet in slagen om enthousiasme of merkidentiteit te creëren. Bovendien presenteren retailproductgegevens unieke moeilijkheden: titels lijden vaak aan een slechte structuur, grammaticale fouten of gedeeltelijke zinsdelen, en campagnes omvatten vaak meerdere gerelateerde producten die moeten worden gegeneraliseerd naar één coherente kop. Het doel is om een Natural Language Generation (NLG)-systeem te bouwen dat direct aantrekkelijke, grammaticaal correcte koppen kan genereren die de gedeelde kenmerken van meerdere producten vastleggen zonder specifiek te zijn voor één enkel item.

Methodologie
De auteurs stellen een nieuwe aanpak voor die Masked Language Models (MLM) combineert met Reinforcement Learning (RL) met behulp van een Self-Critical policy gradient methode.

1. Architectuur en Input Codering:

   • Het systeem maakt gebruik van een Transformer-gebaseerd BERT-model (specifiek BERT Large).
   • In tegen tegen de standaard auto-regressieve modellen, conditioneert deze aanpak de generatie gelijktijdig op meerdere producten. Het model concateneert tokens van meerdere producttitels met behulp van een speciale scheidingstoken ([P_SEP]) en voegt een starttoken ([SOS]) toe.
   • Alleen de tokens die overeenkomen met de doelkop worden tijdens de training willekeurig gemaskeerd; bronproduct-tokens blijven ongemaskeerd om hun informatie te behouden.
   • Om auto-regressieve generatie (het voorspellen van één woord per keer) mogelijk te maken met een bidirectioneel model, gebruiken de auteurs masked attention. Dit wijzigt het standaard self-attention mechanisme om te voorkomen dat het model naar toekomstige tokens kijkt tijdens de inferentiestap, wat effectief de aandacht beperkt tot alleen toegankelijke tokens.

2. Training via Self-Critical Sequence Training (SCST):

   • Standaard MLM-training optimaliseert voor log-likelihood, wat kan leiden tot exposure bias en niet direct optimaliseert voor niet-differentieerbare kwaliteitsmetrieken zoals BLEU of ROUGE.
   • Om dit aan te pakken, formuleren de auteurs de generatietaak als een RL-probleem. Het model fungeert als een agent die gemaskeerde woorden (acties) voorspelt om een beloning te maximaliseren op basis van de kwaliteit van de kop.
   • Ze maken gebruik van Self-Critical Sequence Training (SCST). In deze opzet worden twee koppen gegenereerd voor dezelfde input:
     • $\hat{x}_h$: Gegenereerd door te samplen uit de vocabulaireverdeling van het model.
     • $\hat{z}_h$: Gegenereerd met behulp van een greedy inference strategie (het selecteren van de token met de hoogste waarschijnlijkheid bij elke stap).
   • De gradiënt wordt bijgewerkt op basis van het verschil in beloningen tussen de gesamplede kop en de greedy baseline: $\nabla \theta L_{SC\_MLM} \approx -(r(\hat{x}_h) - r(\hat{z}_h)) \nabla_\theta P$. Dit stelt het model in staat om direct te optimaliseren voor metrieken zoals ROUGE-L zonder de inference setup of latentie te veranderen.

3. Inference:

   • Tijdens de inference worden koppen auto-regressief gegenereerd met behulp van Beam Search.
   • Een aangepaste Length Normalization techniek wordt toegepast op de beam search scores om de bias tegen langere koppen te voorkomen, die doorgaans lagere ruwe log-waarschijnlijkheden hebben.
   • Post-processing omvat Regular Expression-gebaseerde opschoning om extra spaties rond symbolen te verwijderen.

Belangrijkste Bijdragen

• Multi-Product Conditionering: Het model is de eerste die MLMs gebruikt voor het genereren van koppen die gelijktijdig geconditioneerd zijn op meerdere producten, waardoor het effectief gedeelde attributen kan generaliseren.
• RL-Geoptimaliseerde MLM: Het artikel demonstreert een innovatieve toepassing van Self-Critical policy gradients om MLMs te trainen. Dit maakt directe optimalisatie van kopkwaliteitsmetrieken (bijv. ROUGE, BLEU) tijdens de training mogelijk, terwijl de standaard inference latentie van het model behouden blijft.
• Prestaties t.o.v. Baselines: De voorgestelde methode presteert beter dan bestaande baselines, inclus\nslief LSTM-gebaseerde Pointer Networks met RL en standaard Transformer-modellen, in zowel overlap-metrieken als menselijke kwaliteitsaudits.
• Efficiëntie: De aanpak vermindert de handmatige inspanning en tijd die nodig is om koppen te creëren aanzienlijk, terwijl de lage inference latentie behouden blijft.

Resultaten
Het systeem werd geëvalueerd op een dataset van meer dan 500.000 advertentiecampagnes van Amazon.

• Overlap Metrieken: De voorgestelde Self-Critical MLM (SC-MLM) behaalde de hoogste scores over alle overlap-metrieken (ROUGE-L, CIDEr, BLEU-4, METEOR) vergeleken met baselines en ablatie-studies. Zo behaalde het een ROUGE-L score van 6.33, wat de baseline bi-LSTM (0.62) en de standaard MLM zonder RL (5.08) aanzienlijk overtrof.
• Kwaliteitsaudits: In een grootschalige, dubbelblinde crowd-sourced evaluatie (N ≈ 5.000) presteerde het SC-MLM model beter dan menselijk ingediende koppen. Het behaalde een verbetering van 2,07% in de gemiddelde score ten opzichte van menselijke koppen en genereerde 6,53% meer koppen die beoordeeld werden als een perfecte "3 van de 3" (Correct en Aantrekkelijk).
• Grammatica: Het model vertoonde een superieure grammaticale correctheid, waarbij 98,13% van de SC-MLM koppen werd beoordeeld als grammaticaal correct, vergeleken met 93,14% voor menselijk ingediende koppen.
• Ablatie-studies: Experimenten bevestigden dat pre-training, het maskeren van alleen de kop (niet de bron-titels) en het gebruik van meerdere producten allemaal cruciaal waren voor de prestaties. Het gebruik van slechts één product resulteerde in een lagere kwaliteit, en het maskeren van bron-titels verminderde de prestaties.

Betekenis en Claims
Het artikel claimt dat dit werk een state-of-the-art (SOTA) oplossing vormt voor programmatische advertentie-kopgeneratie. De auteurs benadrukken dat hun methode erin slaagt de kloof te overbruggen tussen de expressieve kracht van pre-trained Transformers en de specifieke eisen van advertising (het generaliseren van meerdere producten, het optimaliseren van kwaliteitsmetrieken).

Cruciaal is dat de auteurs opmerken dat de Reinforcement Learning component alleen de trainingsprocedure wijzigt. Het verandert de inference setup niet of introduceert geen extra latentie, wat de oplossing praktisch maakt voor real-world, grootschalige implementatie. Het artikel concludeert dat deze aanpak niet beperkt is tot advertising, maar kan worden toegepast op andere NLG-taken zoals samenvatting en vertaling waar optimalisatie voor niet-differentieerbare metrieken gewenst is.