Ad Headline Generation using Self-Critical Masked Language Model

Sintesi Tecnica: Generazione di Titoli Pubblicitari tramite Modello di Linguaggio Mascherato Self-Critical

Problema
Generare titoli pubblicitari duraturi e di alta qualità per le piattaforme di e-commerce è una sfida non banale, particolarmente su larga scala. I metodi manuali esistenti spesso si affidano al riempimento programmatico di parole chiave o a creatività basate su template (ad es., "Risparmia ora su..."), che non riescono a creare entusiasmo o identità di marca. Inoltre, i dati sui prodotti retail presentano difficoltà uniche: i titoli spesso soffrono di una struttura scarsa, problemi grammaticali o frasi parziali, e le campagne frequentemente coinvolgono più prodotti correlati che devono essere generalizzati in un unico titolo coeso. L'obiettivo è costruire un sistema di Generazione del Linguaggio Naturale (NLG) in grado di generare istantaneamente titoli accattivanti e grammaticalmente corretti che catturino le caratteristiche condivise tra più prodotti senza essere specifici per un singolo articolo.

Metodologia
Gli autori propongono un approccio innovativo che combina i Modelli di Linguaggio Mascherati (MLM) con l'Apprendimento per Rinforzo (RL) utilizzando un metodo di gradiente di policy self-critical.

1. Architettura e Codifica dell'Input:

   • Il sistema utilizza un modello Transformer-based BERT (specificamente BERT Large).
   • A differenza dei modelli auto-regressivi standard, questo approccio condiziona la generazione su più prodotti simultaneamente. Il modello concatena i token di più titoli di prodotto utilizzando un token separatore speciale ([P_SEP]) e premette un token di inizio ([SOS]).
   • Solo i token corrispondenti al titolo target vengono mascherati casualmente durante l'addestramento; i token dei prodotti sorgente rimangono non mascherati per preservarne l'informazione.
   • Per abilitare la generazione auto-regressiva (predire una parola alla volta) con un modello bidirezionale, gli autori impiegano l'attenzione mascherata (masked attention). Questo modifica il meccanismo di auto-attenzione standard per impedire al modello di prestare attenzione ai token futuri durante la fase di inferenza, limitando efficacemente l'attenzione solo ai token accessibili.

2. Addestramento tramite Self-Critical Sequence Training (SCST):

   • L'addestramento MLM standard ottimizza la log-likelihood, il che può portare al bias di esposizione (exposure bias) e non ottimizza direttamente metriche di qualità non differenziabili come BLEU o ROUGE.
   • Per affrontare questo problema, gli autori inquadrano il compito di generazione come un problema di RL. Il modello agisce come un agente che predice le parole mascherate (azioni) per massimizzare una ricompensa basata sulla qualità del titolo.
   • Utilizzano il Self-Critical Sequence Training (SCST). In questa configurazione, vengono generati due titoli per lo stesso input:
     • $\hat{x}_h$: Generato campionando dalla distribuzione del vocabolario del modello.
     • $\hat{z}_h$: Generato utilizzando una strategia di inferenza greedy (selezionando il token con la probabilità più alta ad ogni step).
   • Il gradiente viene aggiornato in base alla differenza di ricompensa tra il titolo campionato e la baseline greedy: $\nabla \theta L_{SC\_MLM} \approx -(r(\hat{x}_h) - r(\hat{z}_h)) \nabla_\theta P$. Ciò consente al modello di ottimizzare direttamente metriche come ROUGE-L senza alterare la configurazione di inferenza o la latenza.

3. Inferenza:

   • Durante l'inferenza, i titoli vengono generati auto-regressivamente utilizzando la Beam Search.
   • Viene applicata una tecnica modificata di Normalizzazione della Lunghezza (Length Normalization) ai punteggi della beam search per prevenire il bias contro i titoli più lunghi, che tipicamente hanno log-probabilità grezze inferiori.
   • Il post-processing include la pulizia basata su Espressioni Regolari per rimuovere spazi extra attorno ai simboli.

Contributi Chiave

• Condizionamento Multi-Prodotto: Il modello è il primo a utilizzare gli MLM per generare titoli condizionati su più prodotti simultaneamente, permettendogli di generalizzare efficacemente gli attributi condivisi.
• MLM Ottimizzato tramite RL: Il documento dimostra un'applicazione innovativa dei gradienti di policy self-critical per addestrare gli MLM. Ciò consente l'ottimizzazione diretta delle metriche di qualità del titolo (ad es., ROUGE, BLEU) durante l'addestramento, mantenendo la latenza di inferenza standard del modello.
• Performance rispetto alle Baseline: Il metodo proposto supera le baseline esistenti, inclusi i Pointer Networks basati su LSTM con RL e i modelli Transformer standard, sia in termini di metriche di sovrapposizione che in audit di qualità umana.
• Efficienza: L'approccio riduce significativamente l'impegno manuale e il tempo necessari per creare titoli, mantenendo una bassa latenza di inferenza.

Risultati
Il sistema è stato valutato su un dataset di oltre 500.000 campagne pubblicitarie di Amazon.

• Metriche di Sovrapposizione: Il Self-Critical MLM (SC-MLM) proposto ha ottenuto i punteggi più alti in tutte le metriche di sovrapposizione (ROUGE-L, CIDEr, BLEU-4, METEOR) rispetto alle baseline e agli studi di ablazione. Ad esempio, ha raggiunto un punteggio ROUGE-L di 6,33, superando significativamente la baseline bi-LSTM (0,62) e l'MLM standard senza RL (5,08).
• Audit di Qualità: In una valutazione su larga scala, in doppio cieco e crowdsourced (N ≈ 5.000), il modello SC-MLM ha superato i titoli inviati dagli umani. Ha ottenuto un miglioramento del 2,07% nel rating medio rispetto ai titoli umani e ha generato il 6,53% in più di titoli valutati come un "3 su 3" perfetto (Corretto e Accattivante).
• Grammatica: Il modello ha dimostrato una correttezza grammaticale superiore, con il 98,13% dei titoli SC-MLM giudicati grammaticalmente corretti, rispetto al 93,14% dei titoli inviati dagli umani.
• Studi di Ablazione: Gli esperimenti hanno confermato che il pre-training, l'uso di BERT Large, la mascheratura solo del titolo (non dei titoli dei prodotti sorgente) e l'utilizzo di più prodotti erano tutti critici per le prestazioni. L'uso di un singolo prodotto ha portato a una qualità inferiore, così come la mascheratura dei titoli sorgente ha ridotto le prestazioni.

Significatività e Rivendicazioni
Il documento sostiene che questo lavoro rappresenti una soluzione allo stato dell'arte (SOTA) per la generazione programmata di titoli pubblicitari. Gli autori sottolineano che il loro metodo riesce a colmare il divario tra la potenza espressiva dei Transformer pre-addestrati e i requisiti specifici della pubblicità (generalizzare più prodotti, ottimizzare le metriche di qualità).

Fondamentalmente, gli autori notano che la componente di Reinforcement Learning modifica solo la procedura di addestramento. Non cambia la configurazione di inferenza né introduce latenza aggiuntiva, rendendo la soluzione pratica per l'implementazione nel mondo reale su larga scala. Il documento conclude che questo approccio non è limitato alla pubblicità, ma può essere applicato ad altri compiti di NLG come la sintesi o la traduzione, dove è desiderabile ottimizzare metriche non differenziabili.