Ad Headline Generation using Self-Critical Masked Language Model

Resumen Técnico: Generación de Titulares de Anuncios mediante un Modelo de Lenguaje Enmascarado Autocrítico

Planteamiento del Problema
Generar anuncios duraderos y de alta calidad para plataformas de comercio electrónico es un desafío no trivial, particularmente a escala. Los métodos manuales existentes suelen depender del relleno programático de palabras clave o de creatividades basadas en plantillas (por. ej., "Ahorre ahora en..."), los cuales no logran generar entusiasmo ni identidad de marca. Además, los datos de productos minoristas presentan dificultades únicas: los títulos suelen sufrir de una estructura deficiente, problemas gramaticales o frases parciales, y las campañas frecuentemente involucran múltiples productos relacionados que deben generalizarse en un solo titular cohesivo. El objetivo es construir un sistema de Generación de Lenguaje Natural (NLG) que pueda generar instantáneamente titulares atractivos y gramaticalmente correctos que capturen las características compartidas entre múltiples productos sin ser específicos para un solo artículo.

Metodología
Los autores proponen un enfoque novedoso que combina Modelos de Lenguaje Enmascarado (MLM) con Aprendizaje por Refuerzo (RL) utilizando un método de gradiente de política autocrítico.

1. Arquitectura y Codificación de Entrada:

   • El sistema utiliza un modelo basado en Transformer, BERT (específicamente BERT Large).
   • A diferencia de los modelos autorregresivos estándar, este enfoque condiciona la generación en múltiples productos simultáneamente. El modelo concatena tokens de múltiples títulos de productos utilizando un token separador especial ([P_SEP]) y antepone un token de inicio ([SOS]).
   • Solo los tokens correspondientes al titular objetivo se enmascaran aleatoriamente durante el entrenamiento; los tokens de los productos de origen permanecen sin enmascarar para preservar su información.
   • Para permitir la generación autorregresiva (predicción de una palabra a la vez) con un modelo bidireccional, los autores emplean atención enmascarada. Esto modifica el mecanismo de autoatención estándar para evitar que el modelo atienda a tokens futuros durante la etapa de inferencia, restringiendo efectivamente la atención únicamente a los tokens accesibles.

2. Entrenamiento mediante Entrenamiento de Secuencia Autocrítico (SCST):

   • El entrenamiento estándar de MLM optimiza la log-verosimilitud, lo que puede conducir al sesgo de exposición y no optimiza directamente métricas de calidad no diferenciables como BLEU o ROUGE.
   • Para abordar esto, los autores enmarcan la tarea de generación como un problema de RL. El modelo actúa como un agente que predice palabras enmascaradas (acciones) para maximizar una recompensa basada en la calidad del titular.
   • Emplean el Entrenamiento de Secuencia Autocrítico (SCST). En esta configuración, se generan dos titulares para la misma entrada:
     • $\hat{x}_h$: Generado mediante el muestreo de la distribución del vocabulario del modelo.
     • $\hat{z}_h$: Generado utilizando una estrategia de inferencia codiciosa (greedy) (seleccionando el token con la mayor probabilidad en cada paso).
   • El gradiente se actualiza basándose en la diferencia de recompensas entre el titular muestreado y la línea base codiciosa: $\nabla \theta L_{SC\_MLM} \approx -(r(\hat{x}_h) - r(\hat{z}_h)) \nabla_\theta P$. Esto permite optimizar directamente métricas como ROUGE-L sin alterar la configuración de inferencia o la latencia.

3. Inferencia:

   • Durante la inferencia, los titulares se generan de forma autorregresiva utilizando Búsqueda de Haz (Beam Search).
   • Se aplica una técnica de Normalización de Longitud modificada a las puntuaciones de la búsqueda de haz para evitar el sesgo contra los titulares más largos, que típicamente tienen log-probabilidades puras más bajas.
   • El post-procesamiento incluye la limpieza basada en Expresiones Regulares para eliminar espacios adicionales alrededor de los símbolos.

Contribuciones Clave

• Condicionamiento de Multi-Producto: El modelo es el primero en utilizar MLMs para generar titulares condicionados en múltiples productos simultáneamente, lo que le permite generalizar atributos compartidos de manera efectiva.
• MLM Optimizado por RL: El artículo demuestra una aplicación novedosa de los gradientes de política autocríticos para entrenar MLMs. Esto permite la optimización directa de las métricas de calidad del titular (por ejemplo, ROUGE, BLEU) durante el entrenamiento, manteniendo la latencia de inferencia estándar del modelo.
• Rendimiento sobre Baselines: El método propuesto supera a los baselines existentes, incluyendo Redes de Punteros basadas en LSTM con RL y modelos Transformer estándar, tanto en métricas de traslape como en auditorías de calidad humana.
• Eficiencia: El enfoque reduce significativamente el esfuerzo y el tiempo manual requeridos para crear titulares, manteniendo una baja latencia de inferencia.

Resultados
El sistema fue evaluado en un conjunto de datos de más de 500,000 campañas publicitarias de Amazon.

• Métricas de Traslape: El SC-MLM (Self-Critical MLM) propuesto alcanzó las puntuaciones más altas en todas las métricas de traslape (ROUGE-L, CIDEr, BLEU-4, METEOR) en comparación con los baselines y estudios de ablación. Por ejemplo, alcanzó una puntuación ROUGE-L de 6.33, superando significativamente al bi-LSTM base (0.62) y al MLM estándar sin RL (5.08).
• Auditorías de Calidad: En una evaluación de gran escala, de doble ciego y crowdsourced (N ≈ 5,000), el modelo SC-MLM superó a los titulares enviados por humanos. Logró una mejora del 2.07% en la calificación media sobre los titulares humanos y generó un 6.53% más de titulares calificados como un "3 de 3" perfecto (Correcto y Atractivo).
• Gramática: El modelo demostró una corrección gramatical superior, con un 98.13% de los titulares de SC-MLM juzgados como gramaticalmente correctos, en comparación con el 93.14% de los titulares enviados por humanos.
• Estudios de Ablación: Los experimentos confirmaron que el pre-entrenamiento, el uso de BERT Large, el enmascaramiento solo del titular (no de los títulos de origen) y el uso de múltiples productos fueron todos críticos para el rendimiento. El uso de un solo producto resultó en una menor calidad, y el enmascaramiento de los títulos de origen redujo el rendimiento.

Significancia y Reivindicaciones
El artículo afirma que este trabajo representa una solución de estado del arte (SOTA) para la generación programática de titulares de anuncios. Los autores enfatizan que su método logra cerrar la brecha entre el poder expresivo de los Transformers pre-entrenados y los requisitos específicos de la publicidad (generalizar múltiples productos, optimizar métricas de calidad).

Crucialmente, los autores señalan que el componente de Aprendizaje por Refuerzo solo modifica el procedimiento de entrenamiento. No cambia la configuración de inferencia ni introduce latencia adicional, lo que hace que la solución sea práctica para el despliegue en el mundo real a gran escala. El artículo concluye que este enfoque no se limita a la publicidad, sino que puede aplicarse a otras tareas de NLG como la sumarización y la traducción donde se desee optimizar métricas no diferenciables.