Enhancement of E-commerce Sponsored Search Relevancy with LLM

Resumen Técnico: Mejora de la Relevancia de la Búsqueda Patrocinada en E-commerce con LLM

Planteamiento del Problema
La búsqueda patrocinada es una vía de ingresos crítica para las plataformas de comercio electrónico, la cual depende del emparejamiento preciso entre las palabras clave de los anunciantes y las consultas de búsqueda de los usuarios. Sin embargo, garantizar la pertinencia de los anuncios se complica debido al vasto y evolutivo espacio de palabras clave, la ambigüedad de las intenciones de usuarios y anunciantes, y la diversidad de temas e idiomas. Los enfoques algorítmicos tradicionales, como la coincidencia de palabras clave y el filtrado colaborativo, a menudo fallan al capturar el lenguaje matizado de las consultas de los consumidores (por ejemplo, preferencias implícitas de durabilidad o rango de precio). Esta limitación conduce a resultados de búsqueda subóptimos, impactando negativamente la satisfacción del usuario, las tasas de clics y las tasas de conversión. El desafío radica en desarrollar un sistema que pueda interpretar intenciones de consulta breves y complejas de manera rápida, precisa y rentable dentro de las restricciones de un entorno de comercio electrónico en vivo.

Metodología
Los autores proponen un Modelo de Relevancia de Anuncios avanzado construido sobre el modelo de lenguaje grande (LLM) de decodificador LLaMA2 7B, específicamente adaptado para el contexto de la búsqueda patrocinada en e-commerce. La innovación técnica central es el uso de Adaptación de Bajo Rango (LoRA) para realizar el ajuste fino (fine-tuning) del modelo preentrenado.

• Arquitectura: El sistema utiliza un enfoque de ajuste fino de parámetros eficientes (Peft). En lugar de reentrenar todo el modelo de 7 mil millones de parámetros, LoRA introduce matrices de bajo rango ($A$ y $B$) en las matrices de pesos de componentes específicos, incluyendo el mecanismo de atención (proyecciones de consulta, clave, valor y salida) y las redes de alimentación hacia adelante (feed-forward networks: proyecciones de puerta, up y down). Los pesos originales ($W$) permanecen congelados, mientras que solo los parámetros de LoRA se actualizan durante el entrenamiento. Esto reduce significativamente los recursos computacionales y el tiempo de entrenamiento.
• Formulación de la Tarea: El modelo funciona como un clasificador de <consulta, título de anuncio>. Toma una consulta de usuario y un título de producto de un anuncio como entrada y predice una puntuación de relevancia, categorizando el par en una de tres clases: Relevante, Parcialmente Relevante o Irrelevante.
• Datos de Entrenamiento: El modelo fue entrenado con un conjunto de datos derivado de los registros de consultas de Walmart, que comprende 250,000 pares de consulta-artículo para entrenamiento, con 56,000 pares cada uno para validación y prueba. Los datos fueron anotados por evaluadores humanos externos en una escala de tres puntos (0: Irrelevante, 1: Parcialmente Relevante, 2: Relevante), donde el voto mayoritario determinó la verdad fundamental (ground truth).
• Optimización: El modelo fue entrenado utilizando el optimizador Adam con una tasa de aprendizaje de 1e-5 y una función de pérdida de entropía cruzada categórica durante 7 épocas en una configuración con 4 GPUs Tesla V100.

Contribuciones Clave

1. Adaptación de LLM para E-commerce: El artículo demuestra la adaptación exitosa del modelo de código abierto LLaMA2 7B para comprender las intenciones específicas detrás de las consultas de e-commerce (por ejemplo, "bombillas LED de bajo consumo") sin requerir un sistema de comprensión de consultas separado y complejo.
2. Ajuste Fino Eficiente mediante LoRA: Los autores muestran una aplicación novedosa de LoRA para ajustar un modelo de lenguaje grande para la búsqueda patrocinada, logiendo un alto rendimiento manteniendo la eficiencia computacional y la privacidad operativa.
3. Sistema de Clasificación Novedoso: El desarrollo de un clasificador especializado de <consulta, título de anuncio> que distingue la relevancia a través de tres categorías distintas, mejorando los modelos de relevancia binaria.
4. Marco de Etiquetado Automatizado: El sistema facilita el entrenamiento continuo del modelo a través de una capacidad avanzada de auto-etiquetado, reduciendo la dependencia de la anotación manual de datos.
5. Benchmarking Exhaustivo: Un análisis comparativo riguroso contra modelos tradicionales de NLP (Bi-Encoder y Cross-Encoder basados en BERT) y modelos de última generación (GPT-4 usando aprendizaje de pocos disparos o few-shot learning).

Resultos Experimentales
El modelo LLaMA2 7B ajustado demostró un rendimiento superior en múltiples métricas:

• Precisión (Accuracy): El modelo alcanzó un 89.43% de precisión en el conjunto de datos de prueba, superando al Cross-Encoder basado en BERT (86.27%), al Bi-Encoder basado en BERT (74.42%) y a GPT-4 (63.02%).
• Precisión y Exhaustividad (Precision and Recall): El modelo mantuvo una precisión equilibrada del 89.75% y un recall del 89.22%, resultando en un puntaje F1 de 89.41%. Este equilibrio es crítico para minimizar tanto los falsos positivos como los falsos negativos en la colocación de anuncios.
• Ranking de Relevancia: En términos de Ganancia Acumulada Descontada Normalizada (NDCG), el modelo alcanzó 0.7142 en NDCG@4 y 0.6774 en NDCG@8, superando a ambas variantes de BERT.
• Análisis Cualitativo: Los estudios de caso indicaron que, mientras que GPT-4 tendía a sobregeneralizar (por ejemplo, clasificando un "Desmenzador de Pollo" como altamente relevante para "pollo desmenuzado"), el modelo LLaMA2 ajustado exhibió una mejor capacidad de discernimiento de la relevancia indirecta y el contexto, identificando correctamente artículos como "Cinta Médica McKesson" para "cinta de primeros auxilios", evitando falsos positivos en artículos no relacionados como "limpiador de vidrios" para "toallitas para lentes ZEISS".

Significancia y Reivindicaciones
El artículo afirma que la integración de LoRA con el modelo LLaMA2 7B representa un avance significativo en la personalización de modelos de lenguaje para aplicaciones de comercio electrónico. La importancia de este trabajo reside en su capacidad para entregar una tríada de beneficios esenciales para los mercados digitales modernos:

1. Mejora de la Precisión de Búsqueda: Al comprender mejor las intenciones de consulta complejas, el modelo mejora la relevancia de los resultados patrocinados, impulsando directamente la satisfacción del usuario y las métricas de negocio.
2. Eficiencia de Costos: El enfoque LoRA permite un ajuste fino eficiente sin los extensos recursos computacionales requeridos para el reentrenamiento completo del modelo, lo que lo hace escalable para plataformas de e-commerce a gran escala.
3. Privacidad Operativa: A diferencia del uso de APIs externas (como GPT-4), el uso de un modelo de código abierto alojado localmente asegura la privacidad y seguridad de los datos, un factor crítico en entornos de comercio electrónico empresariales.

Los autores concluyen que, si bien la evaluación se centró en la búsqueda patrocinada, la metodología es versátil y aplicable a contextos más amplios de búsqueda en e-commerce, ofreciendo una solución práctica e impactante para mejorar las experiencias de compra en línea.