Image Score: Learning and Evaluating Human Preferences for Mercari Search

Aquí se presenta un resumen técnico detallado del artículo "Image Score: Learning and Evaluating Human Preferences for Mercari Search".

1. Enunciado del Problema

Mercari, el mayor mercado de comercio electrónico C2C de Japón, enfrenta un desafío en la optimización de los resultados de búsqueda donde la calidad de la imagen es un diferenciador principal. A diferencia del comercio electrónico tradicional, donde los títulos y descripciones de los productos dominan, los usuarios de Mercari a menudo toman decisiones basándose en las imágenes y los precios antes de leer los títulos (como se observa en la disposición en cuadrícula de la aplicación).

• El Problema Central: Si bien la retroalimentación implícita (clics) es abundante, está fuertemente confundida por la relevancia y el sesgo de posición. Es difícil aislar el impacto específico de la calidad de la imagen en el comportamiento del usuario de estos otros factores.
• Escasez de Datos: La evaluación tradicional de la calidad de la imagen depende de anotación humana costosa y que consume tiempo, lo cual no es escalable para un mercado con millones de listados.
• Objetivo: Desarrollar un método rentable para evaluar la calidad de la imagen, desacoplarla de la relevancia y utilizarla para mejorar la clasificación de búsqueda y la participación del usuario (clics y ventas).

2. Metodología

Los autores proponen una tubería que aprovecha los Modelos de Lenguaje Grande (LLM) para una supervisión débil con el fin de generar etiquetas de entrenamiento, las cuales se utilizan posteriormente para entrenar un modelo de aprendizaje automático ligero para su implementación en línea.

A. Recopilación de Datos y Generación de Etiquetas

• Hipótesis: Si dos artículos son similarmente relevantes y tienen precios similares, el que tenga una mejor calidad de imagen recibirá más clics.
• Filtrado de Datos: El equipo extrajo registros de búsqueda y aplicó un filtrado estricto para crear "pares de artículos similares":
  • Filtrado por Precio: Artículos dentro de un rango de precios específico del primer artículo clicado.
  • Ventanilla de Posición: Conservar los artículos inmediatamente antes y después del artículo clicado (para minimizar el sesgo de posición).
  • Resultado: Un conjunto de datos de 150k SERP (Páginas de Resultados de Motores de Búsqueda) de entrenamiento y 36k SERP de validación.
• Anotación con LLM (Supervisión Débil):
  • En lugar de anotadores humanos, utilizaron GPT-4 a través de una API de Visión.
  • Prompting de Cadena de Pensamiento (CoT): Se solicitó al LLM que analizara elementos estéticos (armonía de color, brillo, composición, etc.) y asignara una puntuación (0–10) a las imágenes en un lote, comparándolas entre sí en lugar de de forma aislada.
  • Salida: Puntuaciones estéticas en formato JSON y adjetivos descriptivos.

B. Arquitectura del Modelo

• Base: Los autores utilizaron incrustaciones de CLIP (Pre-entrenamiento de Lenguaje-Imagen Contrastivo) (específicamente ViT-B/16 pre-entrenado en CC12M traducido). Descubrieron que las incrustaciones de CLIP congeladas ya capturan atributos de calidad de manera efectiva.
• Ajuste Fino: Se añadió un Perceptrón Multicapa (MLP) encima del codificador CLIP congelado.
• Objetivo de Entrenamiento:
  • Formulado como un problema de Aprendizaje de Clasificación por Pares (LTR).
  • Función de Pérdida: Se utilizó Focal Loss en lugar de la Entropía Cruzada estándar. Esto se eligió para manejar etiquetas ruidosas (provenientes de LLM) y evitar que el modelo se vea abrumado por ejemplos negativos "fáciles".
  • Construcción de Datos: Para una consulta, si el LLM clasifica la imagen $x_i$ más alto que $x_j$, el modelo se entrena para predecir una puntuación más alta para $x_i$.

C. Implementación e Integración

• Inferencia: El modelo se aloja en el Servidor de Inferencia NVIDIA Triton.
• Tubería: Integrada en la tubería de indexación de Google Cloud Dataflow. Cuando se actualiza un artículo, se predice la puntuación de la imagen de forma síncrona y se indexa en Elasticsearch.
• Estrategia de Clasificación: La puntuación de la imagen se integra en la fórmula de clasificación de Elasticsearch utilizando dos enfoques probados en pruebas A/B:
  1. Multiplicativo: puntuación_final = puntuación_relevancia_existente * puntuación_imagen
  2. Aditivo: puntuación_final = puntuación_relevancia_existente + puntuación_imagen

3. Contribuciones Clave

1. Desacoplamiento de la Relevancia de la Retroalimentación Implícita: Un enfoque novedoso de generación de datos que aísla el impacto de la calidad de la imagen controlando el precio y la relevancia, permitiendo que los clics se utilicen como una métrica válida para la evaluación de la calidad de la imagen.
2. Supervisión Débil Impulsada por LLM: Demostró que los LLM (GPT-4) con prompting de Cadena de Pensamiento pueden generar etiquetas estéticas de imágenes de alta calidad e interpretables que se correlacionan fuertemente con el comportamiento humano, ofreciendo una alternativa rentable a la anotación humana.
3. Modelo Eficiente en Costos: Se entrenó con éxito un modelo ligero (CLIP + MLP) que supera a las líneas base, demostrando que la inferencia costosa de LLM solo es necesaria para la generación de etiquetas, no para la clasificación en tiempo real.
4. Impacto Empresarial: Validó el enfoque mediante pruebas A/B en línea, mostrando un crecimiento significativo de los ingresos.

4. Resultados Experimentales

Evaluación Offline

• Métricas: Precisión de Pares Ordenados (OPA) y Precisión de Clics (CA).
• Líneas Base: Adivinanza Aleatoria, CTR Histórico y Puntuación CLIP (zero-shot).
• Rendimiento:
  • Image Score (Focal Loss): Logró un 67.75% de OPA y un 64.42% de CA.
  • Comparación: Superó significativamente a la Adivinanza Aleatoria (50%) y al CTR Histórico (que tuvo un rendimiento peor que la adivinanza aleatoria, ~42-44%).
  • Insight: El CTR Histórico falló porque está confundido por la relevancia; el Image Score aisló con éxito la calidad.

Pruebas A/B en Línea (Plataforma Web)

• Configuración: Tres grupos: Control (Línea Base), Impulso Aditivo, Impulso Multiplicativo.
• Métrica Clave: Transacciones Promedio por Usuario (ATPU).
• Resultados:
  • Variante 1 (Aditiva): ATPU aumentó un 6.99% (estadísticamente significativo, valor t 2.22).
  • Variante 2 (Multiplicativa): ATPU aumentó un 6.66%.
  • Observación: Las mejoras fueron significativas en la plataforma Web pero mostraron impactos negativos/neutrales en Móvil. Los autores hipotetizan que los usuarios web son más sensibles a la calidad visual debido a resoluciones de pantalla más altas.

5. Significado y Trabajo Futuro

• Significado: Este trabajo cierra la brecha entre la evaluación de la calidad de imagen mediante Aprendizaje Profundo y la optimización práctica del comercio electrónico. Demuestra que los LLM pueden servir como "proxies humanos" escalables para entrenar modelos de clasificación, reduciendo drásticamente el costo del etiquetado de datos mientras mejoran la explicabilidad.
• Limitaciones:
  • Imágenes Generadas por IA: El sistema actualmente lucha por distinguir entre fotos reales de alta calidad e imágenes generadas por IA, las cuales pueden explotar el sistema de puntuación.
  • Variación de Plataforma: La efectividad del modelo varía según el dispositivo (Web vs. Móvil), lo que sugiere la necesidad de ponderación específica por plataforma.
• Direcciones Futuras:
  • Integrar la detección de contenido generado por IA para evitar manipular el sistema.
  • Desarrollar bucles de retroalimentación continua para el monitoreo en tiempo real.
  • Refinar el modelo para tener en cuenta las preferencias de los usuarios específicas de la plataforma.

En conclusión, el artículo presenta un marco robusto y escalable para mejorar la relevancia de la búsqueda en mercados C2C cuantificando la calidad de la imagen, lo que conduce directamente a un aumento de ~7% en las transacciones de ventas en la plataforma web.