Scaling Search Relevance: Augmenting App Store Ranking with LLM-Generated Judgments

Este artículo presenta un enfoque para mejorar la relevancia de la búsqueda en la App Store mediante el uso de un modelo de lenguaje grande (LLM) especializado y ajustado para generar millones de etiquetas de relevancia textual, lo que permitió optimizar simultáneamente la relevancia conductual y textual, resultando en un aumento estadísticamente significativo del 0,24% en la tasa de conversión global y mejoras notables en consultas de cola.

Lo esencial

Imagina que la App Store es como una biblioteca gigante y desordenada con millones de libros (aplicaciones). Tu trabajo es ser el bibliotecario que ayuda a los visitantes a encontrar exactamente lo que buscan.

El problema es que tienes dos formas de saber qué libro es bueno:

1. La "Relevancia de Comportamiento" (Lo que la gente hace): Sabes que un libro es bueno porque mucha gente lo ha cogido de la estantería y se lo ha llevado a casa (descargas). Esto es fácil de medir: ¡hay millones de datos!
2. La "Relevancia Textual" (Lo que dice el libro): Sabes que un libro es bueno porque, si lees su título y resumen, coincide perfectamente con lo que el visitante pidió. Pero aquí está el truco: para saber esto, necesitas expertos humanos que lean y evalúen cada libro. Y como hay millones de libros, no hay suficientes expertos para leerlos a todos. Es como intentar que un solo bibliotecario lea todos los libros del mundo; es imposible y muy lento.

El Gran Problema

En las búsquedas de la App Store, cuando alguien busca algo muy común (como "WhatsApp"), hay millones de datos sobre quién lo descarga. Pero cuando alguien busca algo raro o específico (una "cola" de la búsqueda, como "juego de ajedrez para gatos en 1990"), casi nadie descarga nada porque es una búsqueda muy nueva o rara.

Sin datos de descargas, el sistema no sabe qué mostrar. Y como no hay expertos humanos para evaluar esos libros raros, el sistema falla y muestra resultados basura.

La Solución Mágica: El "Bibliotecario Robot" (LLM)

Los autores de este paper decidieron crear un bibliotecario robot (un modelo de Inteligencia Artificial o LLM) para ayudar a los humanos.

Pero no usaron cualquier robot. Probaron tres tipos:

1. Un robot gigante pero sin entrenamiento (muy grande, pero no sabe las reglas de Apple).
2. Otro robot gigante.
3. Un robot más pequeño, pero al que entrenaron específicamente con las notas de los bibliotecarios humanos expertos.

El resultado sorprendente: El robot pequeño y entrenado fue mucho mejor que los gigantes sin entrenamiento. Aprendió a pensar exactamente como un humano experto, pero a una velocidad increíble.

¿Qué hicieron con este robot?

En lugar de usar al robot para buscar en tiempo real (lo cual sería lento), lo usaron como una fábrica de etiquetas.

• El robot leyó millones de combinaciones de "búsqueda + aplicación" que los humanos nunca podrían revisar.
• Les asignó una nota de calidad (como un 1 al 5) basándose en si el título y la descripción de la app coincidían con lo que el usuario buscaba.
• ¡Generaron millones de nuevas etiquetas de calidad!

El Resultado Final: Un Super-Sistema

Ahora, el sistema de búsqueda de la App Store se entrenó con dos cosas:

1. Los datos reales de lo que la gente descarga (comportamiento).
2. Los millones de etiquetas nuevas creadas por el robot (texto).

¿Qué pasó?

• Mejoró lo obvio: Las búsquedas comunes funcionaron un poco mejor.
• Mejoró lo difícil: Las búsquedas raras y específicas (la "cola") mejoraron muchísimo. Antes, el robot no sabía qué mostrar para esas búsquedas raras porque no había datos de descargas. Ahora, el robot le dijo: "Oye, aunque nadie ha descargado esto, la descripción coincide perfectamente con lo que buscas".

En Resumen

Imagina que antes el bibliotecario solo sabía recomendar libros porque veía a la gente comprarlos. Si nadie compraba un libro raro, el bibliotecario no sabía qué recomendar.

Con este nuevo sistema, el bibliotecario tiene un asistente robot que ha leído y entendido millones de libros. Ahora, incluso si nadie ha comprado un libro raro, el robot le dice al bibliotecario: "Este libro es perfecto para lo que el cliente pide".

El impacto real:
En las pruebas reales de la App Store, esto hizo que más gente descargara aplicaciones (un aumento del 0.24%, que en el mundo de las grandes empresas es una victoria enorme). Pero lo más importante es que ayudó a los usuarios a encontrar cosas que antes eran imposibles de encontrar, cerrando la brecha entre lo que la gente busca y lo que la App Store puede ofrecer.

Es como pasar de tener un mapa incompleto a tener un mapa donde cada rincón, incluso los más pequeños y oscuros, está perfectamente iluminado.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo en español:

Resumen Técnico: Escalando la Relevancia de la Búsqueda: Aumentando la Clasificación de la App Store con Juicios Generados por LLM

1. El Problema

Los sistemas de búsqueda a gran escala, como el de la App Store, deben optimizar dos objetivos complementarios para garantizar la satisfacción del usuario:

• Relevancia Conductual: Basada en acciones reales de los usuarios (clics y descargas). Estos datos son abundantes.
• Relevancia Textual: Basada en la adecuación semántica entre la consulta y el resultado, juzgada por expertos humanos.

El desafío principal es la escasez crítica de etiquetas de relevancia textual generadas por humanos. Producir estas etiquetas es costoso y lento, creando un cuello de botella que deja el objetivo de relevancia textual "subalimentado" en los modelos de entrenamiento multi-objetivo. Esto limita la capacidad del sistema para clasificar correctamente consultas donde los datos conductuales son insuficientes (como en las consultas de "cola" o tail queries).

2. Metodología Propuesta

Los autores proponen un enfoque de dos etapas para superar la escasez de datos utilizando el paradigma "LLM como Juez" (LLM-as-a-Judge):

A. Generación de Etiquetas de Relevancia

En lugar de usar LLMs en tiempo real para reordenar resultados (lo cual introduce latencia), utilizan un LLM como generador de etiquetas offline a gran escala.

• Entrenamiento del Modelo: Se compararon tres configuraciones: un modelo preentrenado de 3B parámetros, uno de 30B parámetros y una versión del modelo de 3B ajustada finamente (fine-tuned) utilizando juicios históricos de evaluadores humanos.
• Prompting: Se utilizaron estrategias de few-shot prompting (pocos ejemplos) con metadatos de la aplicación y la consulta para guiar al modelo.
• Selección del Modelo: Se identificó que el modelo ajustado finamente de 3B parámetros (FT-3B) superó significativamente a los modelos preentrenados más grandes (incluido el de 30B) en precisión, recall y F1-score. Esto demostró que el ajuste fino sobre un modelo más pequeño es más eficiente y efectivo que usar un modelo masivo sin ajustar.
• Escala: El modelo óptimo generó millones de nuevas etiquetas de relevancia textual a través de múltiples tiendas y idiomas.

B. Entrenamiento del Clasificador Multi-Objetivo

Las nuevas etiquetas generadas por el LLM se integraron en la tubería de entrenamiento del clasificador de producción existente:

• Marco Multi-Objetivo: El sistema optimiza conjuntamente la relevancia conductual y textual.
• Mezcla de Datos: Se construyó un conjunto de datos de entrenamiento combinando registros de comportamiento (descargas/clics) y las nuevas etiquetas textuales (humanas + LLM).
• Estrategia de Entrenamiento: Se utilizó una técnica de escalarización dentro de la optimización multi-objetivo (MOO). Se mezclaron las fuentes de datos con diferentes proporciones (hiperparámetros ajustables) para controlar la influencia de cada objetivo, permitiendo moverse a lo largo de la frontera de Pareto.

3. Contribuciones Clave

1. Evaluación a Gran Escala: Demostraron experimentalmente que un modelo ajustado finamente (aunque más pequeño) es superior a modelos preentrenados masivos para la tarea específica de anotación de relevancia en un dominio industrial.
2. Generación Masiva de Datos: Crearon millones de etiquetas de relevancia textual en múltiples idiomas, resolviendo el problema de la escasez de datos de entrenamiento.
3. Desplazamiento de la Frontera de Pareto: Demostraron que enriquecer los datos de entrenamiento con etiquetas LLM permite al clasificador mejorar simultáneamente la relevancia conductual y textual, logrando una mejora estricta (dominancia) sobre el modelo de producción anterior.
4. Validación Industrial: Validaron el enfoque tanto en métricas offline como en pruebas A/B en vivo a nivel mundial.

4. Resultados

Evaluación Offline

• Calidad del LLM: El modelo FT-3B alcanzó un F1-score de 0.800, superando al modelo preentrenado de 30B (F1: 0.382).
• Rendimiento del Clasificador: El modelo aumentado con LLM (llm-augmented) superó al modelo de producción (prod) en todas las métricas NDCG (Normalized Discounted Cumulative Gain):
  • Relevancia Textual: Mejora en NDCG@1, @3 y @7.
  • Relevancia Conductual: Mejora simultánea en NDCG conductual, lo que confirma que no hubo compensación negativa entre los objetivos.

Pruebas A/B en Vivo (Online)

• Métrica Principal: Se observó un aumento estadísticamente significativo del +0.24% en la tasa de conversión (sesiones con al menos una descarga).
• Impacto por Tipo de Consulta:
  • Las mejoras más sustanciales ocurrieron en las consultas de cola (tail queries).
  • Razón: En consultas de baja frecuencia, los datos conductuales son escasos o ruidosos. Las nuevas etiquetas textuales generadas por el LLM proporcionaron una señal robusta y precisa donde antes faltaba información, cerrando la brecha de relevancia.
  • La mejora se observó en el 89% de las tiendas de aplicaciones a nivel mundial.

5. Significado e Impacto

Este trabajo proporciona una "hoja de ruta" práctica para sistemas de búsqueda industriales que enfrentan escasez de datos de anotación.

• Eficiencia de Costos: Demuestra que no es necesario usar modelos LLM gigantes y costosos en tiempo real; un modelo pequeño ajustado finamente puede actuar como un "multiplicador de fuerza" para los evaluadores humanos.
• Escalabilidad: Permite generar datos de entrenamiento de alta calidad a una escala que sería imposible con anotación humana pura.
• Mejora de la Experiencia de Usuario: Al mejorar la relevancia en consultas de cola (donde los usuarios a menudo no encuentran lo que buscan debido a la falta de datos históricos), el sistema se vuelve más robusto y útil para casos de uso menos comunes pero críticos.

En resumen, el artículo valida que el uso de LLMs como generadores de etiquetas offline es una estrategia escalable y efectiva para superar los cuellos de botella en la anotación de datos, logrando mejoras tangibles en la relevancia de la búsqueda y en las métricas comerciales clave.