Scaling Search Relevance: Augmenting App Store Ranking with LLM-Generated Judgments

Ce papier présente une méthode augmentant la pertinence de la recherche sur l'App Store en générant des millions d'étiquettes de pertinence textuelle via un modèle de langage spécialisé, ce qui améliore significativement les métriques hors ligne et le taux de conversion lors d'un test A/B mondial, en particulier pour les requêtes peu fréquentes.

L'essentiel

Imaginez que l'App Store d'Apple est une immense bibliothèque numérique contenant des millions de livres (les applications). Votre mission, en tant que bibliothécaire géant, est de trouver le livre parfait pour chaque visiteur qui demande quelque chose.

Ce papier de recherche raconte comment Apple a utilisé une nouvelle technologie (l'Intelligence Artificielle) pour devenir un bibliothécaire encore plus efficace, surtout quand les visiteurs demandent des choses très rares.

Voici l'histoire expliquée simplement :

1. Le Problème : Trop de clics, pas assez d'avis d'experts

Pour savoir si un livre est bon, vous avez deux façons de le juger :

• Le comportement (ce que font les gens) : Si des milliers de personnes empruntent et aiment un livre, c'est probablement un bon choix. C'est facile à compter : on a plein de données là-dessus.
• Le texte (ce que dit le livre) : Si quelqu'un cherche "recette de gâteau au chocolat", le livre doit réellement parler de gâteaux au chocolat. Pour juger cela, il faut des experts humains qui lisent les titres et les descriptions.

Le souci : Les experts humains sont lents et chers. On a des millions de données sur les "clics", mais très peu d'avis d'experts sur le "texte". C'est comme avoir un restaurant où on connaît exactement ce que les gens commandent, mais où le chef ne sait pas vraiment si les plats correspondent aux ingrédients annoncés sur la carte.

2. La Solution : Un "Juge Robot" ultra-spécialisé

Apple a décidé d'utiliser une Intelligence Artificielle (un LLM) pour aider les experts humains. L'idée était de demander à l'IA : "Voici une recherche et une application, dis-moi si elles correspondent bien."

Mais attention, ils n'ont pas juste pris un robot générique très puissant (comme un éléphant très intelligent mais lent). Ils ont pris un robot plus petit et l'ont entraîné spécifiquement avec les notes des experts humains.

L'analogie du Chef :
Imaginez que vous avez un grand chef étoilé (le gros modèle pré-entraîné) et un apprenti (le petit modèle).

• Si vous laissez le grand chef deviner, il fait des erreurs car il ne connaît pas vos règles précises.
• Si vous prenez l'apprenti et que vous lui montrez exactement comment le grand chef note les plats pendant des mois, l'apprenti devient un expert de vos règles spécifiques.
• Résultat : L'apprenti entraîné (le modèle "Fine-tuned") devient bien meilleur que le grand chef générique pour cette tâche précise, et il travaille beaucoup plus vite !

3. L'Action : Créer des millions de notes

Grâce à ce "Juge Robot" entraîné, Apple a pu générer des millions de nouvelles notes de qualité. C'est comme si l'apprenti avait lu des millions de livres en une nuit et avait noté chaque correspondance entre la recherche et le livre.

Ils ont ensuite mélangé ces nouvelles notes avec les anciennes données de clics pour réentraîner le système de classement de l'App Store.

4. Le Résultat : Gagner sur tous les tableaux

Habituellement, en optimisant un système, on doit faire un choix : soit on améliore la pertinence des clics, soit on améliore la pertinence du texte, mais rarement les deux en même temps. C'est comme essayer de courir plus vite tout en portant un sac de pierres : on perd de la vitesse.

Ici, l'ajout de ces millions de notes a permis de repousser les limites.

• Les résultats sont plus pertinents par rapport au texte (le robot a bien compris le sens).
• Les gens cliquent et téléchargent plus souvent (le comportement s'améliore aussi).
  C'est comme si le bibliothécaire avait trouvé un moyen de courir plus vite tout en portant un sac plus léger !

5. La Magie pour les "Recherches Oubliées" (Tail Queries)

C'est le point le plus important. Pour les recherches très populaires (comme "jeux de course"), le système fonctionne déjà très bien car il y a beaucoup de données de clics.

Mais pour les recherches bizarres ou rares (comme "application pour compter les feuilles d'érable en automne"), il n'y a presque personne qui clique. Le système est souvent perdu.
Grâce aux notes du "Juge Robot", le système comprend maintenant le sens de ces recherches rares, même sans données de clics.

• Résultat : L'amélioration est énorme pour ces recherches rares. C'est comme si le bibliothécaire, qui ne connaissait pas ces livres rares, avait soudainement lu leur résumé et savait exactement où les ranger.

En résumé

Apple a utilisé une Intelligence Artificielle entraînée par des humains pour créer des millions de "notes de qualité" gratuites. Cela a permis d'améliorer la recherche sur l'App Store, non seulement pour les recherches courantes, mais surtout pour celles que personne ne trouvait auparavant.

Le gain final ? Une légère augmentation du nombre de téléchargements (+0,24%), ce qui, à l'échelle mondiale d'Apple, représente des millions d'utilisateurs satisfaits qui ont enfin trouvé exactement ce qu'ils cherchaient.

Résumé technique

1. Problématique

Les systèmes de recherche à grande échelle, tels que l'App Store d'Apple, doivent optimiser deux objectifs complémentaires pour garantir la satisfaction des utilisateurs :

• La pertinence comportementale : Basée sur les actions réelles des utilisateurs (clics, téléchargements). Ces données sont abondantes mais peuvent être bruyantes ou inexistantes pour les requêtes peu fréquentes.
• La pertinence textuelle : Basée sur l'adéquation sémantique entre la requête et les métadonnées de l'application, évaluée par des experts humains.

Le défi principal réside dans la pénurie de labels de pertinence textuelle. L'annotation manuelle par des experts est coûteuse, lente et ne peut pas suivre l'échelle massive des données de recherche. Cela crée un goulot d'étranglement qui affaiblit l'objectif de pertinence textuelle lors de l'entraînement des modèles de classement (Ranking), limitant ainsi la capacité du système à bien répondre aux requêtes complexes ou rares (les requêtes de « queue » ou tail queries).

2. Méthodologie

L'équipe propose une approche en deux étapes pour surmonter ce manque de données en utilisant des Modèles de Langage (LLM) comme multiplicateurs de force.

A. Génération de labels par LLM (LLM-as-a-Judge)

Au lieu d'utiliser le LLM comme un classificateur en temps réel (reranking), ils l'utilisent comme un générateur de labels hors ligne pour enrichir les données d'entraînement.

• Configuration des modèles : Les auteurs ont comparé plusieurs configurations :
  • Un modèle pré-entraîné de 3 milliards de paramètres (3B).
  • Un modèle pré-entraîné de 30 milliards de paramètres (30B).
  • Le modèle 3B affiné (fine-tuned) sur les jugements existants des annotateurs humains.
• Stratégie de prompt : Utilisation de prompts few-shot (avec exemples) incluant la requête, les métadonnées de l'application et les consignes d'évaluation, pour générer des labels de pertinence ponctuelle (pointwise).
• Résultat clé de l'évaluation : Le modèle affiné de 3B (FT-3B) a surpassé le modèle pré-entraîné de 30B (F1-score de 0,800 contre 0,382). Cela démontre qu'un modèle plus petit, spécialisé sur les critères spécifiques de l'entreprise, est plus efficace et moins coûteux qu'un modèle géant générique.

B. Entraînement du Ranker Multi-Objectifs

Les millions de nouveaux labels générés par le LLM sont intégrés dans le pipeline d'entraînement du classificateur de production.

• Approche : Le système utilise un cadre d'optimisation multi-objectifs (MOO).
• Mélange de données : Le jeu de données d'entraînement combine les logs comportementaux (abondants) et les labels textuels (humains + LLM).
• Scalarisation : Les deux objectifs sont combinés via une fonction de coût pondérée. L'équipe peut ajuster le ratio de mélange (ex: 90/10, 70/30) pour explorer différents points sur la frontière de Pareto, cherchant à améliorer simultanément les deux métriques sans sacrifier l'une pour l'autre.

3. Contributions Clés

1. Validation industrielle à grande échelle : Démonstration qu'un LLM affiné peut générer des millions de labels de pertinence textuelle de haute qualité, remplaçant efficacement l'annotation humaine pour l'entraînement.
2. Optimisation modèle/Coût : Preuve qu'un modèle affiné de taille modeste (3B) est supérieur à un modèle pré-entraîné massif (30B) pour cette tâche spécifique, offrant une solution économiquement viable.
3. Déplacement de la frontière de Pareto : La méthode permet d'améliorer simultanément la pertinence textuelle et comportementale, déplaçant la frontière de Pareto vers l'extérieur (amélioration stricte par rapport au modèle de production).
4. Résolution du problème des requêtes de queue : Identification que les gains sont les plus significatifs pour les requêtes rares où les données comportementales sont absentes.

4. Résultats

Évaluation Hors Ligne (Offline)

• Qualité des labels : Le modèle affiné (FT-3B) atteint un score F1 de 0,800 sur un jeu de validation humain, surpassant largement les modèles pré-entraînés.
• Performance du Ranker : L'ajout des labels LLM entraîne une amélioration des métriques NDCG (Normalized Discounted Cumulative Gain) pour les deux objectifs :
  • Pertinence textuelle : NDCG@1 passe de 0,867 à 0,868.
  • Pertinence comportementale : NDCG@1 passe de 0,646 à 0,652.
  • Ces résultats confirment une amélioration globale, et non un compromis entre les objectifs.

Tests A/B en Ligne (Online)

Un test A/B mondial a comparé le modèle de production (prod) contre le modèle enrichi (llm-augmented) :

• Taux de conversion : Augmentation statistiquement significative de +0,24 % du taux de conversion (définition : sessions de recherche avec au moins un téléchargement).
• Impact par fréquence de requête :
  • Les gains sont observés sur 89 % des magasins d'applications.
  • L'amélioration la plus marquée se situe sur les requêtes de queue (tail queries). Pour ces requêtes, l'absence de données comportementales fiables est compensée par la robustesse des labels textuels générés par le LLM, comblant ainsi le fossé de pertinence.

5. Signification et Impact

Ce travail fournit une feuille de route pratique pour les systèmes de recherche à grande échelle confrontés à la rareté des données d'annotation. Il démontre que :

• L'utilisation de LLM comme générateurs de données d'entraînement (plutôt que comme classificateurs en temps réel) est une stratégie industrielle viable et scalable.
• L'affinage (fine-tuning) de modèles plus petits sur des données spécifiques est souvent plus performant que l'utilisation de modèles massifs pré-entraînés.
• L'enrichissement des données d'entraînement permet de briser les compromis traditionnels (trade-offs) entre pertinence sémantique et comportementale, améliorant l'expérience utilisateur globale, en particulier pour les requêtes rares où les systèmes traditionnels échouent souvent.