Résumé Technique : IA Générative orientée Inventaire via RAG pour la Recherche Sponsorisée

1. Énoncé du Problème

La recherche sponsorisée est un moteur de revenus primaire pour les plateformes d'e-commerce comme Walmart, pourtant une inefficacité significative existe : environ 13 % des requêtes de recherche des utilisateurs ne parviennent pas à récupérer des annonces de produits sponsorisés. Ce phénomène de « remplissage nul » (zero-fill) découle d'un désalignement entre les requêtes des utilisateurs, le paysage vaste et évolutif des mots-clés, et les contraintes d'inventaire en temps réel.

Les solutions actuelles se divisent généralement en deux catégories :

• Recherche d'Information (RI) : Des méthodes comme la recherche dense (ANCE, RocketQA) utilisent l'apprentissage profond pour faire correspondre les requêtes et les mots-clés, mais manquent souvent de synchronisation avec l'inventaire en temps réel.
• Génération de Langage Naturel (GLN) : Des modèles comme CLOVER et ProphetNet-Ads génèrent des variations de mots-clés, mais négligent fréquemment les données d'inventaire dynamiques et les stratégies d'enchères spécifiques aux campagnes publicitaires.

Le défi central est double : améliorer la pertinence des placements publicitaires pour correspondre à l'inventaire disponible et aux budgets des annonceurs, tout en maintenant simultanément une expérience utilisateur de haute qualité en présentant des publicités perçues comme pertinentes. L'incapacité à résoudre ces désalignements entraîne des pertes de revenus substantielles et des opportunités manquées d'engagement client.

2. Méthodologie : InvAwr-RAG

Les auteurs proposent le modèle Inventory-Aware RAG-based Generative AI (InvAwr-RAG), un système conçu pour réécrire dynamiquement les requêtes des utilisateurs en temps réel afin de les aligner sur l'inventaire disponible et les campagnes publicitaires. La méthodologie se compose de quatre étapes principales :

2.1. Préparation des Données

• Jeu de données Two-Tower BERT : Les requêtes sont appariées avec des titres de produits et des scores de pertinence, enrichis par une annotation humaine pour capturer les relations sémantiques.
• Analyse des Journaux de Recherche : Les requêtes populaires sont identifiées sur la base de leur fréquence et des impressions publicitaires pour guider la composante RAG.
• Collecte de Requêtes Réécrites : Le système constitue un ensemble de données de réécritures de requêtes réussies. Plus précisément, les requêtes ayant généré au moins 500 clics sur les mêmes articles sur une période de six mois ont été sélectionnées. Celles-ci ont été rigoureusement filtrées par des évaluateurs humains pour garantir l'unicité et la distinction des alternatives avant l'entraînement du LLM de réécriture de requête.

2.2. Architecture du Modèle

L'architecture intègre une composante de recherche et une composante générative :

• Two-Tower BERT : Cette composante traite séparément les requêtes des utilisateurs et les titres de produits en utilisant des encodeurs distincts pour générer des plongements (embeddings) ($U$ et $V$). La similitude cosinus est utilisée pour évaluer la qualité de la correspondance, entraînant le modèle à identifier les produits les plus pertinents pour une requête.
• LLM de Réécriture de Requête (Fine-tuning LoRA) : Basé sur Llama2 7B, le modèle est affiné via l'adaptation de bas rang (LoRA). Cette approche introduit des matrices de bas rang ($A$ et $B$) dans les matrices de poids, permettant une adaptation efficace et ciblée au domaine de la recherche sponsorisée sans réentraîner l'intégralité du modèle. Le modèle apprend à générer des réécritures de requêtes contextuellement pertinentes et conscientes de l'inventaire.

2.3. Pipeline de Génération Augmentée par Récupération (RAG)

Le système de bout en bout fonctionne via un pipeline en six étapes (Figure 3) :

1. Classificateur de Requêtes : Un classificateur basé sur des règles identifie les requêtes sous-performantes (ex: faibles taux de clic) et les redirige vers le pipeline de réécriture.
2. Récupération Dynamique de l'Inventaire : Le système récupère les $N=20$ articles d'inventaire les plus pertinents d'une base de données vectorielle basée sur la similitude cosinus, garantissant que les contraintes budgétaires sont respectées.
3. Préparation du Prompt : Les prompts sont construits en combinant la requête originale de l'utilisateur avec les descriptions des articles récupérés (Figure 4).
4. Réécriture par le LLM : Le LLM affiné génère des requêtes réécrites diverses et pertinentes liées à l'inventaire disponible.
5. Intégration des Requêtes Populaires : Le système récupère des requêtes historiquement réussies à partir des journaux de recherche qui ressemblent à la sortie du LLM, enrichissant ainsi les suggestions avec des modèles de recherche éprouvés.
6. Fusion et Récupération Finale : Les $K=5$ requêtes réécrites sont fusionnées avec les requêtes historiques populaires. Un modèle de cross-encoder BERT évalue la pertinence des articles publicitaires résultants, filtrant ceux qui répondent aux seuils de pertinence prédéfinis.

2.4. Sélection des Paramètres

• $N=20$ Articles : Sélectionnés pour équilibrer diversité et spécificité, maximisant l'engagement de l'utilisateur sans causer de fatigue décisionnelle, tout en maintenant l'efficacité computationnelle.
• $K=5$ Requêtes Réécrites : Choisies pour fournir une variation linguistique suffisante afin de capturer l'intention de l'utilisateur tout en maintenant la précision et la focalisation.

3. Principales Contributions

Le document souligne cinq innovations majeures :

1. Réécriture de Requête Dynamique Robuste : Un modèle qui ajuste les requêtes pour les aligner sur l'inventaire et les enchères en temps réel, transformant les recherches auparavant infructueuses en opportunités publicitaires.
2. Intégration de Données en Temps Réel : Le système intègre les données d'inventaire et d'enchères en direct pour garantir que chaque recherche puisse aboutir à l'affichage d'une publicité pertinente.
3. Génération de Requêtes Hybride : Une approche unique mélangeant les requêtes générées par l'IA avec les requêtes historiquement réussies pour équilibrer fraîcheur et fiabilité.
4. Optimisation Duale : Améliore simultanément l'expérience utilisateur (via des suggestions pertinentes) et le ROI des annonceurs (via la maximisation de la visibilité des produits).
5. Évolutivité : L'utilisation de la gestion de données avancée et de l'adaptabilité des LLM garantit que la solution peut évoluer avec la dynamique du marché.

4. Résultats

Les auteurs ont mené une évaluation hors ligne sur un ensemble de 10 000 requêtes présentant un taux de remplissage historique de 0 %.

• Taux de Remplissage (Fill Rate) : Le modèle InvAwr-RAG a atteint un taux de remplissage de 68 % sur cet ensemble difficile. En comparaison, un modèle de référence GPT-4 (sans fine-tuning spécifique au commerce de détail) a atteint un taux de remplissage de 53 %.
• Pertinence (NDCG@8) : En utilisant le gain cumulé décroissant normalisé avec un seuil de 8, InvAwr-RAG a obtenu un score de 0,6847, surpassant GPT-4 (0,6458) et la ligne de base (0).
• Méthode d'Évaluation : Ces métriques ont été validées par des évaluateurs humains tiers évaluant les 8 meilleurs articles retournés par chaque modèle.

Le document note que ces résultats hors ligne sont préliminaires et qu'un test A/B est prévu pour mesurer les impacts réels sur le Taux de Remplissage, le Taux de Clic (CTR), le Taux de Conversion et le Chiffre d'Affaires.

5. Signification et Revendications

Le papier positionne InvAwr-RAG comme un nouveau standard pour l'optimisation dynamique des requêtes dans la recherche sponsorisée. Les auteurs affirment que le modèle comble une lacune critique où les méthodes existantes de RI et de GLN échouent à se synchroniser avec l'inventaire dynamique, entraînant un gaspillage d'inventaire publicitaire et une mauvaise expérience utilisateur.

• Potentiel de Revenus : Les auteurs projettent que la capacité du modèle à convertir les requêtes à remplissage nul pourrait mener à une augmentation des revenus publicitaires de jusqu'à 1 milliard de dollars sur les cinq prochaines années.
• Impact Stratégique : En garantissant qu'environ 13 % des recherches auparavant non monétisées puissent désormais afficher des publicités pertinentes, le système améliore considérablement la pertinence publicitaire, le ROI des annonceurs et l'expérience d'achat globale sur la plateforme numérique de Walmart.
• Travaux Futurs : Les auteurs déclarent que les efforts futurs se concentreront sur l'affinement de la compréhension de l'intention de l'utilisateur, l'extension de l'applicabilité à diverses catégories de produits et l'amélioration de l'évolutivité à mesure que l'inventaire et la base d'utilisateurs croissent.