Résumé technique : Combler le fossé : Utiliser les LLM pour jeter des ponts entre les silos comportementaux dans les recommandations multi-verticales

1. Énoncé du problème

Dans les écosystèmes de commerce électronique multi-verticales comme DoorDash, l'expansion vers de nouveaux domaines (ex. : épicerie, vente au détail, beauté) crée un défi de personnalisation significatif : le problème du « démarrage à froid » (cold start). Les utilisateurs manquent souvent d'historique d'engagement dans ces nouveaux segments verticaux, ce qui rend difficile la génération de recommandations pertinentes. À l'inverse, ces plateformes possèdent des données comportementales riches provenant de segments verticaux établis et à fort trafic (ex. : commande de restaurants). Le défi central abordé par ce travail est de savoir comment transférer efficacement les connaissances latentes des segments verticaux riches en données vers ceux qui sont pauvres en données, afin d'améliorer la qualité des recommandations sans dépendre d'interactions historiques directes dans le nouveau segment.

2. Méthodologie

Les auteurs proposent un cadre novateur qui utilise les modèles de langage de grande taille (LLM) pour effectuer l'ingénierie de caractéristiques sémantiques, synthétisant des caractéristiques d'affinité utilisateur structurées à partir de données comportementales non structurées.

2.1 RAG hiérarchique (Génération augmentée par récupération)

Le système emploie un pipeline RAG hiérarchique pour mapper les signaux utilisateurs non structurés (historiques de commandes de restaurants et requêtes de recherche) vers une taxonomie interne de produits à quatre niveaux (L1–L4).

• Inférence en cascade : Le processus fonctionne via une stratégie d'inférence en cascade. Le modèle identifie d'abord les affinités taxonomiques larges de haut niveau (L1, L2). Ces classifications à haute confiance limitent ensuite l'espace de recherche génératif pour les récupérations ultérieures plus granulaires aux niveaux inférieurs (ex. : L3). Ce raffinement itératif empêche la génération de sous-catégories plausibles mais incorrectes.
• Focus sur les caractéristiques : Pour le classificateur (ranker) de l'apprentissage multi-tâches (MTL) en production, le système cible spécifiquement les affinités L2 et L3, car le L1 est souvent trop général et le L4 souffre d'une trop grande parcimonie.

2.2 Synthèse générative de caractéristiques

Le cadre génère deux classes distinctes de caractéristiques pour augmenter la représentation de l'utilisateur :

1. Profil d'affinité inter-verticale à long terme : Capture les préférences latentes et historiques déduites de l'historique cumulé des commandes de restaurants.
2. Profil d'intention à court terme : Modélise les intérêts récents et transitoires dérivés de l'activité de recherche sur la plateforme.

2.3 Ingénierie de prompts et contrôle

Pour garantir des sorties de haute fidélité et déterministes, les auteurs ont mis en œuvre des contrôles stricts d'ingénierie de prompts :

• Entrée contextuelle : Les prompts concatènent les noms des restaurants et les articles commandés de manière chronologique, en privilégiant les comportements récents, ainsi que les requêtes de recherche.
• Filtrage par confiance : Le modèle est chargé d'attribuer un score de confiance à chaque affinité générée. Seules les taxonomies dépassant un seuil de confiance de 0,8 sont incluses. Cela agit comme un mécanisme d'auto-correction pour filtrer les associations spécieuses.
• Contraintes de sortie : Le modèle est restreint à produire l'orthographe exacte de la taxonomie à partir d'une liste fournie, empêchant l'invention de catégories inexistantes.

2.4 Intégration dans le MTL de production

Les caractéristiques dérivées des LLM sont intégrées dans le modèle de classement MTL de production existant :

• Augmentation de caractéristiques : Les nouvelles caractéristiques creuses ($u_{LLM}$), représentant les affinités de l'utilisateur, sont concaténées avec les vecteurs d'engagement existants de l'utilisateur ($u_{eng}$) et les vecteurs de caractéristiques des articles ($i_{eng}$).
• Stratégie d'embedding : Les caractéristiques catégorielles de longueur variable (listes d'ID taxonomiques) sont mappées vers des vecteurs denses via une table d'embedding partagée et agrégées par pooling moyen pour gérer les tenseurs d'entrée irréguliers.
• Architecture du modèle : Le vecteur de caractéristiques augmenté alimente un tronc MLP partagé suivi de têtes de prédiction spécifiques à chaque tâche, optimisant conjointement des objectifs tels que le taux de clic (CTR), l'ajout au panier et l'achat.

2.5 Optimisation

• Sélection du modèle : Une analyse coût-performance a identifié GPT-4o-mini comme le modèle optimal, offrant une qualité comparable à GPT-4o pour un coût de calcul nettement inférieur.
• Réduction des coûts : La mise en œuvre du cache de prompts (pour les instructions statiques et la taxonomie) et de la matérialisation des caractéristiques juste-à-temps (mise à jour des affinités uniquement lors de nouvelles actions de l'utilisateur) a réduit les coûts de calcul globaux d'environ 80 %.

3. Évaluation expérimentale

3.1 Évaluation hors ligne

Le modèle proposé a été évalué par rapport à un modèle de base MTL entraîné exclusivement sur l'engagement historique et les attributs des articles, en utilisant un ensemble de données de test (holdout) de 15 jours.

• Métriques : La performance a été mesurée par l'aire sous la courbe ROC (AUC-ROC) et le rang moyen inverse (MRR).
• Analyse de cohorte :
  • Population globale : Le modèle proposé a obtenu une hausse relative de 4,4 % de l'AUC-ROC et une hausse de 4,8 % du MRR.
  • Consommateurs en démarrage à froid (Cold-Start) : Cette cohorte a enregistré une hausse de 4,0 % de l'AUC-ROC et une hausse de 1,1 % du MRR, validant l'hypothèse selon laquelle les préférences de goût historiques peuvent être efficacement transférées d'un segment vertical à un autre.
  • Consommateurs intensifs (Power Consumers) : Ce groupe a le plus bénéficié du signal de recherche, atteignant une hausse de 5,2 % de l'AUC-ROC et une hausse de 2,2 % du MRR.

3.2 Déploiement en mode ombre (Shadow Deployment) en ligne

Pour valider les résultats hors ligne, le système a été déployé en mode ombre contre le trafic réel.

• Résultats : Le modèle augmenté par LLM a démontré une amélioration de 4,3 % de l'AUC-ROC et une augmentation de 3,2 % du MRR par rapport au modèle de base pour la population générale, confirmant l'efficacité en conditions réelles.

3.3 Évaluation de la qualité des caractéristiques

Les évaluations qualitatives et quantitatives ont confirmé la pertinence des caractéristiques générées :

• Évaluation humaine : Les caractéristiques dérivées des requêtes de recherche ont été jugées « Hautement personnalisées » dans 70,7 % des cas, contre 53,0 % pour les commandes de restaurants.
• LLM-as-a-Judge : En utilisant GPT-4o pour noter la pertinence, les requêtes de recherche ont de nouveau surpassé l'historique des commandes (61,6 % hautement personnalisées contre 56,6 %), ce qui concorde avec la nature explicite de l'intention de recherche.

4. Contributions clés et importance

L'article affirme offrir une voie pratique pour construire des systèmes de recommandation plus holistiques et adaptatifs en abordant le déficit de données comportementales dans les marchés multi-verticales.

• Cadre novateur : L'introduction d'un pipeline RAG hiérarchique pour dériver des caractéristiques taxonomiques multi-niveaux à partir de données utilisateurs non structurées.
• Pont sémantique : La démonstration que les LLM peuvent agir efficacement comme un pont sémantique, transférant les connaissances d'un segment riche en données (restaurants) vers un segment pauvre en données (épicerie/vente au détail) pour résoudre le problème du démarrage à froid.
• Viabilité en production : Ce travail prouve que les caractéristiques générées par LLM peuvent être intégrées dans des modèles de classement MTL de production avec des gains de performance significatifs tout en gérant les coûts de calcul grâce à une sélection stratégique de modèles et au cache.
• Insight comportemental : Les résultats valident qu'une affinité utilisateur latente déduite d'un segment vertical peut considérablement améliorer la personnalisation dans un autre, particulièrement pour les utilisateurs n'ayant aucun historique direct dans le segment cible.

5. Travaux futurs

Les auteurs décrivent trois directions spécifiques pour la recherche future :

1. Prompting avancé : Étudier des paradigmes tels que la Chaîne de Pensée (Chain-of-Thought) et l'auto-correction, et explorer le fine-tuning spécifique au domaine de modèles plus petits et plus efficaces.
2. Intégration dans l'entonnoir (Funnel) : Intégrer les caractéristiques génératives plus tôt dans l'entonnoir de recommandation, spécifiquement dans l'étape de recherche de candidats (retrieval), pour créer un système de bout en bout plus synergique.
3. Dynamiques temporelles : Explorer la dynamique temporelle des affinités pour construire des modèles de recommandation plus adaptatifs et sensibles aux sessions.