Résumé technique : Fortress – Étude de cas sur la stabilisation des recommandations de recherche

Énoncé du problème

Dans les systèmes de recherche et de recommandation, les modèles prédictifs souffrent fréquemment d'instabilité temporelle. Cela se produit lorsque des caractéristiques d'entrée spécifiques provoquent des fluctuations significatives des scores de sortie pour une même paire requête-entité à travers différentes périodes. Une telle volatilité dégrade la fiabilité du modèle et l'expérience utilisateur, en particulier dans les systèmes multi-étapes où des prédictions cohérentes sont essentielles pour la prise de décision en aval.

Bien que les récents progrès des modèles de langage de grande taille (LLM) et des caractéristiques sémantiques basées sur BERT aient amélioré la pertinence contextuelle et la généralisation, ils manquent souvent d'une couverture complète des requêtes ou des entités. À l'inverse, les caractéristiques basées sur l'engagement (dérivées des comportements organiques des utilisateurs tels que les clics et les recherches) offrent un fort pouvoir prédictif mais sont sujettes à introduire des incohérences temporelles. Le défi central abordé par ce travail est le compromis entre la haute précision prédictive des signaux d'engagement et la volatilité des scores qu'ils introduisent.

Méthodologie : Le cadre Fortress

Les auteurs proposent Fortress, un cadre général conçu pour améliorer la stabilité et la précision des modèles en identifiant et en élaguant les caractéristiques qui contribuent à des scores de prédiction incohérents au fil du temps. Le cadre repose sur l'idée que, bien que certaines caractéristiques puissent être prédictives dans des instantanés isolés, elles peuvent introduire de la volatilité lorsqu'elles sont évaluées à travers le temps.

Fortress suit un processus en quatre étapes :

1. Collecte de données : Le système collecte des instantanés historiques, qui sont des ensembles de données partitionnés temporellement capturant les fluctuations de scores pour une même entité à travers différentes périodes.
2. Identification des échantillons instables : La méthode identifie les échantillons présentant une variance de scores élevée à travers ces instantanés. Plus précisément, elle cible le 75e percentile des échantillons ayant le coefficient de variation (CV) le plus élevé.
3. Isolement et élagage des caractéristiques : Pour les échantillons à forte variance identifiés, le CV est calculé pour chaque caractéristique individuelle. Les caractéristiques ayant les CV les plus élevés sont signalées comme candidates à la suppression. Le cadre emploie une approche de recherche gloutonne : il retire itérativement les caractéristiques candidates et réentraîne le modèle. Crucialement, la suppression des caractéristiques ne se poursuit que si elle entraîne une amélioration statistiquement significative du PR-AUC sur l'ensemble de validation par rapport à la ligne de base.
4. Réentraînement du modèle : Le modèle final est réentraîné en utilisant l'ensemble de caractéristiques réduit (excluant les caractéristiques induisant l'instabilité) et tous les instantanés historiques disponibles.

Cette approche s'inscrit dans la classe des méthodes de sélection de caractéristiques de type "wrapper", où les sous-ensembles de caractéristiques sont choisis en fonction des performances de validation.

Configuration expérimentale

Le cadre a été validé sur un modèle de pertinence requête-vers-application à grande échelle au sein d'un marché d'applications commercial. La tâche consistait à classer les paires requête-application comme pertinentes (BON/EXCELLENT) ou non pertinentes (MAUVAIS).

• Données : L'ensemble de données se composait d'instantanés quotidiens, divisés en 70 % pour l'entraînement, 15 % pour la validation et 15 % pour les tests. Environ 40 % des paires étaient étiquetées MAUVAIS.
• Caractéristiques : Le modèle utilisait deux catégories principales :
  • Représentation sémantique (SR) : Caractéristiques basées sur les LLM (utilisant un modèle fondation propriétaire) et caractéristiques basées sur DistilBERT (architecture à deux tours avec perte triplet). Elles fournissent une pertinence basée sur le contenu indépendante de l'engagement.
  • Caractéristiques d'engagement : Interactions historiques d'utilisateurs non personnalisées et fortement agrégées (clics, recherches). Elles étaient actualisées plusieurs fois par jour et constituaient la source principale d'instabilité des scores.
• Modèle : Un classificateur XGBoost a été utilisé pour sa rapidité et sa robustesse face au bruit.
• Métriques :
  • PR-AUC : Pour évaluer les performances de classification.
  • Coefficient de variation (CV) : Défini comme l'écart-type divisé par la moyenne des scores de prédiction à travers les instantanés, utilisé pour mesurer la stabilité des scores.

Résultats clés

Les expériences ont démontré que, bien que l'ajout de caractéristiques d'engagement améliore les performances de classification, il augmente simultanément la volatilité des scores. Fortress a réussi à atténuer ce compromis :

• Amélioration de la stabilité : Par rapport à la ligne de base utilisant toutes les caractéristiques, Fortress a réduit le coefficient de variation (CV) de 3,44 % (de 0,5462 à 0,5274).
• Amélioration de la précision : Le cadre a atteint une augmentation de 0,24 % du PR-AUC (de 0,9572 à 0,9595), surpassant à la fois la ligne de base "Toutes les caractéristiques" et l'approche "Multi-instantanés avec toutes les caractéristiques".
• Impact au niveau du système : En tant que conséquence en aval d'une stabilité améliorée, Fortress a réduit le taux de "flip-flop" (paires apparaissant dans l'étape finale de recommandation dans un instantané mais absentes dans un autre) de 25,8 % au niveau mondial. Les réductions régionales variaient de 14,7 % à 49,6 %.
• Analyse des caractéristiques : L'étude a confirmé que certaines caractéristiques bénéfiques dans un seul instantané dégradent les performances lorsqu'elles sont évaluées à travers le temps, renforçant la nécessité d'une analyse temporelle multi-instantanés pour une sélection robuste des caractéristiques.

Importance et revendications

L'article présente Fortress comme une méthode fondée sur des principes pour intégrer des signaux d'engagement tout en gérant leur volatilité inhérente. Les auteurs affirment que :

1. Applicabilité générale : Bien que démontrée sur une tâche de pertinence requête-vers-application, la technique est largement applicable à tout scénario où un modèle de scoring évalue la même entité au fil du temps, comme les recommandations utilisateur-élément.
2. Fiabilité du système : Dans les pipelines de récupération et de classement multi-étapes, la volatilité des scores en production peut se propager et provoquer des changements significatifs et indésirables dans la dynamique du système. Fortress y remédie en maintenant la stabilité des scores, ce qui est essentiel pour garantir la fiabilité et les performances.
3. Optimisation équilibrée : Le cadre résout avec succès la tension entre la généralisation des caractéristiques sémantiques et le pouvoir prédictif des caractéristiques d'engagement, conduisant à des modèles à la fois plus stables et plus précis.

Le travail conclut que la livraison d'une expérience utilisateur de haute qualité nécessite que les systèmes de recommandation produisent des résultats non seulement pertinents, mais également cohérents et prévisibles dans le temps.