Résumé Technique : Récupération Sparse Neurale de Forme Superficielle pour la Recherche Musicale Industrielle

1. Énoncé du Problème

La recherche musicale à l'échelle d'Amazon Music fait face à un double défi : les requêtes s'écartent fréquemment des métadonnées indexées en raison d'erreurs de frappe, de transpositions de caractères et de variations phonétiques (par exemple, "tayler" vs "taylor", "p!nk" vs "Pink"), pourtant le système de récupération doit fonctionner sous des contraintes strictes de latence au niveau de la milliseconde.

Le système de production existant, l'Index de Haute Confiance (HCI), repose sur une approche d'apprentissage pour la récupération qui mémorise les affinités requête-entité à partir des engagements historiques. Cependant, ce système dépend de manière critique d'un mécanisme d'"exploration" pour associer initialement des requêtes nouvelles ou mal spécifiées à des candidats. Actuellement, cette exploration repose sur une correspondance traditionnelle de trigrammes, qui souffre de :

• Fragilité Sémantique : Incapacité à combler des écarts lexicaux significatifs sans chevauchement exact de caractères.
• Contraintes Techniques : Limites de configuration (par exemple, longueurs minimales de tokens) qui éliminent des termes courts critiques (par exemple, "me"), et une sensibilité à l'ordre qui échoue à gérer les requêtes transposées.
• Bruit : Taux élevés de faux positifs sur des termes incidentels (par exemple, faire correspondre "songs" dans "taylor swift songs" comme une entité distincte).

Ces limitations entravent la capacité du système à explorer et apprendre efficacement des requêtes à longue traîne, empêchant la conversion des correspondances floues en enregistrements permanents et de haute confiance dans l'index.

2. Méthodologie

Les auteurs proposent un système de Récupération Sparse Neurale de Forme Superficielle conçu pour maximiser l'efficacité de l'exploration tout en maintenant une surcharge nulle pour l'encodage des requêtes. L'approche adapte une architecture de récupération sparse sans inférence, à la pointe de l'état de l'art (basée sur SPLADE), spécifiquement pour le domaine musical.

2.1 Architecture Asymétrique Sans Inférence

Pour respecter les budgets de latence stricts, le système découple le calcul neuronal de la récupération en ligne :

• Encodage Hors Ligne des Documents : Les requêtes historiques (traitées comme des documents) sont traitées hors ligne à l'aide d'un encodeur neuronal. Le modèle effectue une "expansion neuronale", prédit des distributions de poids sparse sur le vocabulaire et stocke ces poids dans l'index inversé OpenSearch.
• Encodage des Requêtes en Ligne à Surcharge Nulle : Au moment de la requête, le système contourne entièrement l'inférence neuronale. La requête utilisateur est traitée uniquement par un tokeniseur de sous-mots granulaire et pondérée à l'aide de la Fréquence Inverse de Document (IDF). La récupération est effectuée via une correspondance standard de produit scalaire contre les vecteurs sparse pré-calculés.

2.2 Tokenisation de Sous-Mots Granulaire

Les tokeniseurs de sous-mots standards (par exemple, WordPiece) échouent souvent à gérer les erreurs de frappe sévères car de légères perturbations peuvent entraîner des séquences de tokens entièrement différentes. Pour y remédier, les auteurs emploient une stratégie de tokenisation granulaire pilotée par les données :

• Contrainte : Un modèle Unigram SentencePiece personnalisé est entraîné avec une longueur maximale de token stricte de 3 caractères.
• Effet : Cela force le modèle à décomposer les termes en constituants granulaires (n-grammes de caractères) plutôt que de mémoriser des mots entiers. Par conséquent, des variations comme "p!nk" et "pink" partagent un chevauchement de sous-tokens significatif, permettant une correspondance robuste de la forme superficielle sans s'appuyer sur une compréhension sémantique qui pourrait conduire à des "hallucinations".

2.3 Pré-entraînement Spécifique au Domaine

Au lieu de s'appuyer sur un pré-entraînement généraliste à grande échelle, les auteurs entraînent un encodeur BERT-base à partir de zéro sur un corpus de 20 millions de requêtes musicales.

• Objectif : Le modèle est entraîné en utilisant la Modélisation de Langage Masqué (MLM) pour apprendre les sémantiques contextuelles de ces unités courtes et sub-lexicales.
• But : Cela crée un modèle de base nativement aligné sur les irrégularités structurelles des requêtes de recherche musicale, se concentrant sur l'équivalence de forme superficielle (par exemple, "ph" ≈ "f") plutôt que sur des synonymes sémantiques larges.

2.4 Construction de Données Faiblement Supervisées

Étant donné l'impossibilité d'un étiquetage manuel à grande échelle, l'ensemble de données d'entraînement est construit à partir de journaux de comportement agrégés :

• Paires Positives : Les requêtes sont appariées si elles conduisent à la lecture de la même entité, ont un rapport de longueur $\ge 0,8$ et une distance de Levenshtein dans un seuil mis à l'échelle par la longueur. Cela capture les erreurs de frappe courantes, les différences d'espacement et les translittérations.
• Negatives Difficiles : Générées de manière itérative à l'aide des scores de récupération sparse des checkpoints de modèles précédents.
• Découpage des Données : Pour prévenir les fuites de données, l'ensemble de données est partitionné en utilisant des composantes connexes sur un graphe biparti requête-entité, garantissant qu'aucune requête ou entité dans l'ensemble de test n'a été vue pendant l'entraînement.

3. Contributions Clés

1. Déploiement de la Récupération Sparse Sans Inférence : Adaptation réussie d'une architecture de récupération sparse (SPLADE) à la recherche musicale industrielle, éliminant le besoin d'encodage neuronal en ligne.
2. Stratégie de Tokenisation Granulaire : Validation empirique d'une stratégie spécifique au domaine avec une longueur maximale de token de 3 caractères, surpassant les trigrammes traditionnels dans la correspondance floue robuste.
3. Performance et Efficacité : Évaluation hors ligne sur un corpus de production de 6 millions de documents démontrant un rappel@10 de 91,4 % (contre 57,7 % pour les trigrammes) à un débit comparable, avec une surcharge de latence pratiquement nulle pour l'encodage des requêtes.
4. Insights d'Entraînement : Études d'ablation révélant que la méthodologie d'entraînement sparse est le principal moteur de performance, et qu'un corpus de pré-entraînement spécifique au domaine modeste (20 millions de requêtes) sert d'alternative rentable au pré-entraînement généraliste à grande échelle.

4. Résultats Expérimentaux

4.1 Évaluation Hors Ligne

Évalué sur un corpus de 6,04 millions de documents avec 237 000 requêtes de test multilingues :

• Rappel@10 : Le modèle Sparse Neuronal a atteint 91,4 %, surpassant significativement la ligne de base HCI Trigramme de production (57,7 %) et la distance d'édition floue (83,4 %).
• Débit : Le système a maintenu un débit de 2 471 QPS, comparable à la ligne de base trigramme (2 299 QPS) et significativement supérieur à la distance d'édition floue (1 465 QPS).
• Latence : La surcharge d'encodage des requêtes était pratiquement nulle, limitée uniquement à la tokenisation et à la pondération IDF.

4.2 Études d'Ablation

• Pipeline d'Entraînement Sparse : L'utilisation d'une base multilingue BERT généraliste avec le pipeline d'entraînement sparse des auteurs a produit un R@10 compris entre 0,906 et 0,937, confirmant le pipeline comme le principal moteur des gains par rapport aux bases de référence prêtes à l'emploi.
• Tokenisation : Le remplacement du tokeniseur granulaire de 3 caractères par WordPiece standard (24K) a fait chuter la performance de 0,949 à 0,909, soulignant l'importance de la contrainte granulaire pour la robustesse lexicale.
• Pré-entraînement : Un BERT spécifique au domaine entraîné sur 20 millions de requêtes a égalé ou dépassé la performance des modèles BERT multilingues pré-entraînés sur des milliards de tokens.

4.3 Relecture des Journaux de Production (Simulation)

Une simulation de la boucle de rétroaction HCI sur 7 jours de journaux de production a démontré une efficacité d'exploration améliorée :

• Convergence : Partant d'un rappel de démarrage à froid de 0,8877, l'approche Sparse Neurale a convergé vers un rappel stabilisé de 0,9627, contre 0,9548 pour la ligne de base Trigramme Floue.
• Gain : Cela représente une amélioration absolue de +0,79 % par rapport à la ligne de base de production et un rétablissement relatif de 7,5 % des entités valides par rapport à l'état de démarrage à froid.

5. Signification et Revendications

L'article revendique que ce travail démontre la viabilité des méthodes neuronales sparse à tokeniseur granulaire pour les applications de recherche commerciale à grande échelle où la latence et les contraintes d'intégration sont critiques.

Les points clés soulignés par les auteurs incluent :

• Robustesse sur la Mémorisation : En imposant des contraintes de longueur de token courte, le système apprend la robustesse de la forme superficielle plutôt que de s'appuyer sur la mémorisation lexicale, comblant efficacement les lacunes dans les requêtes mal spécifiées à travers des langues diverses.
• Rentabilité : L'approche prouve qu'un corpus de pré-entraînement spécifique au domaine modeste peut remplacer le besoin d'un pré-entraînement généraliste massif, offrant une alternative hautement efficace pour le déploiement industriel.
• Intégration Transparente : La conception sans inférence permet au système de s'intégrer avec l'infrastructure de production existante (index inversés OpenSearch) sans nécessiter de bases de données vectorielles spécialisées ni ajouter de latence d'inférence en ligne.

Le système convertit avec succès les problèmes d'exploration floue en récupération de mémoire précise pour les utilisateurs futurs, améliorant ainsi le taux d'apprentissage global de l'Index de Haute Confiance.