The Pre-Training Study of Expanded-SPLADE Models on Web Document Titles

Résumé Technique : L'Étude de Pré-entraînement des Modèles Expanded-SPLADE sur les Titres de Documents Web

Énoncé du Problème
Le pré-entraînement par Modélisation de Langage Masqué (MLM) constitue une méthode d'initialisation standard pour les modèles de Recherche d'Information (RI) neuronale. Cependant, des recherches antérieures indiquent que les modèles pré-entraînés par MLM présentent souvent une préparation limitée et des problèmes de transfert d'apprentissage lorsqu'ils sont affinés en modèles Bi-Encodeurs Neuraux pour des tâches de recherche. Plus précisément, les objectifs du MLM (prédiction intra-instance) et du classement en RI (discrimination inter-instance) ne sont pas toujours alignés. Bien que les modèles de Recherche Sparse Apprise (LSR) comme SPLADE exploitent la couche MLM lors de l'affinage pour générer des représentations éparses, la stratégie de pré-entraînement optimale pour ces modèles — en particulier les modèles Expanded-SPLADE (ESPLADE) qui utilisent des vocabulaires de sortie personnalisés et de haute dimension — reste sous-explorée. Cet article examine l'impact de différents jeux de données de pré-entraînement et d'hyperparamètres sur l'efficacité et l'efficience de recherche en aval des modèles ESPLADE.

Méthodologie
Les auteurs ont mené une série d'expériences impliquant le pré-entraînement de Modèles de Langage Masqués Étendus (EMLM) et leur affinage ultérieur en modèles ESPLADE. L'étude a utilisé des titres de documents web internes comme source de données principale.

• Architecture du Modèle : L'étude emploie l'architecture ESPLADE (Dudek et al., 2023), qui reconstruit la couche fully connected de sortie du MLM pour prendre en charge un vocabulaire personnalisé et étendu (100K unigrammes). Cela permet une plus grande dimensionalité que les vocabulaires BERT standards.
• Configurations de Pré-entraînement : Les auteurs ont fait varier deux facteurs principaux :
  1. Jeux de données :
     • Recouvrement-Répétition : Pré-entraîné sur 614M de titres web dérivés du jeu d'entraînement de l'affinage (trainset-small), avec des motifs de masquage répétés.
     • Indépendant-Répétition : Pré-entraîné sur 614M d'enregistrements issus d'une collection interne distincte (79M de titres uniques), utilisant un vocabulaire aligné sur le jeu d'affinage.
     • Indépendant-Unique : Pré-entraîné sur 614M de titres web uniques issus de la collection interne.
  2. Taux d'apprentissage et Étapes :
     • Faible taux d'apprentissage (-lr-l) : Entraîné pendant 600K étapes.
     • Haut taux d'apprentissage (-lr-h) : Entraîné pendant 2,9M d'étapes mais sauvegardé (checkpointed) à 600K étapes, résultant en un taux d'apprentissage « effectif » plus élevé par rapport aux modèles à faible taux.
• Affinage et Évaluation : Les modèles ont été affinés sur un journal de recherche contenant des clics requête-document en utilisant une perte de négatifs intra-lot et une régularisation FLOPS. L'évaluation a été réalisée sur un jeu de test retenu avec une élagage statique optionnel des vecteurs épars (termes de requête et de document) basé sur les scores de logit du MLM pour simuler des contraintes d'efficience strictes.
• Métriques : L'efficacité de recherche a été mesurée via MRR@10 et R@10. L'efficience a été approximée à l'aide d'une métrique FLOPS basée sur le coût de parcours des listes de publications. L'étude a également analysé les propriétés statistiques des vecteurs de logit EMLM (par exemple, logit-score-std) et les distributions de longueur des listes de publications.

Résultats Clés
L'expérimentation a produit trois observations principales :

1. Impact des Données de Pré-entraînement et du Taux d'Apprentissage : Les modèles affinés ayant atteint la plus haute efficacité de recherche, tant dans les configurations non élaguées que strictement élaguées, étaient principalement ceux pré-entraînés sur des corpus généraux et indépendants (indep-) plutôt que sur le corpus d'affinage (overlap-). De plus, les modèles pré-entraînés avec un taux d'apprentissage effectif plus élevé (-lr-h) ont généralement surpassé ceux avec des taux plus faibles. Notamment, ces modèles performants ont présenté une précision MLM plus faible et un logit-score-std plus élevé (variance des scores de logit) durant le pré-entraînement, suggérant qu'une haute précision MLM ne corrèle pas nécessairement avec une préparation à la recherche.
2. Compromis dans l'Élagage Strict : Dans les configurations d'élagage les plus strictes (par exemple, ne conserver que les 5 premiers termes de requête et 10 termes de document), les modèles performants (indep- avec -lr-h) ont maintenu une meilleure efficacité de recherche mais ont engendré des coûts de recherche (FLOPS) plus élevés et ont présenté une variance plus élevée dans la longueur des listes de publications individuelles. Cela indique un compromis où le maintien de l'efficacité sous des contraintes de parcimonie strictes nécessite une distribution moins uniforme des fréquences de termes, conduisant à des coûts de parcours computationnels plus élevés.
3. Répétition du Jeu de Données : La répétition du jeu de données de pré-entraînement général (comparaison indep-repeat vs indep-uniq) a eu un impact minimal sur l'efficacité de recherche. Cela suggère que la diversité du corpus pour la tâche de classification MLM n'est pas un facteur critique pour l'affinage de classement lorsque la régularisation FLOPS est appliquée.

Signification et Revendications
L'article identifie empiriquement des limitations potentielles dans l'alignement du pré-entraînement MLM standard avec l'affinage ESPLADE. Les auteurs revendiquent que :

• Désalignement des Objectifs : Les résultats renforcent l'hypothèse que le pré-entraînement MLM et l'affinage de classement en RI ne sont pas toujours alignés. Les modèles qui performent bien sur les tâches MLM (haute précision, faible variance) peuvent ne pas être optimaux pour la recherche, tandis que les modèles avec une variance de logit-score plus élevée et une précision MLM plus faible (résultant souvent d'un pré-entraînement sur corpus général avec des taux d'apprentissage plus élevés) démontrent une meilleure adaptabilité pour l'affinage ESPLADE.
• Compromis Efficience-Efficacité : L'étude fournit des preuves empiriques que, dans des scénarios d'élagage strict, le maintien de l'efficacité de recherche nécessite souvent des coûts de recherche plus élevés et une variance plus élevée dans les longueurs des listes de publications. Ce compromis est inhérent à la configuration de pré-entraînement et aux caractéristiques résultantes de la représentation sparse.
• Transfert Limité de Connaissances Contextuelles : L'absence de différence significative de performance entre les jeux de données généraux répétés et uniques implique une limitation (ou peut-être une nécessité) dans le transfert de connaissances contextuelles depuis des corpus diversifiés de pré-entraînement MLM vers l'affinage de classement spécifique des modèles ESPLADE.

Les auteurs concluent que, bien que le pré-entraînement MLM soit utile, la configuration spécifique (type de corpus, taux d'apprentissage) influence considérablement la préparation du modèle pour l'affinage de recherche sparse, et que les métriques MLM standards ne sont pas des indicateurs fiables de la performance de recherche en aval.