The Pre-Training Study of Expanded-SPLADE Models on Web Document Titles

Technische Samenvatting: De Pre-Training Studie van Expanded-SPLADE Modellen op Webdocumenttitels

Probleemstelling
Masked Language Modeling (MLM) pre-training is een standaard initialisatiemethode voor Neuronale Informatieretrieval (IR) modellen. Echter, eerdere onderzoeken geven aan dat MLM voorgetrainde modellen vaak beperkte bereidheid vertonen en problemen met transfer learning ondervinden wanneer ze worden fijngefineerd tot Neuronale Bi-Encoder modellen voor retrievaltaken. Specifiek zijn de doelen van MLM (intra-instantie voorspelling) en IR-ranking (inter-instantie discriminatie) niet altijd op elkaar afgestemd. Hoewel Learned Sparse Retrieval (LSR) modellen zoals SPLADE de MLM-laag gebruiken tijdens fijnfining om sparse representaties te genereren, blijft de optimale pre-training strategie voor deze modellen – met name Expanded-SPLADE (ESPLADE) modellen die aangepaste, hoogdimensionale outputvocabulaires gebruiken – onderbelicht. Dit artikel onderzoekt de impact van verschillende pre-training datasets en hyperparameters op de downstream retrieval-effectiviteit en -efficiëntie van ESPLADE modellen.

Methodologie
De auteurs voerden een reeks experimenten uit met betrekking tot de pre-training van Expanded Masked Language Models (EMLM) en hun daaropvolgende fijnfining tot ESPLADE modellen. De studie gebruikte interne webdocumenttitels als primaire databron.

• Modelarchitectuur: De studie maakt gebruik van de ESPLADE-architectuur (Dudek et al., 2023), die de output MLM volledig verbonden laag reconstrueert om een aangepaste, uitgebreide vocabulaire (100K unigrammen) te ondersteunen. Dit maakt een grotere dimensionaliteit mogelijk dan standaard BERT-vocabulaires.
• Pre-training Configuraties: De auteurs varieerden twee primaire factoren:
  1. Datasets:
     • Overlap-Repeat: Voorgetraind op 614M webtitels afgeleid van de fijnfining trainingset (trainset-small), met herhaalde maskingpatronen.
     • Indep-Repeat: Voorgetraind op 614M records uit een distincte interne collectie (79M unieke titels), met een vocabulaire die is afgestemd op de fijnfining-set.
     • Indep-Uniq: Voorgetraind op 614M unieke webtitels uit de interne collectie.
  2. Leertempo's en Stappen:
     • Laag Leertempo (-lr-l): Getraind voor 600K stappen.
     • Hoog Leertempo (-lr-h): Getraind voor 2,9M stappen maar gecheckpointed bij 600K stappen, wat resulteert in een hoger "effectief" leertempo in vergelijking met de modellen met een laag tempo.
• Fijnfining en Evaluatie: Modellen werden fijngefineerd op een zoeklog met query-document clicks met behulp van in-batch negative loss en FLOPS regularisatie. Evaluatie vond plaats op een vastgehouden testset met optionele statische pruning van sparse vectoren (query- en documenttermen) gebaseerd op MLM logit-scores om strikte efficiëntiebeperkingen te simuleren.
• Maten: Retrieval-effectiviteit werd gemeten via MRR@10 en R@10. Efficiëntie werd benaderd met een FLOPS-maatstaf gebaseerd op de doorlooptijd van postingslijsten. De studie analyseerde ook de statistische eigenschappen van EMLM logit-vectoren (bijv. logit-score-std) en de verdeling van de lengte van postingslijsten.

Belangrijkste Resultaten
Het experimenteren leverde drie primaire observaties op:

1. Impact van Pre-training Data en Leertempo: Fijngefineerde modellen die de hoogste retrieval-effectiviteit bereikten in zowel ongesnoeide als strikt gesnoeide settings, waren overwegend die welke waren voorgetraind op algemene, onafhankelijke corpora (indep-) in plaats van de fijnfining-corpus (overlap-). Bovendien presteerden modellen die waren voorgetraind met een hoger effectief leertempo (-lr-h) over het algemeen beter dan die met lagere tempo's. Opvallend vertoonden deze hoogpresterende modellen een lagere MLM-accuraatheid en een hogere logit-score-std (variantie in logit-scores) tijdens de pre-training, wat suggereert dat hoge MLM-accuraatheid niet noodzakelijkerwijs correleert met retrieval-bereidheid.
2. Trade-off bij Strikte Pruning: In de meest strikte pruning-settings (bijv. alleen de top 5 query-termen en 10 documenttermen behouden), behielden de hoogpresterende modellen (indep- met -lr-h) betere retrieval-effectiviteit, maar leden ze onder hogere retrievalkosten (FLOPS) en vertoonden ze een hogere variantie in de lengte van individuele postingslijsten. Dit duidt op een trade-off waarbij het behoud van effectiviteit onder strikte sparsiteitsbeperkingen een minder uniforme verdeling van termfrequenties vereist, wat leidt tot hogere computationele doorlooptijden.
3. Datasetherhaling: Het herhalen van het algemene pre-training dataset (vergelijking indep-repeat versus indep-uniq) had een minimaal effect op de retrieval-effectiviteit. Dit suggereert dat de diversiteit van het corpus voor de MLM-classificatietaken geen kritieke factor is voor ranking-fijnfining wanneer FLOPS-regularisatie wordt toegepast.

Betekenis en Claims
Het artikel identificeert empirisch potentiële beperkingen in het afstemmen van standaard MLM pre-training op ESPLADE fijnfining. De auteurs claimen dat:

• Misalignement van Doelen: De bevindingen versterken de hypothese dat MLM pre-training en IR-ranking fijnfining niet altijd op elkaar zijn afgestemd. Modellen die goed presteren op MLM-taken (hoge accuraatheid, lage variantie) zijn mogelijk niet optimaal voor retrieval, terwijl modellen met een hogere logit-score-variantie en lagere MLM-accuraatheid (vaak het gevolg van pre-training op een algemeen corpus met hogere leertempo's) een betere aanpasbaarheid tonen voor ESPLADE fijnfining.
• Efficiëntie-Effectiviteit Trade-off: De studie levert empirisch bewijs dat in strikte pruning-scenario's het behoud van retrieval-effectiviteit vaak hogere retrievalkosten en een hogere variantie in postingslijstlengten vereist. Deze trade-off is inherent aan de pre-training configuratie en de resulterende kenmerken van de sparse representatie.
• Beperkte Transfer van Contextuele Kennis: Het ontbreken van significante prestatieverschillen tussen herhaalde en unieke algemene datasets impliceert een beperking (of misschien een noodzaak) in het overdragen van contextuele kennis van diverse MLM pre-training corpora naar de specifieke ranking-fijnfining van ESPLADE modellen.

De auteurs concluderen dat hoewel MLM pre-training nuttig is, de specifieke configuratie (corpus type, leertempo) de bereidheid van het model voor sparse retrieval-fijnfining significant beïnvloedt, en dat standaard MLM-maten mogelijk geen betrouwbare indicatoren zijn voor downstream retrieval-prestaties.