The Pre-Training Study of Expanded-SPLADE Models on Web Document Titles

Sintesi Tecnica: Lo Studio di Pre-Addestramento dei Modelli Expanded-SPLADE su Titoli di Documenti Web

Enunciato del Problema
Il pre-addestramento con Masked Language Modeling (MLM) è un metodo di inizializzazione standard per i modelli di Information Retrieval (IR) Neurale. Tuttavia, ricerche precedenti indicano che i modelli pre-addestrati con MLM spesso mostrano una preparazione limitata e problemi di transfer learning quando vengono adattati (fine-tuned) in modelli Neurali Bi-Encoder per compiti di recupero. Nello specifico, gli obiettivi del MLM (predizione intra-istanza) e del ranking IR (discriminazione inter-istanza) non sono sempre allineati. Sebbene i modelli di Learned Sparse Retrieval (LSR) come SPLADE utilizzino il layer MLM durante l'adattamento per generare rappresentazioni sparse, la strategia di pre-addestramento ottimale per questi modelli — in particolare per i modelli Expanded-SPLADE (ESPLADE) che impiegano vocabolari di output personalizzati e ad alta dimensionalità — rimane poco esplorata. Questo articolo indaga l'impatto di diversi dataset di pre-addestramento e iperparametri sull'efficacia e l'efficienza a valle del recupero dei modelli ESPLADE.

Metodologia
Gli autori hanno condotto una serie di esperimenti che coinvolgono il pre-addestramento di Expanded Masked Language Models (EMLM) e il loro successivo adattamento in modelli ESPLADE. Lo studio ha utilizzato titoli di documenti web interni come fonte dati primaria.

• Architettura del Modello: Lo studio impiega l'architettura ESPLADE (Dudek et al., 2023), che ricostruisce lo strato fully connected di output del MLM per supportare un vocabolario personalizzato ed espanso (100K unigrammi). Ciò consente una dimensionalità maggiore rispetto ai vocabolari BERT standard.
• Configurazioni di Pre-Addestramento: Gli autori hanno variato due fattori principali:
  1. Dataset:
     • Overlap-Repeat: Pre-addestrato su 614M titoli web derivati dal set di addestramento per l'adattamento (trainset-small), con pattern di mascheramento ripetuti.
     • Indep-Repeat: Pre-addestrato su 614M record da una raccolta interna distinta (79M titoli unici), utilizzando un vocabolario allineato al set di adattamento.
     • Indep-Uniq: Pre-addestrato su 614M titoli web unici dalla raccolta interna.
  2. Tassi di Apprendimento e Passi:
     • Basso Tasso di Apprendimento (-lr-l): Addestrato per 600K passi.
     • Alto Tasso di Apprendimento (-lr-h): Addestrato per 2,9M passi ma salvato (checkpointed) a 600K passi, risultando in un tasso di apprendimento "effettivo" più alto rispetto ai modelli a basso tasso.
• Adattamento e Valutazione: I modelli sono stati adattati su un log di ricerca contenente click su query-documento utilizzando la perdita negativa in batch e la regolarizzazione FLOPS. La valutazione è stata condotta su un set di test tenuto da parte con eventuale pruning statico opzionale dei vettori sparsi (termini di query e documento) basato sui punteggi logit del MLM per simulare vincoli di efficienza rigorosi.
• Metriche: L'efficacia del recupero è stata misurata tramite MRR@10 e R@10. L'efficienza è stata approssimata utilizzando una metrica FLOPS basata sul costo di attraversamento delle liste di postings. Lo studio ha anche analizzato le proprietà statistiche dei vettori logit EMLM (es. logit-score-std) e le distribuzioni della lunghezza delle liste di postings.

Risultati Chiave
La sperimentazione ha prodotto tre osservazioni principali:

1. Impatto dei Dati di Pre-Addestramento e del Tasso di Apprendimento: I modelli adattati che hanno raggiunto la massima efficacia di recupero sia nelle impostazioni non potate che in quelle strettamente potate sono stati prevalentemente quelli pre-addestrati su corpora generali e indipendenti (indep-) piuttosto che sul corpus di adattamento (overlap-). Inoltre, i modelli pre-addestrati con un tasso di apprendimento effettivo più alto (-lr-h) hanno generalmente superato quelli con tassi più bassi. È notevole che questi modelli ad alte prestazioni abbiano mostrato una minore accuratezza MLM e un logit-score-std più alto (varianza nei punteggi logit) durante il pre-addestramento, suggerendo che un'alta accuratezza MLM non correla necessariamente con la preparazione al recupero.
2. Compromesso nel Pruning Rigido: Nelle impostazioni di pruning più rigide (ad esempio, mantenendo solo i primi 5 termini della query e 10 termini del documento), i modelli ad alte prestazioni (indep- con -lr-h) hanno mantenuto una migliore efficacia di recupero ma hanno sostenuto costi di recupero più elevati (FLOPS) e hanno mostrato una varianza più alta nella lunghezza delle singole liste di postings. Ciò indica un compromesso in cui mantenere l'efficacia sotto vincoli di sparsità rigorosi richiede una distribuzione meno uniforme delle frequenze dei termini, portando a costi di attraversamento computazionale più elevati.
3. Ripetizione del Dataset: Ripetere il dataset generale di pre-addestramento (confrontando indep-repeat vs indep-uniq) ha avuto un impatto minimo sull'efficacia del recupero. Ciò suggerisce che la diversità del corpus per il compito di classificazione MLM non è un fattore critico per l'adattamento al ranking quando viene applicata la regolarizzazione FLOPS.

Significato e Affermazioni
Il documento identifica empiricamente potenziali limitazioni nell'allineare il pre-addestramento MLM standard con l'adattamento ESPLADE. Gli autori affermano che:

• Disallineamento degli Obiettivi: I risultati rafforzano l'ipotesi che il pre-addestramento MLM e l'adattamento al ranking IR non siano sempre allineati. I modelli che performano bene nei compiti MLM (alta accuratezza, bassa varianza) potrebbero non essere ottimali per il recupero, mentre modelli con una varianza logit-score più alta e una minore accuratezza MLM (spesso risultanti da pre-addestramento su corpora generali con tassi di apprendimento più alti) dimostrano una migliore adattabilità per l'adattamento ESPLADE.
• Compromesso Efficacia-Efficienza: Lo studio fornisce prove empiriche che, negli scenari di pruning rigoroso, mantenere l'efficacia del recupero spesso richiede costi di recupero più elevati e una varianza più alta nelle lunghezze delle liste di postings. Questo compromesso è intrinseco alla configurazione di pre-addestramento e alle caratteristiche risultanti della rappresentazione sparsa.
• Transfer Limitato della Conoscenza Contestuale: La mancanza di differenze significative nelle prestazioni tra dataset generali ripetuti e unici implica una limitazione (o forse una necessità) nel trasferire la conoscenza contestuale da diversi corpora di pre-addestramento MLM all'adattamento specifico al ranking dei modelli ESPLADE.

Gli autori concludono che, sebbene il pre-addestramento MLM sia utile, la configurazione specifica (tipo di corpus, tasso di apprendimento) influenza significativamente la preparazione del modello per l'adattamento al recupero sparso, e che le metriche MLM standard potrebbero non essere indicatori affidabili delle prestazioni di recupero a valle.