The Pre-Training Study of Expanded-SPLADE Models on Web Document Titles

Resumo Técnico: O Estudo de Pré-Treinamento de Modelos Expanded-SPLADE em Títulos de Documentos Web

Declaração do Problema
O pré-treinamento por Modelagem de Linguagem Mascarada (MLM) é um método padrão de inicialização para modelos de Recuperação de Informação (RI) Neurais. No entanto, pesquisas anteriores indicam que modelos pré-treinados com MLM frequentemente exibem prontidão limitada e problemas de aprendizado por transferência ao serem ajustados finamente em modelos de Codificador Bi-Neural para tarefas de recuperação. Especificamente, os objetivos do MLM (previsão intra-instância) e do ranqueamento em RI (discriminação inter-instância) nem sempre estão alinhados. Embora modelos de Recuperação Esparsa Aprendida (LSR) como o SPLADE utilizem a camada de MLM durante o ajuste fino para gerar representações esparsas, a estratégia de pré-treinamento ótima para esses modelos — particularmente os modelos Expanded-SPLADE (ESPLADE), que empregam vocabulários de saída personalizados e de alta dimensionalidade — permanece pouco explorada. Este artigo investiga o impacto de diferentes conjuntos de dados de pré-treinamento e hiperparâmetros na eficácia e eficiência de recuperação a jusante dos modelos ESPLADE.

Metodologia
Os autores conduziram uma série de experimentos envolvendo o pré-treinamento de Modelos de Linguagem Mascarada Expandidos (EMLM) e seu subsequente ajuste fino em modelos ESPLADE. O estudo utilizou títulos de documentos web internos como fonte de dados primária.

• Arquitetura do Modelo: O estudo emprega a arquitetura ESPLADE (Dudek et al., 2023), que reconstroi a camada totalmente conectada de saída do MLM para suportar um vocabulário expandido personalizado (100K unigramas). Isso permite uma dimensionalidade maior do que os vocabulários padrão do BERT.
• Configurações de Pré-Treinamento: Os autores variaram dois fatores principais:
  1. Conjuntos de Dados:
     • Overlap-Repeat: Pré-treinado em 614M títulos web derivados do conjunto de treinamento de ajuste fino (trainset-small), com padrões de mascaramento repetidos.
     • Indep-Repeat: Pré-treinado em 614M registros de uma coleção interna distinta (79M títulos únicos), usando um vocabulário alinhado com o conjunto de ajuste fino.
     • Indep-Uniq: Pré-treinado em 614M títulos web únicos da coleção interna.
  2. Taxas de Aprendizado e Passos:
     • Baixa Taxa de Aprendizado (-lr-l): Treinado por 600K passos.
     • Alta Taxa de Aprendizado (-lr-h): Treinado por 2,9M passos, mas com checkpoints em 600K passos, resultando em uma taxa de aprendizado "efetiva" mais alta em comparação com os modelos de baixa taxa.
• Ajuste Fino e Avaliação: Os modelos foram ajustados finamente em um log de pesquisa contendo cliques de consulta-documento, utilizando perda de negativos no mesmo lote (in-batch negative loss) e regularização FLOPS. A avaliação foi realizada em um conjunto de teste retido, com poda estática opcional de vetores esparsos (termos de consulta e documento) baseada em escores de logit do MLM para simular restrições estritas de eficiência.
• Métricas: A eficácia de recuperação foi medida via MRR@10 e R@10. A eficiência foi aproximada usando uma métrica FLOPS baseada no custo de travessia de listas de postings. O estudo também analisou as propriedades estatísticas dos vetores de logit do EMLM (por exemplo, logit-score-std) e as distribuições de comprimento das listas de postings.

Principais Resultados
A experimentação produziu três observações principais:

1. Impacto dos Dados de Pré-Treinamento e da Taxa de Aprendizado: Os modelos ajustados finamente que alcançaram a maior eficácia de recuperação tanto em configurações não podadas quanto estritamente podadas foram predominantemente aqueles pré-treinados em corpora gerais e independentes (indep-) em vez do corpus de ajuste fino (overlap-). Além disso, modelos pré-treinados com uma taxa de aprendizado efetiva mais alta (-lr-h) geralmente superaram aqueles com taxas mais baixas. Notavelmente, esses modelos de alto desempenho exibiram menor precisão do MLM e maior logit-score-std (variância nos escores de logit) durante o pré-treinamento, sugerindo que alta precisão do MLM não necessariamente correlaciona-se com prontidão para recuperação.
2. Compromisso na Poda Estrita: Nas configurações de poda mais estritas (por exemplo, mantendo apenas os 5 termos principais da consulta e 10 termos do documento), os modelos de alto desempenho (indep- com -lr-h) mantiveram melhor eficácia de recuperação, mas incorreram em custos de recuperação mais altos (FLOPS) e exibiram maior variância no comprimento das listas de postings individuais. Isso indica um compromisso onde manter a eficácia sob restrições estritas de esparsidade requer uma distribuição menos uniforme de frequências de termos, levando a custos de travessia computacional mais altos.
3. Repetição do Conjunto de Dados: A repetição do conjunto de dados geral de pré-treinamento (comparando indep-repeat vs. indep-uniq) teve impacto mínimo na eficácia de recuperação. Isso sugere que a diversidade do corpus para a tarefa de classificação do MLM não é um fator crítico para o ajuste fino de ranqueamento quando a regularização FLOPS é aplicada.

Significado e Alegações
O artigo identifica empiricamente limitações potenciais no alinhamento do pré-treinamento padrão de MLM com o ajuste fino do ESPLADE. Os autores afirmam que:

• Desalinhamento de Objetivos: As descobertas reforçam a hipótese de que o pré-treinamento por MLM e o ajuste fino de ranqueamento em RI nem sempre estão alinhados. Modelos que performam bem em tarefas de MLM (alta precisão, baixa variância) podem não ser ótimos para recuperação, enquanto modelos com maior variância de escore de logit e menor precisão do MLM (frequentemente resultantes de pré-treinamento em corpus geral com taxas de aprendizado mais altas) demonstram melhor adaptabilidade para o ajuste fino do ESPLADE.
• Compromisso entre Eficiência e Eficácia: O estudo fornece evidências empíricas de que, em cenários de poda estrita, manter a eficácia de recuperação frequentemente necessita de custos de recuperação mais altos e uma maior variância nos comprimentos das listas de postings. Este compromisso é inerente à configuração de pré-treinamento e às características resultantes da representação esparsa.
• Transferência Limitada de Conhecimento Contextual: A falta de diferença significativa de desempenho entre conjuntos de dados gerais repetidos e únicos implica uma limitação (ou talvez uma necessidade) na transferência de conhecimento contextual de corpora diversos de pré-treinamento de MLM para o ajuste fino de ranqueamento específico dos modelos ESPLADE.

Os autores concluem que, embora o pré-treinamento por MLM seja útil, a configuração específica (tipo de corpus, taxa de aprendizado) influencia significativamente a prontidão do modelo para o ajuste fino de recuperação esparsa, e que métricas padrão de MLM podem não ser indicadores confiáveis de desempenho de recuperação a jusante.