PASH at TREC 2021 Deep Learning Track: Generative Enhanced Model for Multi-stage Ranking

Resumo Técnico: PASH no TREC 2021 Deep Learning Track

Definição do Problema
Este artigo detalha a participação da equipe PASH no TREC 2021 Deep Learning Track, que se concentra em tarefas de Recuperação de Informação (IR) envolvendo conjuntos de dados de treinamento de larga escala. O track apresentou dois desafios específicos: Classificação de Documentos (Document Ranking) e Classificação de Passagens (Passage Ranking). O objetivo era recuperar e classificar conteúdo relevante de coleções massivas (138 milhões de passagens e aproximadamente 12 milhões de documentos) utilizando um conjunto de 477 consultas de teste. A métrica de avaliação principal foi o Ganho Acumulado Descontado Normalizado (NDCG). A equipe visou melhorar seu desempenho do TREC 2020 integrando modelos generativos e refinando estratégias de classificação em múltiplos estágios.

Metodologia
A equipe PASH empregou um pipeline de múltiplos estágios compreendendo recuperação, correspondência multi-via (multi-way matching) e um processo de classificação hierárquica.

• Correspondência Multi-via (Estágio de Recuperação):

  • Recuperação Esparsa: A equipe utilizou o docTTTTTquery (também conhecido como docT5query ou doc2query-T5) para gerar pseudo-consultas para documentos e passagens.
    • Para passagens, o T5-base foi usado para amostrar 40 consultas por passagem.
    • Para documentos, uma abordagem de janela deslizante (10 sentenças, stride de 5) segmentou os documentos em passagens. Cada segmento foi precedido pela URL e pelo título do documento. Dez consultas foram geradas por passagem.
    • Essas consultas geradas foram indexadas usando BM25.
  • Recuperação Densa: Para complementar os métodos esparsos, a equipe adotou o ColBERT como seu recuperador denso, selecionado por seu equilíbrio entre eficácia e eficiência.

• Classificação em Múltiplos Estágios:

  • Modelos de Fundação: O pipeline de classificação herdou modelos do TREC 2020, incluindo BERT-Large, ALBERT-XXLarge, ELECTRA-Large e XLNet-Large. Esses modelos passaram por pré-treinamento contínuo em conhecimento geral e dados de nível de documento, seguido de ajuste fino (fine-tuning) no conjunto de dados do ano corrente.
  • Mudança de Estratégia: Diferente do ano anterior, o segundo estágio de classificação utilizou um objetivo de perda par-a-par (pair-wise loss). Isso permitiu que a equipe aproveitasse uma gama mais ampla de dados de treinamento além dos limitados dados rotulados de 4 classes do TREC.
  • Melhoria Generativa (T5): Uma adição fundamental para 2021 foi a introdução do modelo generativo T5 para aumentar o desempenho.
    • Implementação: Baseada no repositório Megatron-LM com estratégias de treinamento alinhadas ao trabalho anterior [10].
    • Escala: A equipe treinou o T5-3B (aproximadamente 12 dias em 32 GPUs V100, ~12,8M de exemplos) e o T5-11B (aproximadamente 30 dias).
    • Nota de Desempenho: O modelo T5-11B demonstrou um NDCG@5 zero-shot de 0,3651.

• Aprendizado de Ensemble:

  • Beneficiando-se da abordagem de correspondência multi-via, a equipe treinou sequencialmente diferentes classificadores usando várias sementes aleatórias para criar um ensemble para as previsões finais.

Resultos
A equipe enviou seis execuções oficiais para cada sub-tarefa (classificação de passagens e de documentos), categorizadas como execuções de reclassificação ($r^*$) e execuções de classificação total ($f^*$).

• Classificação de Passagens:
  • Na tarefa de reclassificação (re-ranking), a melhor execução (pash r2/r3) alcançou um NDCG@5 de 0,7390 e um NDCG@10 de 0,7076.
  • Na tarefa de classificação total (full-ranking), a melhor execução (pash f3) alcançou um NDCG@5 de 0,7596 e um NDCG@10 de 0,7494, com um Recall@100 (R@100) de 0,5500.
• Classificação de Documentos:
  • Na tarefa de reclassificação (re-ranking), a melhor execução (pash doc r3) alcançou um NDCG@5 de 0,7383 e um NDCG@10 de 0,7164.
  • Na tarefa de classificação total (full-ranking), a melhor execução (pash doc f5) alcançou um NDCG@5 de 0,7508 e um NDCG@10 de 0,7368, com um R@100 de 0,4419.

Principais Contribuições e Significância
O artigo destaca várias contribuições e observações específicas:

1. Integração de Modelos Generativos: A introdução do T5 marcou um passo significativo em comparação ao TREC 2020. Os autores observaram que, embora os modelos baseados em T5 tenham alcançado pontuações de NDCG@5 mais altas, eles exibiram pontuações de NDCG@10 menores em comparação aos modelos baseados em transformer.
2. Interpretação dos Resultados: Os autores interpretam o alto NDCG@5, mas o NDCG@10 mais baixo nos modelos generativos, como uma indicação de que passagens relevantes são classificadas com sucesso dentro do top 5. No entanto, isso sugere uma "sede" específica por classificação em múltiplos estágios (multi-stage ranking) dentro de estruturas generativas. Os autores postulam que estratégias de treinamento par-a-par ou de lista (list-wise) poderiam desbloquear ainda mais o potencial desses modelos.
3. Sucesso da Recuperação Híbrida: Os experimentos demonstraram que a expressividade do ColBERT integra-se bem com a abordagem tradicional de BM25 + docTTTTTquery, validando a estratégia de correspondência multi-via.
4. Direção Futura: O artigo conclui que o "entrelaçamento de uma sequência de diferentes métodos" (combinando abordagens esparsas, densas e generativas) será uma prioridade para trabalhos futuros na área.

Os autores mantêm um tom modesto, enquadrando seu trabalho como uma descrição de sua participação e uma exploração de como os modelos generativos se encaixam na infraestrutura de classificação de múltiplos estágios existente, em vez de reivindicar uma solução definitiva para todos os desafios de IR.