DS@GT at TREC TOT 2025: Bridging Vague Recollection with Fusion Retrieval and Learned Reranking

Resumo Técnico: DS@GT no TREC TOT 2025

1. O Problema: Recuperação de Itens Conhecidos (Tip-of-the-Tongue)

O artigo aborda a tarefa de Recuperação de Itens Conhecidos no contexto da pista Tip-of-the-Tongue (ToT) do TREC 2025. O desafio consiste em ajudar usuários que já encontraram um item (como um filme, marco ou celebridade), mas não conseguem lembrar seu identificador específico (título ou nome).

• Natureza das Consultas: As consultas dos usuários são descrições verbosas em linguagem natural, frequentemente contendo raciocínio multi-hop, expressões de incerteza e até mesmo "falsas memórias".
• Dificuldade: Sistemas de busca tradicionais baseados em palavras-chave falham em lidar com essa imprecisão e complexidade semântica. O objetivo é identificar o item correto a partir de descrições vagas.

2. Metodologia

Os autores propõem um sistema de recuperação em duas etapas, combinando métodos de recuperação complementares com reclassificação (reranking) aprendida e baseada em LLM.

2.1. Primeira Etapa: Recuperação Híbrida e Multi-Índice
A primeira etapa visa maximizar o recall (recuperação) através da fusão de três métodos distintos:

• Recuperação Esparsa: Utiliza o baseline BM25 (PyTerrier).
• Recuperação Densa: Utiliza o modelo BGE-M3 para gerar embeddings e busca por similaridade de produto escalar em parágrafos da Wikipédia (dump de junho de 2024).
• Recuperação Baseada em LLM: O modelo de linguagem (LLM) gera diretamente até 20 títulos de artigos da Wikipédia que correspondem à consulta, com pontuações de relevância.
• Fusão (Fusion Retrieval): Os resultados das três fontes são mesclados usando uma estratégia de rodízio (round-robin), alternando entre as listas ranqueadas para preservar a diversidade e garantir que os melhores candidatos de cada método sejam mantidos.

2.2. Recuperação Densa Consciente de Tópicos (Topic-Aware)

• O corpus da Wikipédia foi particionado em 24 domínios tópicos usando a classificação ModernBERT-web-topics.
• Para cada tópico, foram construídos índices FAISS separados.
• As consultas passam por um processo de classificação de tópicos e, em seguida, são expandidas (gerando variantes relaxadas) para lidar com a incerteza da consulta. A busca é restrita apenas ao índice do tópico relevante, reduzindo o espaço de busca e melhorando a eficiência computacional.

2.3. Aumento de Dados (Data Augmentation)

• Para treinar o reclassificador aprendido, os autores geraram 5.000 consultas sintéticas ToT usando LLMs (Gemini-2.5-flash-lite, o4-mini, gpt-4o).
• As consultas foram geradas a partir de entidades amostradas da Wikipédia, filtradas por popularidade (pageviews) e qualidade (comprimento do texto e presença de infobox), garantindo diversidade e relevância.

2.4. Segunda Etapa: Reclassificação (Reranking)
Dois abordagens de reclassificação foram avaliadas:

1. Reclassificador Aprendido (LambdaMART): Treinado com o XGBoost, utilizando características como:
   • Pontuações de recuperação densa e esparsa.
   • Contagem de visualizações da página (Pageviews).
   • Métricas de teoria de redes (PageRank, In/Out-degree) construídas sobre um grafo composto de links da Wikipédia.
   • Comprimento da consulta.
2. Reclassificador Baseado em LLM: Utiliza o modelo Gemini-2.5-flash (e outros como Gemma) para reordenar listas de documentos de forma listwise, empregando uma janela deslizante para lidar com o contexto limitado do modelo.

3. Contribuições Principais

• Arquitetura Híbrida: Demonstração de que a fusão de recuperação esparsa, densa e baseada em LLM supera significativamente qualquer método individual.
• Geração de Dados Sintéticos: Criação de um conjunto de dados robusto de 5.000 consultas sintéticas que possuem alta correlação semântica com consultas reais, permitindo o treinamento eficaz de modelos de reclassificação.
• Recuperação Consciente de Tópicos: Uma abordagem que particiona o corpus para melhorar a eficiência, embora com um leve trade-off no recall total se a classificação de tópicos falhar.
• Análise de Reclassificadores: Comparação detalhada entre reclassificadores aprendidos (LambdaMART) e baseados em LLM, mostrando que, embora os LLMs ofereçam o melhor desempenho final, os métodos aprendidos são eficientes para filtragem de alto recall.

4. Resultados

O sistema foi submetido ao TREC TOT 2025 com várias configurações. O melhor sistema (gmn-rerank-500) combinou:

• Recuperação Híbrida (LLM + BM25 + BGE-M3).
• Reclassificação direta com Gemini-2.5-flash em uma lista de documentos.

Desempenho no Conjunto de Teste Oficial:

• Recall@1000: 0.6559
• NDCG@1000: 0.4106

Observações Chave:

• A abordagem híbrida aumentou o Recall em até 11% em relação aos melhores métodos individuais no conjunto de desenvolvimento.
• O reclassificador baseado em LLM (Gemini) superou consistentemente o LambdaMART e os baselines, especialmente em cenários de recuperação densa.
• O reclassificador LambdaMART melhorou o Recall, mas reduziu o Reciprocal Rank (RR) no conjunto de teste, indicando que, embora encontre documentos relevantes, ele às vezes desloca o item correto de posições superiores, sugerindo uma dificuldade de generalização em dados não vistos comparado aos dados de treino.
• A análise por fonte de dados mostrou que o sistema performou melhor em consultas de assessores humanos (NIST) do que em consultas sintéticas ou do conjunto MS-ToT.

5. Significado e Conclusão

O trabalho demonstra que a tarefa de "ponta da língua" (ToT) exige uma abordagem que vá além da correspondência exata de palavras. A combinação de múltiplos sinais de recuperação (cobrindo diferentes aspectos de relevância) com reclassificação avançada baseada em LLM é a chave para o sucesso.

O estudo valida que:

1. A fusão de métodos heterogêneos (esparsos, densos e generativos) é superior a qualquer abordagem isolada.
2. A geração de dados sintéticos de alta qualidade é viável e essencial para treinar modelos de reclassificação quando os dados reais são escassos.
3. Embora os LLMs ofereçam o melhor desempenho final, sistemas híbridos que utilizam reclassificadores aprendidos (como LambdaMART) como filtro inicial, seguidos por reclassificação LLM, oferecem um equilíbrio viável entre custo computacional e eficácia.

O código e a implementação estão disponíveis publicamente, servindo como uma referência sólida para futuras pesquisas em recuperação de itens conhecidos e busca semântica complexa.