uva-irlab-conv at SemEval-2026 Task 8: Multi-Turn RAG with Learned Sparse Retrieval and Listwise Reranking

Resumo Técnico: uva-irlab-conv no SemEval-2026 Task 8

Definição do Problema
O artigo aborda os desafios da Geração Aumentada por Recuperação (RAG) de Múltiplos Turnos dentro de sistemas de busca conversacional e de resposta a perguntas (QA). Especificamente, ele visa a SemEval-2026 Task 8, que avalia sistemas em quatro domínios distintos: finanças (FiQA), documentação em nuvem, governo e Wikipedia. A tarefa introduz uma complexidade significativa ao exigir que os sistemas lidem com contextos conversacionais em evolução, incluindo mudanças de tópico, ambiguidade e informações históricas ruidosas. Um componente crítico da avaliação é a capacidade de reconhecer e lidar apropriadamente com consultas não respondíveis ou subespecificadas, onde a coleção de documentos carece de evidências suficientes, exigindo que o sistema sinalize incerteza em vez de alucinar.

Metodologia
Os autores propõem um pipeline RAG em cascata de múltiplos estágios, projetado para integrar o contexto conversacional ao longo de todo o processo de recuperação e geração. O sistema opera através dos seguintes estágios sequenciais:

1. Reescrita de Consulta Conversacional: O sistema primeiro transforma a última ocorrência do usuário, dependente de contexto, em uma consulta autônoma (standalone query). Este passo utiliza um Modelo de Linguagem de Grande Escala (LLM) para resolver anáforas e elipses, preservando a necessidade primária de informação, garantindo compatibilidade com modelos de recuperação padrão.
2. Recuperação Esparsa Aprendida (LSR): A consulta reescrita é processada pelo LION-SP-8B, um modelo de recuperação esparsa aprendido treinado em um backbone de LLM. Este modelo combina representações semânticas neurais com esparsidade lexical, permitindo uma generalização robusta entre domínios e busca eficiente em índice invertido. Este estágio reduz o conjunto de candidatos da coleção completa para os 1.000 principais trechos.
3. Reranking Ponto a Ponto (Pointwise Reranking): Um segundo estágio emprega o Qwen3-Reranker-8B para realizar o reranking ponto a ponto, refinando o conjunto de candidatos para os 20 principais trechos.
4. Reranking Conversacional Listwise: Para reintroduzir o contexto conversacional que pode ter sido comprimido durante a reescrita, o sistema realiza um reranking listwise usando o GPT-4.1. Este estágio condiciona-se ao histórico completo do diálogo para comparar e reordenar conjuntamente os 20 principais trechos em um top 10 final, permitindo uma seleção de evidência mais granular.
5. Geração de Resposta: Finalmente, os 5 trechos melhor classificados são enviados para o GPT-4.1 para geração de resposta zero-shot. O modelo condiciona-se tanto à evidência selecionada quanto ao histórico completo da conversa para produzir respostas fundamentadas.

O pipeline é projetado como uma estratégia zero-shot, evitando o ajuste fino (fine-tuning) específico para a tarefa. Os modelos de recuperação são treinados apenas no MSMARCO, enquanto a reescrita de consulta, o reranking e a geração dependem de LLMs pré-treinados.

Principais Resultados
O sistema, submetido como uva-irlab-conv, alcançou os seguintes resultados:

• Recuperação (Tarefa A): O sistema classificou-se em 2º lugar entre 38 equipes com uma pontuação oficial de nDCG@5 de 0.5475. O estudo de ablação revelou que os principais ganhos de desempenho vieram do estágio LSR e do reranking ponto a ponto inicial. O estágio de reranking listwise proporcionou melhorias marginais em nDCG@5 e nDCG@10, mas impulsionou significativamente o nDCG@1 (precisão do topo do ranking). O desempenho variou por domínio, com o domínio de Finanças (FiQA) provando ser o mais desafiador e o domínio baseado em Wikipedia o mais fácil.
• Geração (Tarefa B & C): O sistema classificou-se em 23º de 26 no cenário Oracle (Tarefa B) e em 20º de 29 no cenário RAG padrão (Tarefa C) com base na média harmônica das métricas de avaliação. Os autores atribuem as classificações de geração mais baixas principalmente à falta de um modelo explícito para cenários não respondíveis. No entanto, o sistema demonstrou alta fidelidade (RL_F), particularmente no cenário RAG padrão (0.8035), indicando que, quando a evidência era insuficiente, o sistema evitava alucinar informações não suportadas.
• Correlações: Uma correlação positiva (Pearson r=0.46) foi observada entre a eficácia da recuperação e a qualidade da geração de resposta para turnos respondíveis. Inversamente, as métricas de fidelidade não mostraram correlação com a qualidade do ranking de recuperação, sugerindo que a fidelidade é uma propriedade distinta, menos dependente do ranking de recuperação.

Significância e Alegações
O artigo alega que seu design de múltiplos passos integra efetivamente o contexto conversacional ao longo do pipeline, melhorando a robustez em diversos domínios sem exigir dados supervisionados extensos ou treinamento específico para a tarefa. Os autores destacam que sua abordagem demonstra que uma forte eficácia de recuperação é um pré-requisito para uma geração de alta qualidade, conforme evidenciado pela correlação positiva entre ambos.

Além disso, o artigo observa que, embora o desempenho do sistema em métricas baseadas em referência diminua para consultas parciais ou não respondíveis (dev devido ao não sinalizá-las explicitamente como não respondíveis), o sistema permanece "fiel" ao evitar, em geral, a introdução de informações não suportadas. Os autores concluem que sua estratégia zero-shot leve, combinando recuperação esparsa aprendida com modelagem de contexto baseada em LLM, oferece uma abordagem competitiva e eficaz para a busca conversacional, embora reconheçam que trabalhos futuros poderiam explorar pipelines RAG mais avançados envolvendo decomposição de consulta e autorreflexão.