uva-irlab-conv at SemEval-2026 Task 8: Multi-Turn RAG with Learned Sparse Retrieval and Listwise Reranking

Sintesi Tecnica: uva-irlab-conv a SemEval-2026 Task 8

Definizione del Problema
Il documento affronta le sfide della Generazione Aumentata da Recupero (RAG) Multi-Turn all'interno di sistemi di ricerca conversazionale e di risposta alle domande (QA). Nello specifico, si rivolge al SemEval-2026 Task 8, che valuta i sistemi attraverso quattro domini distinti: finanza (FiQA), documentazione cloud, governo e Wikipedia. Il compito introduce una complessità significativa richiedendo ai sistemi di gestire contesti conversazionali in evoluzione, inclusi spostamenti di argomento, ambiguità e informazioni storiche rumorose. Una componente critica della valutazione è la capacità di riconoscere e gestire adeguatamente query non rispondibili o sottospecificate in cui la collezione di documenti manca di prove sufficienti, richiedendo al sistema di segnalare l'incertezza invece di allucinare.

Metodologia
Gli autori propongono una pipeline RAG a cascata multi-stadio progettata per integrare il contesto conversazionale durante l'intero processo di recupero e generazione. Il sistema opera attraverso i seguenti stadi sequenziali:

1. Riscrittura della Query Conversazionale: Il sistema trasforma prima l'ultima espressione dell'utente, dipendente dal contesto, in una query autonoma. Questo passaggio utilizza un Large Language Model (LLM) per risolvere anafore ed ellissi preservando il bisogno informativo primario, garantendo la compatibilità con i modelli di recupero standard.
2. Learned Sparse Retrieval (LSR): La query riscritta viene elaborata da LION-SP-8B, un modello di recupero sparso appreso addestrato su un backbone LLM. Questo modello combina rappresentazioni semantiche neurali con scarsità lessicale, consentendo una robusta generalizzazione cross-domain e un'efficiente ricerca tramite indice invertito. Questo stadio riduce l'insieme dei candidati dalla collezione completa ai primi 1.000 passaggi.
3. Reranking Pointwise: Un secondo stadio impiega Qwen3-Reranker-8B per eseguire un reranking pointwise, raffinando l'insieme dei candidati ai primi 20 passaggi.
4. Reranking Conversazionale Listwise: Per reintrodurre il contesto conversazionale che potrebbe essere stato compresso durante la riscrittura, il sistema esegue un reranking listwise utilizzando GPT-4.1. Questo stadio si condiziona sulla cronologia completa del dialogo per confrontare e riordinare congiuntamente i primi 20 passaggi in un top 10 finale, consentendo una selezione delle evidenze più fine.
5. Generazione della Risposta: Infine, i primi 5 passaggi classificati vengono forniti a GPT-4.1 per la generazione della risposta zero-shot. Il modello si condiziona sia sulle evidenze selezionate che sulla cronologia completa della conversazione per produrre risposte fondate.

La pipeline è progettata come una strategia zero-shot, evitando il fine-tuning specifico per il task. I modelli di recupero sono addestrati solo su MSMARCO, mentre la riscrittura della query, il reranking e la generazione si affidano a LLM pre-addestrati.

Risultati Chiave
Il sistema, inviato come uva-irlab-conv, ha ottenuto i seguenti risultati:

• Recupero (Task A): Il sistema si è classificato 2° su 38 team con un punteggio ufficiale nDCG@5 di 0.5475. Lo studio di ablazione ha rivelato che i principali guadagni di performance sono derivati dallo stadio LSR e dal reranking pointwise iniziale. Lo stadio di reranking listwise ha fornito miglioramenti marginali a nDCG@5 e nDCG@10, ma ha aumentato significativamente l'nDCG@1 (precisione del primo elemento in classifica). Le performance variavano per dominio, con il dominio Finance (FiQA) che si è rivelato il più impegnativo e il dominio basato su Wikipedia il più semplice.
• Generazione (Task B & C): Il sistema si è classificato 23° su 26 nell'impostazione Oracle (Task B) e 20° su 29 nell'impostazione RAG standard (Task C) in base alla media armonica delle metriche di valutazione. Gli autori attribuiscono i ranking inferiori nella generazione principalmente alla mancanza di un modellamento esplicito per scenari non rispondibili. Tuttavia, il sistema ha dimostrato un'alta fedeltà (RL_F), particolarmente nell'impostazione RAG standard (0.8035), indicando che quando le evidenze erano insufficienti, il sistema evitava di allucinare informazioni non supportate.
• Correlazioni: È stata osservata una correlazione positiva (Pearson r=0.46) tra l'efficacia del recupero e la qualità della generazione della risposta per i turni rispondibili. Al contrario, le metriche di fedeltà non hanno mostrato correlazione con la qualità del ranking del recupero, suggerendo che la fedeltà sia una proprietà distinta meno dipendente dal ranking del recupero.

Significatività e Rivendicazioni
Il documento sostiene che il suo design multi-step integra efficacemente il contesto conversazionale in tutta la pipeline, migliorando la robustezza attraverso diversi domini senza richiedere estesi dati supervisionati o addestramento specifico per il task. Gli autori sottolineano che il loro approccio dimostra che un forte recupero è un prerequisito per una generazione di alta qualità, come evidenziato dalla correlazione positiva tra i due.

Inoltre, il documento nota che, sebbene le performance del sistema sui metrica basate su riferimento diminuiscano per query parzialmente o non rispondibili (poiché non le segnalano esplicitamente come non rispondibili), il sistema rimane "fedele" evitando generalmente l'introduzione di informazioni non supportate. Gli autori concludono che la loro strategia zero-shot leggera, che combina il recupero sparso appreso con il modellamento del contesto basato su LLM, offre un approccio competitivo ed efficace per la ricerca conversazionale, pur riconoscendo che lavori futuri potrebbero esplorare pipeline RAG più avanzate che coinvolgano la decomposizione delle query e l'auto-riflessione.