uva-irlab-conv at SemEval-2026 Task 8: Multi-Turn RAG with Learned Sparse Retrieval and Listwise Reranking

Technische Samenvatting: uva-irlab-conv bij SemEval-2026 Taak 8

Probleemdefinitie
Het artikel behandelt de uitdagingen van Multi-Turn Retrieval-Augmented Generation (RAG) binnen conversationele zoek- en vraag-antwoordsystemen (QA). Specifiek richt het zich op SemEval-2026 Taak 8, die systemen evalueert over vier verschillende domeinen: financiën (FiQA), clouddocumentatie, overheid en Wikipedia. De taak introduceert aanzienlijke complexiteit door systemen te vereisen die evoluerende conversationele contexten kunnen verwerken, inclusief onderwerpswisselingen, ambiguïteit en ruis in de historische informatie. Een cruciaal onderdeel van de evaluatie is het vermogen om onbeantwoordbare of ondergespecificeerde queries te herkennen en er gepast mee om te gaan wanneer de documentatiecollectie onvoldoende bewijs bevat, waarbij het systeem onzekerheid moet signaleren in plaats van te hallucineren.

Methodologie
De auteurs stellen een multi-stage, cascade RAG-pipeline voor die is ontworpen om conversationele context door het hele retrieval- en generatieproces heen te integreren. Het systeem werkt via de volgende sequentiële stadia:

1. Conversational Query Rewriting: Het systeem transformeert eerst de contextafhankelijke laatste gebruikersuiting naar een zelfstandige query. Deze stap maakt gebruik van een Large Language Model (LLM) om anafora en ellipsis op te lossen terwijl de primaire informatiebehoefte behouden blijft, wat zorgt voor compatibiliteit met standaard retrievalmodellen.
2. Learned Sparse Retrieval (LSR): De herschreven query wordt verwerkt door LION-SP-8B, een learned sparse retrieval model getraind op een LLM-backbone. Dit model combineert neurale semantische representaties met lexicale sparsiteit, wat robuuste cross-domein generalisatie en efficiëntie in de inverted-index search mogelijk maakt. Deze fase reduceert de kandidaatenset van de volledige collectie naar de top 1.000 passages.
3. Pointwise Reranking: Een tweede fase gebruikt Qwen3-Reranker-8B om pointwise reranking uit te voeren, waarmee de kandidaatenset wordt verfijnd tot de top 20 passages.
4. Listwise Conversational Reranking: Om de conversationele context die tijdens het herschrijven mogelijk is gecomprimeerd, opnieuw te introduceren, voert het systeem een listwise reranking uit met behulp van GPT-4.1. Deze fase conditioneert op de volledige dialooggeschiedenis om de top 20 passages gezamenlijk te vergelijken en te herordenen tot een definitieve top 10, wat zorgt voor fijnmazigere selectie van bewijslast.
5. Response Generation: Ten slotte worden de top 5 gerankte passages gevoed aan GPT-4.1 voor zero-shot response generatie. Het model conditioneert op zowel de geselecteerde bewijslast als de volledige gesprekshistorie om gegronde antwoorden te produceren.

De pipeline is ontworpen als een zero-shot strategie, waarbij geen taakspecifieke fine-tuning wordt toegepast. De retrievalmodellen zijn getraind op MSMARCO, terwijl query rewriting, reranking en generatie vertrouwen op pre-trained LLM's.

Belangrijkste Resultaten
Het systeem, ingediend als uva-irlab-conv, behaalde de volgende resultaten:

• Retrieval (Taak A): Het systeem bekleedde de 2e plaats van de 38 teams met een officiële nDCG@5 score van 0.5475. De ablatie-studie toonde aan dat de belangrijkste prestatiewinsten voortkwamen uit de LSR-fase en de initiële pointwise reranking. De listwise reranking-fase leverde marginale verbeteringen op bij nDCG@5 en nDCG@10, maar bood een significante boost voor nDCG@1 (top-ranked precisie). De prestaties varieerden per domein, waarbij het Finance (FiQA) domein het meest uitdagend bleek en het Wikipedia-gebaseerde domein het makkelijkst.
• Generatie (Taak B & C): Het systeem bekleedde de 23e plaats van de 26 in de Oracle-setting (Taak B) en de 20e plaats van de 29 in de standaard RAG-setting (Taak C) op basis van het harmonisch gemiddelde van de evaluatiemetrieken. De auteurs schrijven de lagere generatie-rankings primair toe aan het gebrek van het systeem aan expliciete modellering voor onbeantwoordbare scenario's. Echter, het systeem vertoonde een hoge getrouwheid (RL_F), met name in de standaard RAG-setting (0.8035), wat aangeeft dat het systeem, wanneer bewijs onvoldoende was, vermeed om ononderbouwde informatie te hallucineren.
• Correlaties: Er werd een positieve correlatie (Pearson r=0.46) waargenomen tussen de effectiviteit van de retrieval en de kwaliteit van de responsgeneratie voor beantwoordbare beurten. Daarentegen vertoonden faithfulness-metrieken geen correlatie met de kwaliteit van de retrieval-ranking, wat suggereert dat getrouwheid een afzonderlijke eigenschap is die minder afhankelijk is van de retrieval-ranking.

Betekenis en Claims
Het artikel claimt dat het multi-step ontwerp de conversationele context effectief door de gehele pipeline integreert, wat de robuustheid over diverse domeinen verbetert zonder dat uitgebreide gesuperviseerde data of taakspecifieke training nodig is. De auteurs benadrukken dat hun aanpak aantoont dat een sterke retrieval-effectiviteit een vereiste is voor hoogwaardige generatie, zoals blijkt uit de positieve correlatie tussen de twee.

Verder merkt het artikel op dat hoewel de prestaties van het systeem op referentie-gebaseerde metrieken afnemen voor gedeeltelijk of niet-beantwoordbare queries (vanwege het niet expliciet markeren hiervan als onbeantwoordbaar), het systeem "getrouw" blijft door over het algemeen te voorkomen dat ononderbouwde informatie wordt geïntroduceerd. De auteurs concluderen dat hun lichtgewicht, zero-shot strategie, die learned sparse retrieval combineert met LLM-gebaseerde contextmodellering, een competitieve en effectieve aanpak biedt voor conversationele zoekopdrachten, hoewel zij erkennen dat toekomstig werk meer geavanceerde RAG-pipelines kan verkennen die gebruikmaken van query-decompositie en zelfreflectie.