uva-irlab-conv at SemEval-2026 Task 8: Multi-Turn RAG with Learned Sparse Retrieval and Listwise Reranking

Technische Zusammenfassung: uva-irlab-conv bei SemEval-2026 Task 8

Problemdefinition
Die Arbeit befasst sich mit den Herausforderungen von Multi-Turn Retrieval-Augmented Generation (RAG) innerhalb konversationeller Such- und Frage-Antwort-Systeme (QA). Speziell adressiert sie SemEval-2026 Task 8, der Systeme über vier verschiedene Domänen hinweg evaluiert: Finanzen (FiQA), Cloud-Dokumentation, Regierung und Wikipedia. Die Aufgabe führt eine erhebliche Komplexität ein, da die Systeme in der Lage sein müssen, sich entwickelnde konversationelle Kontexte zu handhaben, einschließlich Themenwechseln, Ambiguitäten und verrauschten historischen Informationen. Eine kritische Komponente der Evaluierung ist die Fähigkeit, unbeantwortbare oder unterbestimmte Anfragen zu erkennen und angemessen zu behandeln, bei denen die Dokumentensammlung nicht genügend Belege liefert, was erfordert, dass das System Unsicherheit signalisiert, anstatt zu halluzinieren.

Methodik
Die Autoren schlagen eine mehrstufige, kaskadierende RAG-Pipeline vor, die darauf ausgelegt ist, den konversationellen Kontext während des gesamten Retrieval- und Generierungsprozesses zu integrieren. Das System arbeitet durch die folgenden sequenziellen Stufen:

1. Konversationelles Query-Rewriting: Das System transformiert zunächst die kontextabhängige finale Nutzeräußerung in eine eigenständige Abfrage (Standalone-Query). Dieser Schritt nutzt ein Large Language Model (LLM), um Anaphern und Ellipsen aufzulösen und gleichzeitig den primären Informationsbedarf beizubehalten, wodurch die Kompatibilität mit Standard-Retrieval-Modellen sichergestellt wird.
2. Learned Sparse Retrieval (LSR): Die umgeschriebene Abfrage wird durch LION-SP-8B verarbeitet, ein gelerntes Sparse-Retrieval-Modell, das auf einem LLM-Backbone trainiert wurde. Dieses Modell kombiniert neuronale semantische Repräsentationen mit lexikalischer Sparsität, was eine robuste domänenübergreifende Generalisierung und effiziente Inverted-Index-Suche ermöglicht. Diese Stufe reduziert den Kandidatensatz von der vollständigen Sammlung auf die Top 1.000 Passagen.
3. Pointwise Reranking: Eine zweite Stufe setzt Qwen3-Reranker-8B ein, um ein Pointwise-Reranking durchzuführen und den Kandidatensatz auf die Top 20 Passagen zu verfeinern.
4. Listwise Conversational Reranking: Um den konversationellen Kontext wieder einzuführen, der während des Rewritings möglicherweise komprimiert wurde, führt das System ein Listwise-Reranking mittels GPT-4.1 durch. Diese Stufe konditioniert auf den vollständigen Dialogverlauf, um die Top 20 Passagen gemeinsam zu vergleichen und neu zu ordnen, wodurch die Auswahl der finalen Top 10 ermöglicht wird, was eine feingranularere Evidenzauswahl erlaubt.
5. Response Generation: Schließlich werden die Top 5 gerankten Passagen in GPT-4.1 für die Zero-Shot-Antwortgenerierung eingespeist. Das Modell konditioniert sowohl auf die ausgewählten Belege als auch auf den vollständigen Gesprächsverlauf, um fundierte Antworten zu produzieren.

Die Pipeline ist als Zero-Shot-Strategie konzipiert, die auf taskspezifisches Fine-Tuning verzichtet. Die Retrieval-Modelle werden nur auf MSMARCO trainiert, während Query-Rewriting, Reranking und Generierung auf vortrainierten LLMs basieren.

Wichtigste Ergebnisse
Das System, eingereicht als uva-irlab-conv, erzielte die folgenden Ergebnisse:

• Retrieval (Task A): Das System belegte den 2. Platz von 38 Teams mit einem offiziellen nDCG@5-Score von 0,5475. Die Ablationsstudie zeigte, dass die primären Leistungssteigerungen aus der LSR-Stufe und dem initialen Pointwise-Reranking resultierten. Die Listwise-Reranking-Stufe lieferte marginale Verbesserungen bei nDCG@5 und nDCG@10, steigerte jedoch nDCG@1 (Top-Ranked Precision) signifikant. Die Leistung variierte je nach Domäne, wobei die Finanzdomäne (FiQA) die anspruchsvollste und die Wikipedia-basierte Domäne die am einfachsten zu bewältigende war.
• Generierung (Task B & C): Das System belegte den 23. Platz von 26 im Oracle-Setting (Task B) und den 20. Platz von 29 im Standard-RAG-Setting (Task C) basierend auf dem harmonischen Mittel der Evaluierungsmetriken. Die Autoren führen die niedrigeren Rankings in der Generierung primär auf das Fehlen einer expliziten Modellierung für unbeantwortbare Szenarien zurück. Dennoch demonstrierte das System eine hohe Treue (Faithfulness, RL_F), insbesondere im Standard-RAG-Setting (0,8035), was darauf hindeutet, dass das System, wenn die Belege unzureichend waren, keine nicht durch Belege gestützten Informationen halluzinierte.
• Korrelationen: Es wurde eine positive Korrelation (Pearson r=0,46) zwischen der Retrieval-Effektivität und der Qualität der Antwortgenerierung für beantwortbare Turns beobachtet. Im Gegensatz dazu zeigten die Treue-Metriken keine Korrelation mit der Qualität des Retrieval-Rankings, was darauf hindeutet, dass Treue eine eigenständige Eigenschaft ist, die weniger vom Retrieval-Ranking abhängt.

Bedeutung und Ansprüche
Die Arbeit behauptet, dass ihr mehrstufiges Design den konversationellen Kontext effektiv über die gesamte Pipeline hinweg integriert, was die Robustheit über verschiedene Domänen hinweg verbessert, ohne umfangreiche überwachte Daten oder taskspezifisches Training zu erfordern. Die Autoren heben hervor, dass ihr Ansatz zeigt, dass eine starke Retrieval-Effektivität eine Voraussetzung für eine qualitativ hochwertige Generierung ist, wie die positive Korrelation zwischen den beiden zeigt.

Darüber hinaus stellt die Arbeit fest, dass während die Leistung des Systems bei referenzbasierten Metriken für teilweise oder nicht beantwortbare Anfragen abnimmt (da es diese nicht explizit als unbeantwortbar kennzeichnet), das System dennoch „treu“ bleibt, indem es im Allgemeinen vermeidet, ungestützte Informationen einzuführen. Die Autoren kommen zu dem Schluss, dass ihre leichtgewichtige Zero-Shot-Strategie, die Learned Sparse Retrieval mit LLM-basiertem Kontext-Modeling kombiniert, einen wettbewerbsfähigen und effektiven Ansatz für die konversationelle Suche bietet, räumlich geben sie jedoch zu, dass zukünftige Arbeiten fortgeschrittenere RAG-Pipelines untersuchen könnten, die Query-Dekomposition und Selbstreflexion beinhalten.