uva-irlab-conv at SemEval-2026 Task 8: Multi-Turn RAG with Learned Sparse Retrieval and Listwise Reranking

Resumen Técnico: uva-irlab-conv en SemEval-2026 Task 8

Definición del Problema
El artículo aborda los desafíos de la Generación Aumentada por Recuperación (RAG) de múltiples turnos dentro de los sistemas de búsqueda conversacional y de respuesta a preguntas (QA). Específicamente, se dirige a la Tarea 8 de SemEval-2026, que evalúa sistemas a través de cuatro dominios distintos: finanzas (FiQA), documentación en la nube, gobierno y Wikipedia. La tarea introduce una complejidad significativa al requerir que los sistemas gestionen contextos conversacionales evolutivos, incluyendo cambios de tema, ambigüedad e información histórica ruidosa. Un componente crítico de la evaluación es la capacidad de reconocer y manejar adecuadamente consultas no contestables o subespecificadas donde la colección de documentos carece de evidencia suficiente, requiriendo que el sistema señale la incertidumbre en lugar de alucinar.

Metodología
Los autores proponen un pipeline de RAG en cascada de múltiples etapas diseñado para integrar el contexto conversacional a lo largo de todo el proceso de recuperación y generación. El sistema opera a través de las siguientes etapas secuenciales:

1. Reescritura de Consultas Conversacionales: El sistema primero transforma la última expresión del usuario dependiente del contexto en una consulta independiente. Este paso utiliza un Modelo de Lenguaje Grande (LLM) para resolver la anáfora y la elipsis preservando la necesidad de información primaria, asegurando la compatibilidad con los modelos de recuperación estándar.
2. Recuperación Dispersa Aprendida (LSR): La consulta reescrita es procesada por LION-SP-8B, un modelo de recuperación dispersa aprendida entrenado sobre una arquitectura de LLM. Este modelo combina representaciones semánticas neurales con dispersión léxica, permitiendo una generalización robusta entre dominios y una búsqueda eficiente en índices invertidos. Esta etapa reduce el conjunto de candidatos de la colección completa a los 1,000 pasajes superiores.
3. Reclasificación (Reranking) Punto a Punto: Una segunda etapa emplea Qwen3-Reranker-8B para realizar una reclasificación punto a punto, refinando el conjunto de candidatos a los 20 pasajes superiores.
4. Reclasificación Conversacional Listwise: Para reintroducir el contexto conversacional que pudo haber sido comprimido durante la reescritura, el sistema realiza una reclasificación listwise utilizando GPT-4.1. Esta etapa se condiciona a la historia completa del diálogo para comparar y reordenar conjuntamente los 20 pasajes superiores en un top 10 final, permitiendo una selección de evidencia más fina.
5. Generación de Respuesta: Finalmente, los 5 pasajes mejor clasificados se introducen en GPT-4.1 para la generación de respuestas zero-shot. El modelo se condiciona tanto a la evidencia seleccionada como a la historia completa de la conversación para producir respuestas fundamentadas.

El pipeline está diseñado como una estrategia zero-shot, evitando el ajuste fino (fine-tuning) específico de la tarea. Los modelos de recuperación están entrenados solo en MSMARCO, mientras que la reescritura de consultas, la reclasificación y la generación dependen de LLMs preentrenados.

Resultos Clave
El sistema, enviado como uva-irlab-conv, logró los siguientes resultados:

• Recuperación (Tarea A): El sistema clasificó en el 2º lugar de 38 equipos con una puntuación oficial de nDCG@5 de 0.5475. El estudio de ablación reveló que las principales ganancias de rendimiento provinieron de la etapa LSR y de la reclasificación puntual inicial. La etapa de reclasificación listwise proporcionó mejoras marginales en nDCG@5 y nDCG@10, pero aumentó significativamente el nDCG@1 (precisión del primer lugar). El rendimiento varió por dominio, resultando el dominio de Finanzas (FiQA) el más desafiante y el dominio basado en Wikipedia el más sencillo.
• Generación (Tarea B y C): El sistema clasificó en el puesto 23 de 26 en el entorno Oracle (Tarea B) y en el puesto 20 de 29 en el entorno RAG estándar (Tarea C) basado en la media armónica de las métricas de evaluación. Los autores atribuyen las clasificaciones más bajas en generación principalmente a la falta de un modelado explícito para escenarios no contestables. Sin embargo, el sistema demostró una alta fidelidad (RL_F), particularmente en el entorno RAG estándar (0.8035), indicando que cuando la evidencia era insuficiente, el sistema evitó alucinar información no respaldada.
• Correlaciones: Se observó una correlación positiva (Pearson r=0.46) entre la efectividad de la recuperación y la calidad de la generación de respuestas para turnos contestables. Por el contrario, las métricas de fidelidad no mostraron correlación con la calidad de la clasificación de recuperación, sugiriendo que la fidelidad es una propiedad distinta menos dependiente de la clasificación de recuperación.

Significancia y Reivindicaciones
El artículo afirma que su diseño de múltiples pasos integra eficazmente el contexto conversacional a lo largo del pipeline, mejorando la robustez en diversos dominios sin requerir datos supervisados extensos o entrenamiento específico de la tarea. Los autores destacan que su enfoque demuestra que una fuerte efectividad de recuperación es un prerrequisito para una generación de alta calidad, como lo evidencia la correlación positiva entre ambas.

Además, el artículo señala que, si bien el rendimiento del sistema en métricas basadas en referencias disminuye para consultas parciales o no contestables (debido a no marcarlas explícitamente como no contestables), el sistema permanece "fiel" al evitar generalmente la introducción de información no respaldada. Los autores concluyen que su estrategia ligera y zero-shot, que combina la recuperación dispersa aprendida con el modelado de contexto basado en LLM, ofrece un enfoque competitivo y efectivo para la búsqueda conversacional, aunque reconocen que trabajos futuros podrían explorar pipelines RAG más avanzados que involucren descomposición de consultas y autorreflexión.