DS@GT at TREC TOT 2025: Bridging Vague Recollection with Fusion Retrieval and Learned Reranking

A continuación presento un resumen técnico detallado del artículo "DS@GT at TREC TOT 2025: Bridging Vague Recollection with Fusion Retrieval and Learned Reranking" en español.

1. Problema: Búsqueda de "Punta de la Lengua" (Tip-of-the-Tongue - ToT)

El artículo aborda el desafío de la pista de Tip-of-the-Tongue (ToT) en el track de TREC 2025. Este escenario de recuperación de ítems conocidos ocurre cuando un usuario recuerda un elemento (película, monumento, celebridad, etc.) pero no puede recordar su identificador específico (título o nombre).

• Naturaleza de la consulta: Las consultas son descripciones verbosas en lenguaje natural, a menudo complejas, que incluyen razonamiento multi-paso, expresiones de incertidumbre e incluso falsos recuerdos.
• Desafío: Los sistemas de búsqueda tradicionales basados en palabras clave fallan frecuentemente porque no pueden interpretar estas descripciones imprecisas ni realizar el razonamiento semántico necesario para conectar la descripción vaga con el ítem correcto en un corpus masivo (Wikipedia).

2. Metodología

Los autores proponen un sistema de recuperación en dos etapas que combina múltiples métodos de recuperación complementarios con técnicas de reordenamiento (reranking) aprendidas y basadas en LLM.

A. Generación de Datos Sintéticos (Aumento)

Para entrenar modelos de reordenamiento, se generaron 5,000 consultas sintéticas ToT utilizando LLMs (Gemini-2.5-flash-lite, o4-mini, GPT-4o).

• Se seleccionaron 5,000 entidades de Wikipedia basándose en popularidad (vistas de página) y calidad (longitud del texto, presencia de infobox).
• Se diseñaron prompts específicos para generar consultas en lenguaje natural que imitan la vaguedad y el razonamiento de los usuarios reales, eliminando palabras clave de dominio específico para generalizar el problema.

B. Etapa 1: Recuperación Híbrida y Multi-índice

Se emplea una estrategia de fusión para maximizar el recall:

1. Recuperación Híbrida: Se combinan tres métodos mediante una estrategia de "round-robin" (alternancia):
   • Recuperación LLM: El modelo genera directamente títulos de artículos de Wikipedia con puntuaciones de relevancia.
   • Recuperación Esparsa (Sparse): Uso de BM25 (PyTerrier).
   • Recuperación Densa (Dense): Uso del modelo BGE-M3 sobre embeddings de párrafos de Wikipedia.
2. Recuperación Densa Multi-índice Consciente de Temas:
   • El corpus de Wikipedia se divide en 24 dominios temáticos utilizando la clasificación ModernBERT-web-topics.
   • Se construyen índices FAISS separados para cada tema.
   • Las consultas se expanden y se clasifican para enrutarlas solo al índice temático relevante, reduciendo el espacio de búsqueda y mejorando la eficiencia computacional.

C. Etapa 2: Reordenamiento (Reranking)

Se evalúan dos enfoques distintos para reordenar los candidatos de la primera etapa:

1. Reordenamiento con LLM: Se utiliza una implementación basada en RankLLM con una ventana deslizante para procesar listas de documentos. Se probaron modelos como Gemma y Gemini (especialmente Gemini-2.5-flash).
2. Reordenamiento Aprendido (LambdaMART): Se entrenó un modelo LambdaMART (usando XGBoost) con las siguientes características (features):
   • Puntuaciones de recuperación densa (BGE-M3) y esparsa (BM25).
   • Conteo de vistas de página (Pageviews) y PageRank (calculado sobre un grafo compuesto de enlaces de Wikipedia, citas directas, conexiones de metapath y vecinos semánticos).
   • Longitud de la consulta.
   • Estrategia de muestreo: Se usó un enfoque de pseudo-relevancia (1 documento dorado, 5 pseudo-relevantes, 10 irrelevantes) para equilibrar las clases.

3. Contribuciones Clave

• Arquitectura de Fusión: Demostración de que la combinación de recuperación basada en LLM, esparsa y densa supera significativamente a cualquier método individual en términos de recall.
• Generación de Datos Sintéticos: Creación de un conjunto de datos ampliado de 5,000 consultas sintéticas que muestran una alta correlación semántica con las consultas originales, permitiendo entrenar modelos de reordenamiento robustos.
• Recuperación Temática Eficiente: Implementación de un sistema de enrutamiento por temas que reduce el espacio de búsqueda manteniendo un rendimiento competitivo, ofreciendo un equilibrio entre eficiencia y efectividad.
• Análisis de Reordenamiento: Comparación exhaustiva entre reordenadores aprendidos (LambdaMART) y basados en LLM, mostrando que los LLMs ofrecen el mejor rendimiento global, mientras que los modelos aprendidos son una alternativa computacionalmente eficiente.

4. Resultados

El sistema se evaluó en el conjunto de pruebas oficial de TREC TOT 2025.

• Mejor Sistema: La combinación de Recuperación Híbrida + Reordenamiento con Gemini-2.5-flash (sistema gmn-rerank-500) logró los mejores resultados:
  • Recall@1000: 0.6559
  • NDCG@1000: 0.4106
• Comparativa de Métodos:
  • La recuperación híbrida mejoró el recall en un 4.4% a 11% sobre los mejores métodos individuales en los conjuntos de desarrollo.
  • El reordenamiento con LLM (Gemma-3-27B) superó a la línea base en un 68% (recuperación esparsa) y un 120% (recuperación densa) en términos de Reciprocal Rank.
  • El reordenamiento LambdaMART mejoró el recall pero a costa de reducir la precisión en la parte superior de la lista (bajo NDCG), lo que sugiere que es excelente para filtrar candidatos relevantes (alto recall) pero menos preciso para posicionar el ítem exacto en el primer lugar sin ayuda adicional.
• Análisis por Fuente de Datos: El sistema tuvo un rendimiento superior en consultas de evaluadores humanos (NIST) comparado con las consultas sintéticas o del conjunto MS-ToT, lo que indica que las consultas sintéticas representan un desafío más difícil y realista.

5. Significado y Conclusiones

El trabajo demuestra que para resolver problemas de búsqueda de "punta de la lengua", donde la información del usuario es vaga y compleja, es crucial no depender de un único método de recuperación.

• La fusión de señales (LLM, BM25, BGE-M3) es fundamental para capturar diferentes aspectos de la relevancia.
• Los LLMs actúan como reordenadores superiores, capaces de entender el contexto semántico profundo y la incertidumbre en la consulta, superando a los modelos de aprendizaje automático tradicionales en esta tarea específica.
• Sin embargo, los modelos aprendidos (LambdaMART) siguen siendo valiosos como filtros de alto recall o como alternativa eficiente en entornos con restricciones computacionales.

En resumen, el enfoque de DS@GT establece un nuevo estándar para la recuperación de ítems conocidos mediante una arquitectura híbrida que integra la capacidad generativa de los LLMs con la eficiencia de los métodos de recuperación clásicos y el aprendizaje automático.