Overview of the TREC 2025 Retrieval Augmented Generation (RAG) Track

La segunda edición de la pista de Generación Aumentada por Recuperación (RAG) de TREC 2025 avanza en el desarrollo de sistemas confiables y contextualmente conscientes mediante la introducción de consultas narrativas complejas, el uso del corpus MS MARCO V2.1 y una evaluación multifacética que prioriza la transparencia y la fundamentación factual.

Lo esencial

¡Hola! Imagina que el TREC 2025 es como un gran "Olimpiadas de la Inteligencia Artificial", pero en lugar de correr o saltar, los competidores son sistemas informáticos que intentan responder preguntas complejas usando dos superpoderes: buscar información (como un bibliotecario experto) y escribir respuestas (como un periodista brillante).

Este año, la competencia cambió las reglas del juego para hacerla más realista y desafiante. Aquí te explico cómo funciona, usando analogías sencillas:

1. El Cambio de Reglas: De "Búsqueda Rápida" a "Investigación Profunda"

En años anteriores, las preguntas eran cortas, como si alguien gritara en una biblioteca: "¿Quién ganó el partido de ayer?". Era fácil buscar una palabra clave y listo.

En 2025, la cosa cambió:
Imagina que en lugar de gritar una palabra, un usuario se sienta y cuenta una historia larga y complicada:

"Me interesa el impacto social del deporte, cómo se pagan los sueldos a los atletas, la inclusión de las mujeres, el lado del negocio y cómo el nuevo equipamiento cambia la forma de jugar..."

Esto es lo que llamaron "Narrativas". Ya no buscan una sola respuesta rápida; buscan una investigación completa que conecte muchos puntos. Es como pedirle a un detective que resuelva un caso de crimen complejo, no solo que encuentre un objeto perdido.

2. Las Pruebas: ¿Cómo se evalúa a los robots?

Para ver quién gana, los organizadores (NIST) pusieron a los sistemas a prueba en cuatro áreas clave, como si fueran exámenes escolares:

• La Búsqueda (Retrieval): El sistema debe encontrar los documentos correctos en una biblioteca gigante (llamada MS MARCO).
  • Analogía: Es como si tuvieras que encontrar 100 páginas de un libro de 1 millón de páginas que realmente respondan a la historia del usuario. Si traes páginas que no tienen nada que ver, repruebas.
• La Generación (Generation): Una vez que tienen los documentos, deben escribir una respuesta de menos de 400 palabras.
  • Analogía: Es como escribir un ensayo escolar. Pero con una regla estricta: cada frase que escribas debe tener un "papelito" (cita) que diga exactamente de qué página del libro la sacaste. Si inventas algo sin citar, es trampa.
• La Verificación (Support): Aquí revisan si la cita es real.
  • Analogía: Imagina que el profesor revisa tu tarea. Si dices "El deporte ayuda a la salud" y citas la página 5, el profesor va a la página 5. ¿Está escrito ahí?
    • Apoyo Total: Sí, está claro.
    • Apoyo Parcial: Dice algo parecido, pero no exactamente lo que escribiste.
    • Sin Apoyo: La página no dice nada de eso. ¡Mentira!
• El Juicio de Relevancia (Relevance Judgment): Un nuevo examen donde los participantes deben decir qué tan útil es cada documento encontrado.
  • Analogía: Es como ser un crítico de cine que califica películas del 0 al 4. ¿Esta película (documento) responde a la pregunta (narrativa)? ¿Solo un poco? ¿O es perfecta?

3. El Secreto: Descomponer el Problema

Como las preguntas eran tan largas y complejas, los organizadores tuvieron una idea brillante: romperlas en pedacitos.

Imagina que la pregunta es una pizza gigante. Para comerla, la cortas en rebanadas (llamadas "sub-narrativas").

• Pregunta: "Impacto del deporte".
• Rebanadas: "Sueldos", "Inclusión", "Negocios", "Equipamiento".

Los sistemas de IA tienen que asegurarse de que su respuesta cubra todas las rebanadas, no solo una. Si solo hablan de dinero y olvidan la inclusión, pierden puntos.

4. Los Resultados: ¿Quién ganó?

Hubo más de 150 equipos participando.

• Lo bueno: Muchos sistemas lograron encontrar información muy precisa y citar sus fuentes correctamente. Los mejores sistemas funcionaron como un equipo de investigación periodístico: buscaban, leían, cruzaban datos y escribían con transparencia.
• Lo difícil: Aún es difícil para las máquinas entender el "sentido completo" de una historia larga sin confundirse. A veces, las citas eran correctas pero la respuesta no cubría todo el tema.
• La tecnología: Usaron "cerebros" de IA muy potentes (como GPT-4, Qwen, etc.) para ayudar a calificar las respuestas, y descubrieron que, aunque no son perfectos, las máquinas pueden ayudar a los humanos a calificar mucho más rápido.

En Resumen

El TREC 2025 nos enseñó que el futuro de la Inteligencia Artificial no es solo "buscar y copiar". Es entender, conectar ideas y explicar las cosas con pruebas.

Es como pasar de tener un diccionario (que solo define palabras) a tener un asesor personal que puede leer todo un libro, entender lo que necesitas y contarte la historia completa, diciéndote exactamente de dónde sacó cada dato para que confíes en él.

¡Y eso es lo que están construyendo estos científicos! Sistemas que no solo saben datos, sino que saben contar la verdad de manera clara y honesta.

Resumen técnico

Aquí tienes un resumen técnico detallado del documento sobre la pista de Generación Aumentada por Recuperación (RAG) de TREC 2025, presentado en español:

Resumen Técnico: TREC 2025 RAG Track

1. Problema y Contexto

La segunda edición de la pista RAG de TREC (2025) busca abordar las limitaciones de los sistemas de recuperación y generación de información ante necesidades complejas del mundo real. A diferencia de la edición inaugural de 2024, que se centró en consultas cortas y basadas en palabras clave, el desafío de 2025 introduce consultas narrativas largas y multi-sentencia. Estas consultas simulan escenarios de "búsqueda profunda" donde el usuario requiere razonamiento, síntesis de información de múltiples fuentes y respuestas fundamentadas en hechos, en lugar de simples coincidencias superficiales. El objetivo es evaluar y fomentar sistemas capaces de manejar la ambigüedad, cubrir múltiples dimensiones de una consulta y garantizar la transparencia y la veracidad de las respuestas generadas.

2. Metodología y Configuración de la Tarea

La pista se basa en el corpus MS MARCO V2.1, que incluye documentos segmentados y desduplicados para facilitar la recuperación granular. Se definieron cuatro tareas interconectadas:

• Recuperación (R): Los participantes deben devolver una lista clasificada de los 100 mejores segmentos (chunks) relevantes para una narrativa dada.
• Generación Aumentada (AG): Los participantes reciben una lista de recuperación fija (proporcionada por la pista) y deben generar una respuesta de hasta 400 palabras, con citas a nivel de oración que vinculen cada afirmación a los segmentos recuperados.
• Generación Aumentada por Recuperación (RAG): Tarea de extremo a extremo donde los participantes diseñan sus propios pipelines de recuperación, reordenamiento y generación.
• Juicio de Relevancia (RJ): Una nueva tarea donde los participantes deben generar juicios de relevancia para los documentos recuperados.

Generación de Narrativas y Sub-narrativas:
Dado que las consultas narrativas no estaban disponibles previamente, se desarrolló un proceso semi-automatizado:

1. Agrupación: Se agruparon consultas de búsqueda relacionadas en clústeres.
2. Generación de Narrativas: Se utilizaron modelos de lenguaje (LLMs) para transformar estos clústeres en narrativas coherentes y complejas.
3. Descomposición: Para evaluar la relevancia, cada narrativa se descompuso en un conjunto de sub-narrativas (1-12 palabras) que representan dimensiones temáticas específicas (ej. "compensación de atletas", "impacto cultural"). Estas sub-narrativas se clasificaron como vitales (esenciales para una buena respuesta) u ok (información valiosa pero no esencial).

3. Marco de Evaluación Multicapa

La evaluación es rigurosa y se divide en cuatro dimensiones principales:

1. Evaluación de Relevancia:

   • Los evaluadores humanos (y modelos LLM) califican los documentos en una escala de 0 a 4 basada en la cobertura de las sub-narrativas:
     • 0: Irrelevante.
     • 1: Relacionado pero sin respuesta detallada.
     • 2: Responde a 1 sub-narrativa.
     • 3: Responde a 2-3 sub-narrativas.
     • 4: Responde a 4+ sub-narrativas (Perfectamente relevante).
   • Se utiliza un enfoque de consenso mediante un ensemble de modelos LLM (GPT-4.1, Gemini 2.5 Pro, Qwen3, GPT-OSS) para validar los juicios manuales.

2. Evaluación de la Respuesta (Cobertura):

   • Se extraen "nuggets" (unidades de información clave) de los documentos relevantes.
   • Se mide la Recall estricta de nuggets vitales y la cobertura de sub-narrativas. Una sub-narrativa se considera cubierta si al menos un nugget mapeado a ella está totalmente soportado por la respuesta generada.

3. Evaluación de Soporte (Atribución):

   • Se verifica si cada oración de la respuesta generada está respaldada factualmente por el documento citado.
   • Se utilizan tres niveles: Soporte Total, Soporte Parcial y Sin Soporte.
   • Métricas principales: Precisión Ponderada (calidad de las citas) y Recall Ponderado (proporción de oraciones soportadas).

4. Análisis de Acuerdo:

   • Se compara la alineación entre los juicios automáticos y humanos utilizando el coeficiente Kappa de Cohen y correlaciones de rango (Kendall's τ).

4. Resultados Clave

• Participación: Se recibieron más de 150 envíos de múltiples grupos de investigación y empresas.
• Recuperación: Los sistemas que utilizaron pipelines de múltiples etapas (combinando recuperación densa y dispersa con reordenamiento neural) obtuvieron los mejores resultados en métricas como nDCG@100. Los enfoques de "Generación en el bucle" (Generation-in-the-loop) mostraron un rendimiento prometedor.
• Generación (AG/RAG):
  • Los sistemas con nuggets post-editados manualmente y asignación manual lograron las puntuaciones más altas en cobertura de sub-narrativas y recall vital estricto.
  • Existe una fuerte correlación entre las evaluaciones automáticas (usando LLMs avanzados) y las manuales a nivel de sistema, aunque hay variabilidad a nivel de narrativa individual.
  • La precisión ponderada en la evaluación de soporte fue alta para los mejores sistemas, indicando que las oraciones generadas suelen estar bien fundamentadas en los documentos citados.
• Juicio de Relevancia (RJ): La tarea de RJ resultó ser la más difícil para los sistemas automáticos, con fracciones de acuerdo entre 0.30 y 0.34 frente a los evaluadores humanos, lo que sugiere que la automatización total de la relevancia para consultas complejas sigue siendo un desafío.

5. Contribuciones y Significancia

• Avance en Consultas Complejas: El track establece un nuevo estándar al moverse de consultas de palabras clave a narrativas complejas, obligando a los sistemas a realizar razonamiento profundo y síntesis.
• Evaluación de Atribución: Introduce métricas robustas para verificar la "veracidad" y la "fundamentación" de las respuestas, un aspecto crítico para la adopción de RAG en entornos reales.
• Validación de Automatización: Demuestra que los LLMs modernos pueden actuar como sustitutos fiables de los evaluadores humanos para la recuperación y la evaluación de soporte, reduciendo significativamente el costo y tiempo de la evaluación en TREC, aunque la evaluación de relevancia fina aún requiere supervisión humana.
• Innovación en Pipelines: Fomenta el desarrollo de sistemas que integran recuperación, reordenamiento y generación de manera cohesiva, priorizando la transparencia y la cobertura de información.

En conclusión, TREC 2025 RAG Track ha impulsado el estado del arte hacia sistemas de IA más confiables, capaces de manejar la complejidad de la búsqueda de información moderna, asegurando que las respuestas no solo sean relevantes, sino también completas, fundamentadas y transparentes.