💬 NLP

PASH at TREC 2021 Deep Learning Track: Generative Enhanced Model for Multi-stage Ranking

Este artículo presenta la participación de PASH en el TREC 2021 Deep Learning Track, detallando un marco de clasificación multietapa que integra la recuperación dispersa y densa, el preentrenamiento continuo para la clasificación punto a punto y par a par, y la novedosa incorporación del modelo generativo T5 para mejorar el rendimiento respecto al año anterior.

Autores originales: Yixuan Qiao, Shanshan Zhao, Jun Wang, Hao Chen, Tuozhen Liu, Xianbin Ye, Xin Tang, Rui Fang, Peng Gao, Wenfeng Xie, Guotong Xie

Publicado 2026-02-06

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Yixuan Qiao, Shanshan Zhao, Jun Wang, Hao Chen, Tuozhen Liu, Xianbin Ye, Xin Tang, Rui Fang, Peng Gao, Wenfeng Xie, Guotong Xie

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que diriges una biblioteca masiva con millones de libros (documentos) y miles de millones de páginas (pasajes). Cada día, miles de personas entran preguntando cosas muy específicas. Tu trabajo es encontrar la página o el libro exacto que responde a su pregunta y ponerlo justo al principio de la lista.

Este artículo describe cómo un equipo llamado PASH entró en una competencia de alto nivel (TREC 2021) para ver quién podía construir el mejor "bibliotecario" para este trabajo. Así es como lo hicieron, explicado de forma sencilla:

1. La estrategia de búsqueda de dos pasos (Etapa de recuperación)

Antes de que el bibliotecario pueda decidir cuál es la mejor respuesta, primero debe reunir un gran montón de posibles respuestas. PASH utilizó un enfoque de "dos vertientes" para reunir estos candidatos:

El cazador de palabras clave (Recuperación dispersa/Sparse Retrieval): Piensa en esto como un bibliotecario que solo busca las palabras exactas en la página. Si pides "manzana", encuentra páginas con la palabra "manzana". Para hacer esto más inteligente, usaron un robot (T5) que lee una página y escribe una lista de preguntas que esa página podría responder. Esto ayuda al cazador de palabras clave a encontrar páginas incluso si el usuario no usó las palabras exactas correctas.
El lector de conceptos (Recuperación densa/Dense Retrieval): Este es un bibliotecario que entiende el significado detrás de las palabras. Incluso si preguntas por "fruta" y la página dice "manzana roja deliciosa", este bibliotecario sabe que coinciden. PASH usó un sistema llamado ColBERT, que es excelente para entender el contexto sin verse frenado por problemas de velocidad.

Al combinar ambos, lanzaron una red amplia para asegurarse de no perder ninguna buena respuesta.

2. La fila de clasificación (Clasificación multietapa)

Una vez que tuvieron un gran montón de posibles respuestas, necesitaban ordenarlas de "mejor" a "peor". Lo hicieron en dos rondas:

Ronda 1 (La revisión punto por punto): Examinaron cada respuesta individualmente y preguntaron: "¿Qué tan buena es esta respuesta por sí sola?". Utilizaron modelos de IA muy potentes (como BERT y XLNet) que habían sido entrenados en conocimientos generales y luego ajustados con los datos específicos de la biblioteca.
Ronda 2 (El enfrentamiento directo): Este fue un truco nuevo para ellos. En lugar de solo calificar cada respuesta por separado, comenzaron a comparar las respuestas directamente entre sí. "¿Es la Respuesta A mejor que la Respuesta B?". Esto les permitió usar mucha más información para entrenar a su clasificador, haciéndolo mucho más agudo.

3. La nueva súper herramienta (El modelo generativo)

El mayor cambio respecto a la competencia del año pasado fue la introducción de un nuevo y masivo modelo de IA llamado T5.

La analogía: Imagina que los modelos anteriores eran como estudiantes expertos que memorizaron el catálogo de la biblioteca. El nuevo modelo T5 es como un genio que realmente puede escribir un resumen de la respuesta desde cero.
El resultado: Este modelo "generativo" era tan poderoso que a menudo podía encontrar la respuesta perfecta en los primeros 5 resultados (Top 5) sin necesidad de buscar más allá. Sin embargo, el artículo señala que, aunque era excelente para encontrar la mejor respuesta rápidamente, no era tan perfecto para ordenar el resto de la lista (Top 10) en comparación con los modelos más antiguos.

4. El trabajo en equipo (Ensemble)

Finalmente, en lugar de confiar en un solo bibliotecario, PASH entrenó varias versiones diferentes de su sistema de clasificación con ligeras variaciones (como darles diferentes puntos de partida aleatorios). Luego combinaron las opiniones de todos estos bibliotecarios para tomar la decisión final. Este "voto de equipo" suele conducir a un resultado más preciso que el que cualquier bibliotecario individual podría lograr por sí solo.

La conclusión

El equipo descubrió que mezclar el "cazador de palabras clave" con el "lector de conceptos" funcionaba muy bien. También descubrieron que el uso del nuevo modelo generativo T5 les ayudaba a encontrar las mejores respuestas muy rápidamente, pero se dieron cuenta de que, para el futuro, necesitan enseñar a estos modelos generativos a clasificar mejor la lista completa, no solo a elegir al ganador absoluto.

En resumen: Construyeron un súper bibliotecario que utiliza dos métodos de búsqueda diferentes para encontrar candidatos, luego utiliza un equipo de modelos de IA (incluyendo un nuevo modelo de IA "escritor") para votar por la mejor respuesta, lo que resulta en una puntuación muy alta en la competencia.

Resumen Técnico: PASH en TREC 2021 Deep Learning Track

Declaración del Problema
Este documento detalla la participación del equipo PASH en el TREC 2021 Deep Learning Track, el cual se centra en tareas de Recuperación de Información (IR) que involucran conjuntos de datos de entrenamiento a gran escala. El track presentó dos desafíos específicos: Clasificación de Documentos (Document Ranking) y Clasificación de Pasajes (Passage Ranking). El objetivo era recuperar y clasificar contenido relevante de colecciones masivas (138 millones de pasajes y ~12 millones de documentos) utilizando un conjunto de 477 consultas de prueba. La métrica de evaluación principal fue el Ganancia Acumulada Descontada Normalizada (NDCG). El equipo buscaba mejorar su desempeño de TREC 2020 mediante la integración de modelos generativos y el refinamiento de estrategias de clasificación multietapa.

Metodología
El equipo PASH empleó un pipeline multi-etapa que comprende recuperación, coincidencia multi-vía (multi-way matching) y un proceso de clasificación jerárquico.

Coincidencia Multi-vía (Etapa de Recuperación):
- Recuperación Dispersa (Sparse Retrieval): El equipo utilizó docTTTTTquery (también conocido como docT5query o doc2query-T5) para generar pseudo-consultas para documentos y pasajes.
  - Para los pasajes, se utilizó T5-base para muestrear 40 consultas por pasaje.
  - Para los documentos, un enfoque de ventana deslizante (10 oraciones, con un salto de 5) segmentó los documentos en pasajes. Cada segmento fue precedido por la URL y el título del documento. Se generaron diez consultas por pasaje.
  - Estas consultas generadas fueron indexadas mediante BM25.
- Recuperación Densa (Dense Retrieval): Para complementar los métodos dispersos, el equipo adoptó ColBERT como su recuperador denso, seleccionado por su equilibrio entre efectividad y eficiencia.
Clasificación Multi-etapa:
- Modelos Fundacionales: El pipeline de clasificación heredó modelos de TREC 2020, incluyendo BERT-Large, ALBERT-XXLarge, ELECTRA-Large y XLNet-Large. Estos modelos fueron sometidos a un pre-entrenamiento continuo sobre conocimiento general y datos a nivel de documento, seguido de un ajuste fino (fine-tuning) con el conjunto de datos del año actual.
- Cambio de Estrategia: A diferencia del año anterior, la segunda etapa de clasificación utilizó un objetivo de pérdida por pares (pair-wise loss). Esto permitió al equipo aprovechar una gama más amplia de datos de entrenamiento más allá de los limitados datos etiquetados de 4 clases de TREC.
- Mejora Generativa (T5): Una adición clave para 2021 fue la introducción del modelo generativo T5 para mejorar el desempeño.
  - Implementación: Basada en el repositorio Megatron-LM con estrategias de entrenamiento alineadas con trabajos previos [10].
  - Escala: El equipo entrenó T5-3B (aproximadamente 12 días en 32 GPUs V100, ~12.8M de ejemplos) y T5-11B (aproximadamente 30 días).
  - Nota de Desempeño: El modelo T5-11B demostró un NDCG@5 zero-shot de 0.3651.
Aprendizaje de Conjunto (Ensemble Learning):
- Beneficiándose del enfoque de coincidencia multi-vía, el equipo entrenó secuencialmente diferentes clasificadores utilizando diversas semillas aleatorias para crear un ensamble para las predicciones finales.

Resultos
El equipo presentó seis ejecuciones oficiales para cada subtarea (clasificación de pasajes y de documentos), categorizadas como ejecuciones de re-clasificación ( $r^*$ ) y ejecuciones de clasificación completa ( $f^*$ ).

Clasificación de Pasajes:
- En la tarea de re-clasificación, la mejor ejecución (pash r2/r3) alcanzó un NDCG@5 de 0.7390 y un NDCG@10 de 0.7076.
- En la tarea de clasificación completa, la mejor ejecución (pash f3) alcanzó un NDCG@5 de 0.7596 y un NDCG@10 de 0.7494, con un Recall@100 (R@100) de 0.5500.
Clasificación de Documentos:
- En la tarea de re-clasificación, la mejor ejecución (pash doc r3) alcanzó un NDCG@5 de 0.7383 y un NDCG@10 de 0.7164.
- En la tarea de clasificación completa, la mejor ejecución (pash doc f5) alcanzó un NDCG@5 de 0.7508 y un NDCG@10 de 0.7368, con un R@100 de 0.4419.

Contribuciones Clave y Significado
El documento destaca varias contribuciones y observaciones específicas:

Integración de Modelos Generativos: La introducción de T5 marcó un paso significativo hacia adelante en comparación con TREC 2020. Los autores observaron que, si bien los modelos basados en T5 lograron puntuaciones de NDCG@5 más altas, exhibieron puntuaciones de NDCG@10 más bajas en comparación con los modelos basados en transformadores.
Interpretación de Resultados: Los autores interpretan el alto NDCG@5 pero el menor NDCG@10 en los modelos generativos como una indicación de que los pasajes relevantes se clasifican exitosamente dentro de los primeros 5. Sin embargo, esto sugiere una "sed" específica de clasificación multi-etapa dentro de los marcos generativos. Los autores postulan que las estrategias de entrenamiento por pares (pair-wise) o de lista (list-wise) podrían desbloquear aún más el potencial de estos modelos.
Éxito de la Recuperación Híbrida: Los experimentos demostraron que la expresividad de ColBERT se integra bien con el enfoque tradicional de BM25 + docTTTTTquery, validando la estrategia de coincidencia multi-vía.
Dirección Futura: El documento concluye que el "entrelazado de secuencias de diferentes métodos" (combinando enfoques dispersos, densos y generativos) será una prioridad para el trabajo futuro en el campo.

Los autores mantienen un tono modesto, enmarcando su trabajo como una descripción de su participación y una exploración de cómo los modelos generativos encajan en la infraestructura de clasificación multi-etapa existente, en lugar de reclamar una solución definitiva para todos los desafíos de IR.