💬 NLP

PASH at TREC 2021 Deep Learning Track: Generative Enhanced Model for Multi-stage Ranking

Cet article présente la participation de PASH à la piste Deep Learning de TREC 2021, détaillant un cadre de classement multi-étapes qui intègre la recherche parcimonieuse et dense, le pré-entraînement continu pour le classement ponctuel et par paires, ainsi que l'incorporation novatrice du modèle génératif T5 pour améliorer les performances par rapport à l'année précédente.

Auteurs originaux : Yixuan Qiao, Shanshan Zhao, Jun Wang, Hao Chen, Tuozhen Liu, Xianbin Ye, Xin Tang, Rui Fang, Peng Gao, Wenfeng Xie, Guotong Xie

Publié 2026-02-06

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yixuan Qiao, Shanshan Zhao, Jun Wang, Hao Chen, Tuozhen Liu, Xianbin Ye, Xin Tang, Rui Fang, Peng Gao, Wenfeng Xie, Guotong Xie

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous dirigez une bibliothèque massive avec des millions de livres (documents) et des milliards de pages (passages). Chaque jour, des milliers de personnes entrent pour poser des questions très spécifiques. Votre travail est de trouver la page ou le livre exact qui répond à leur question et de le placer tout en haut de la liste.

Ce document décrit comment une équipe appelée PASH a participé à une compétition à enjeux élevés (TREC 2021) pour voir qui pouvait construire le meilleur « bibliothécaire » pour ce travail. Voici comment ils ont procédé, expliqué simplement :

1. La stratégie de recherche en deux étapes (Étape de rappel)

Avant que le bibliothécaire puisse décider quelle est la meilleure réponse, il doit d'abord rassembler un gros tas de réponses possibles. PASH a utilisé une approche à « deux volets » pour rassembler ces candidats :

Le Chasseur de Mots-Clés (Recherche Sparse) : Considérez cela comme un bibliothérapeute qui ne regarde que les mots exacts sur la page. Si vous demandez « pomme », il trouve des pages contenant le mot « pomme ». Pour rendre cela plus intelligent, ils ont utilisé un robot (T5) qui lit une page et rédige une liste de questions que cette page pourrait répondre. Cela aide le chasseur de mots-clés à trouver des pages même si l'utilisateur n'a pas utilisé exactement les bons mots.
Le Lecteur de Concepts (Recherche Dense) : C'est un bibliothécaire qui comprend le sens derrière les mots. Même si vous posez une question sur les « fruits » et que la page dit « rouge délicieux », ce bibliothécaire sait qu'ils correspondent. PASH a utilisé un système appelé ColBERT, qui est excellent pour comprendre le contexte sans être ralenti par des problèmes de vitesse.

En combinant ces deux approches, ils ont jeté un large filet pour s'assurer de ne manquer aucune bonne réponse.

2. Le classement (Classement multi-étapes)

Une fois qu'ils avaient un gros tas de réponses potentielles, ils devaient les trier de la « meilleure » à la « pire ». Ils ont fait cela en deux tours :

Tour 1 (La vérification point par point) : Ils ont examiné chaque réponse individuellement et se sont demandé : « À quel point cette réponse est-elle bonne en elle-même ? » Ils ont utilisé de puissants modèles d'IA (comme BERT et XLNet) qui avaient été entraînés sur des connaissances générales puis affinés sur les données spécifiques de la bibliothèque.
Tour 2 (Le match tête-à-tête) : C'était un nouveau tour pour eux. Au lieu de simplement noter chaque réponse seule, ils ont commencé à comparer les réponses directement entre elles. « Est-ce que la Réponse A est meilleure que la Réponse B ? » Cela leur a permis d'utiliser beaucoup plus de données pour entraîner leur trieur, le rendant bien plus aiguisé.

3. Le Nouvel Outil Superpuissant (Le Modèle Génératif)

Le plus grand changement par rapport à la compétition de l'année dernière était l'introduction d'un nouveau modèle d'IA massif appelé T5.

L'analogie : Imaginez que les modèles précédents étaient comme des étudiants experts qui avaient mémorisé le catalogue de la bibliothèque. Le nouveau modèle T5 est comme un génie qui peut réellement rédiger un résumé de la réponse à partir de zéro.
Le résultat : Ce modèle « génératif » était si puissant qu'il pouvait souvent trouver la réponse parfaite dans les 5 premiers résultats (Top 5) sans avoir besoin de regarder plus loin. Cependant, le document note que bien qu'il soit excellent pour trouver la meilleure réponse très rapidement, il n'était pas aussi parfait pour trier le reste de la liste (Top 10) par rapport aux anciens modèles.

4. Le Travail d'Équipe (Ensemble)

Enfin, au lieu de compter sur un seul bibliothécaire, PASH a entraîné plusieurs versions différentes de leur système de classement avec de légères variations (comme en leur donnant différents points de départ aléatoires). Ils ont ensuite combiné les opinions de tous ces bibliothécaires pour prendre la décision finale. Ce « vote d'équipe » mène généralement à un résultat plus précis que ce qu'un seul bibliothécaire pourrait accomplir seul.

L'essentiel

L'équipe a découvert que mélanger le « chasseur de mots-clés » avec le « lecteur de concepts » fonctionnait très bien. Ils ont également découvert que l'utilisation du nouveau modèle génératif T5 les aidait à trouver les meilleures réponses très rapidement, mais ils ont réalisé que pour l'avenir, ils doivent apprendre à ces modèles génératifs à mieux trier l'intégralité de la liste, et pas seulement à choisir le vainqueur de tête.

En bref : Ils ont construit un super-bibliothécaire qui utilise deux méthodes de recherche différentes pour trouver des candidats, puis utilise une équipe de modèles d'IA (incluant un nouvel IA « rédacteur ») pour voter sur la meilleure réponse, ce qui permet d'obtenir un score très élevé dans la compétition.

Résumé technique : PASH à la TREC 2021 Deep Learning Track

Énoncé du problème
Ce document détaille la participation de l'équipe PASH à la TREC 2021 Deep Learning Track, qui se concentre sur les tâches de recherche d'information (IR) impliquant des ensembles de données d'entraînement à grande échelle. La track présentait deux défis spécifiques : le classement de documents (Document Ranking) et le classement de passages (Passage Ranking). L'objectif était de récupérer et de classer le contenu pertinent à partir de collections massives (138 millions de passages et environ 12 millions de documents) en utilisant un ensemble de 477 requêtes de test. La métrique d'évaluation principale était le gain cumulatif diminué normalisé (NDCG). L'équipe visait à améliorer ses performances de la TREC 2020 en intégrant des modèles génératifs et en affinant les stratégies de classement multi-étapes.

Méthodologie
L'équipe PASH a employé un pipeline multi-étapes comprenant la récupération, l'appariement multi-voies (multi-way matching) et un processus de classement hiérarchique.

Appariement multi-voies (Étape de récupération) :
- Récupération parcimonieuse (Sparse Retrieval) : L'équipe a utilisé docTTTTTquery (également connu sous le nom de docT5query ou doc2query-T5) pour générer des pseudo-requêtes pour les documents et les passages.
  - Pour les passages, T5-base a été utilisé pour échantillonner 40 requêtes par passage.
  - Pour les documents, une approche par fenêtre glissante (10 phrases, pas de 5) a segmenté les documents en passages. Chaque segment était préfixé par l'URL et le titre du document. Dix requêtes ont été générées par passage.
  - Ces requêtes générées ont été indexées via BM25.
- Récupération dense (Dense Retrieval) : Pour compléter les méthodes parcimonieuses, l'équipe a adopté ColBERT comme récupérateur dense, choisi pour son équilibre entre efficacité et performance.
Classement multi-étapes :
- Modèles de fondation : Le pipeline de classement a hérité de modèles de la TREC 2020, notamment BERT-Large, ALBERT-XXLarge, ELECTRA-Large et XLNet-Large. Ces modèles ont subi un pré-entraînement continu sur des connaissances générales et des données au niveau du document, suivi d'un ajustement fin (fine-tuning) sur le jeu de données de l'année en cours.
- Changement de stratégie : Contrairement à l'année précédente, la deuxième étape de classement utilisait un objectif de perte par paire (pair-wise loss). Cela a permis à l'équipe de tirer parti d'un éventail plus large de données d'entraînement au-delà des données étiquetées limitées à 4 classes de la TREC.
- Amélioration générative (T5) : Un ajout clé pour 2021 fut l'introduction du modèle génératif T5 pour améliorer les performances.
  - Implémentation : Basée sur le dépôt Megatron-LM avec des stratégies d'entraînement alignées sur des travaux antérieurs [10].
  - Échelle : L'équipe a entraîné T5-3B (environ 12 jours sur 32 GPU V100, ~12,8M d'exemples) et T5-11B (environ 30 jours).
  - Note de performance : Le modèle T5-11B a démontré un NDCG@5 zero-shot de 0,3651.
Apprentissage d'ensemble (Ensemble Learning) :
- Bénéficiant de l'approche d'appariement multi-voies, l'équipe a entraîné séquentiellement différents re-classeurs (re-rankers) en utilisant diverses graines aléatoires (random seeds) pour créer un ensemble pour les prédictions finales.

Résultats
L'équipe a soumis six exécutions officielles pour chaque sous-tâche (classement de passages et de documents), classées en exécutions de re-classement ( $r^*$ ) et exécutions de classement complet ( $f^*$ ).

Classement de passages :
- Dans la tâche de re-classement, la meilleure exécution (pash r2/r3) a atteint un NDCG@5 de 0,7390 et un NDCG@10 de 0,7076.
- Dans la tâche de classement complet, la meilleure exécution (pash f3) a atteint un NDCG@5 de 0,7596 et un NDCG@10 de 0,7494, avec un Rappel@100 (R@100) de 0,5500.
Classement de documents :
- Dans la tâche de re-classement, la meilleure exécution (pash doc r3) a atteint un NDCG@5 de 0,7383 et un NDCG@10 de 0,7164.
- Dans la tâche de classement complet, la meilleure exécution (pash doc f5) a atteint un NDCG@5 de 0,7508 et un NDCG@10 de 0,7368, avec un R@100 de 0,4419.

Contributions clés et importance
Le document souligne plusieurs contributions et observations spécifiques :

Intégration de modèles génératifs : L'introduction de T5 a marqué une étape significative par rapport à la TREC 2020. Les auteurs ont observé que, bien que les modèles basés sur T5 atteignent des scores NDCG@5 plus élevés, ils présentent des scores NDCG@10 inférieurs à ceux des modèles basés sur les transformers.
Interprétation des résultats : Les auteurs interprètent le NDCG@5 élevé mais le NDCG@10 plus faible des modèles génératifs comme l'indication que les passages pertinents sont classés avec succès dans le top 5. Cependant, cela suggère un "besoin" spécifique de classement multi-étapes au sein des cadres génératifs. Les auteurs postulent que des stratégies d'entraînement par paire ou par liste pourraient davantage libérer le potentiel de ces modèles.
Succès de la récupération hybride : Les expériences ont démontré que l'expressivité de ColBERT s'intègre bien à l'approche traditionnelle BM25 + docTTTTTquery, validant ainsi la stratégie d'appariement multi-voies.
Direction future : Le document conclut que l'« entrelacement de séquences de différentes méthodes » (combinant les approches parcimonieuses, denses et génératives) sera une priorité pour les travaux futurs dans ce domaine.

Les auteurs maintiennent un ton modeste, présentant leur travail comme une description de leur participation et une exploration de la manière dont les modèles génératifs s'insèrent dans l'infrastructure de classement multi-étapes existante, plutôt que de revendiquer une solution définitive à tous les défis de l'IR.