💬 NLP

PASH at TREC 2021 Deep Learning Track: Generative Enhanced Model for Multi-stage Ranking

Dit artikel presenteert de deelname van PASH aan de TREC 2021 Deep Learning Track, waarbij een meerfasig rankingframework wordt toegelicht dat sparse en dense retrieval integreert, continual pre-training voor point-wise en pair-wise ranking, en de nieuwe integratie van het generatieve T5-model om de prestaties ten opzichte van het voorgaande jaar te verbeteren.

Oorspronkelijke auteurs: Yixuan Qiao, Shanshan Zhao, Jun Wang, Hao Chen, Tuozhen Liu, Xianbin Ye, Xin Tang, Rui Fang, Peng Gao, Wenfeng Xie, Guotong Xie

Gepubliceerd 2026-02-06

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Yixuan Qiao, Shanshan Zhao, Jun Wang, Hao Chen, Tuozhen Liu, Xianbin Ye, Xin Tang, Rui Fang, Peng Gao, Wenfeng Xie, Guotong Xie

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme bibliotheek runt met miljoenen boeken (documenten) en miljarden pagina's (passages). Elke dag komen er duizenden mensen binnen met zeer specifieke vragen. Jouw taak is om de exacte pagina of het boek te vinden dat hun vraag beantwoordt en dat direct bovenaan de lijst te zetten.

Dit artikel beschrijft hoe een team genaamd PASH deelnam aan een wedstrijd met hoge inzet (TREC 2021) om te zien wie de beste "bibliothecaris" voor deze taak kon bouwen. Hier is hoe ze het deden, eenvoudig uitgelegd:

1. De Tweestaps Zoekstrategie (Recall-fase)

Voordat de bibliothecaris kan beslissen wat het beste antwoord is, moet hij eerst een grote stapel mogelijke antwoorden verzamelen. PASH gebruikte een "tweeledige" aanpak om deze kandidaten te verzamelen:

De Zoeker naar Trefwoorden (Sparse Retrieval): Denk aan een bibliothecaris die alleen kijkt naar de exacte woorden op de pagina. Als je vraagt om "appel", vindt deze persoon pagina's met het woord "appel". Om dit slimmer te maken, gebruikten ze een robot (T5) die een pagina leest en een lijst opschrijft van vragen die die pagina zou kunnen beantwoorden. Dit helpt de trefwoordzoeker om pagina's te vinden, zelfs als de gebruiker niet precies de juiste woorden heeft gebruikt.
De Conceptenlezer (Dense Retrieval): Dit is een bibliothecaris die de betekenis achter de woorden begrijpt. Zelfs als je vraagt naar "fruit" en de pagina zegt "rode delicious", weet deze bibliothecaris dat ze bij elkaar horen. PASH gebruikte een systeem genaamd ColBERT, dat erg goed is in het begrijpen van context zonder vertraging op te lopen door snelheidsproblemen.

Door deze twee te combineren, wierpen ze een breed net uit om ervoor te zorgen dat ze geen goede antwoorden zouden missen.

2. De Sorteerlijn (Multi-Stage Ranking)

Zodra ze een grote stapel potentiële antwoorden hadden, moesten ze deze sorteren van "best" naar "slechtst". Dit deden ze in twee rondes:

Ronde 1 (De Punt-voor-Punt Controle): Ze keken naar elk antwoord afzonderlijk en vroegen: "Hoe goed is dit antwoord op zichzelf?" Ze gebruikten krachtige AI-modellen (zoals BERT en XLNet) die getraind waren op algemene kennis en vervolgens specifiek zijn afgestemd op de data van de bibliotheek.
Ronde 2 (De Kop-aan-Kop Vergelijking): Dit was een nieuwe truc voor hen. In plaats van alleen elk antwoord afzonderlijk te beoordelen, begonnen ze antwoorden direct met elkaar te vergelijken. "Is Antwoord A beter dan Antwoord B?" Dit stelde hen in staat om veel meer data te gebruiken om hun sorteerder te trainen, waardoor deze veel scherper werd.

3. Het Nieuwe Super-Instrument (Het Generatieve Model)

De grootste verandering ten opzichte van de wedstrijd van vorig jaar was de introductie van een nieuw, enorm AI-model genaamd T5.

De Analogie: Stel je voor dat de vorige modellen leken op deskundige studenten die de bibliotheekcatalogus uit hun hoofd kenden. Het nieuwe T5-model is als een genie dat daadwerkelijk een samenvatting van het antwoord vanuit het niets kan schrijven.
Het Resultaat: Dit "generatieve" model was zo krachtig dat het vaak het perfecte antwoord al in de allereerste vijf resultaten (Top 5) kon vinden, zonder verder te hoeven kijken. De paper merkt echter op dat, hoewel het heel goed was in het snel vinden van het allerbeste antwoord, het niet even perfect was in het sorteren van de rest van de lijst (Top 10) vergeleken met de oudere modellen.

4. Het Teamwerk (Ensemble)

Ten slotte, in plaats van te vertrouwen op slechts één bibliothecaris, trainden ze verschillende versies van hun sorteersysteem met lichte variaties (zoals het geven van verschillende willekeurige startpunten). Vervolgens combineerden ze de meningen van al deze bibliothecarissen om de uiteindelijke beslissing te nemen. Deze "teamstemming" leidt meestal tot een nauwkeuriger resultaat dan welke enkele bibliothecaris alleen ook maar zou kunnen bereiken.

De Kernboodschap

Het team kwam tot de conclusie dat het mixen van de "zoeker naar trefwoorden" met de "conceptenlezer" erg goed werkte. Ze ontdekten ook dat het gebruik van het nieuwe "generatieve" T5-model hen hielp om de absolute beste antwoorden zeer snel te vinden, maar ze realiseerden zich dat ze voor de toekomst deze generatieve modellen moeten leren hoe ze de volledige lijst beter kunnen sorteren, en niet alleen de winnaar bovenaan kunnen kiezen.

Kortom: Ze bouwden een super-bibliothecaris die twee verschillende zoekmethoden gebruikt om kandidaten te vinden, en vervolgens een team van AI-modellen (inclus kind van een nieuwe "schrijvende" AI) gebruikt om te stemmen over het beste antwoord, wat resulteert in een zeer hoge score in de wedstrijd.

Technische Samenvatting: PASH bij TREC 2021 Deep Learning Track

Probleemstelling
Dit artikel beschrijft de deelname van het PASH-team aan de TREC 2021 Deep Learning Track, die zich richt op Information Retrieval (IR) taken waarbij gebruik wordt gemaakt van grootschalige trainingsdatasets. De track presenteerde twee specifieke uitdagingen: Document Ranking en Passage Ranking. Het doel was om relevante inhoud te doorzoeken en te rangschikken uit enorme collecties (138 miljoen passages en ~12 miljoen documenten) met behulp van een set van 477 testqueries. De primaire evaluatiemetriek was Normalized Discounted Cumulative Gain (NDCG). Het team streefde ernaar om hun prestaties van TREC 2020 te verbeteren door generatieve modellen te integreren en meerfasige rankingstrategieën te verfijnen.

Methodologie
Het PASH-team maakte gebruik van een meerfasige pipeline bestaande uit retrieval, multi-way matching en een hiërarchisch rankingproces.

Multi-way Matching (Retrieval Stage):
- Sparse Retrieval: Het team maakte gebruik van docTTTTTquery (ook bekend als docT5query of doc2query-T5) om pseudo-queries voor documenten en passages te genereren.
  - Voor passages werd T5-base gebruikt om 40 queries per passage te samplen.
  - Voor documenten werd een sliding window-aanpak (10 zinnen, stride van 5) gebruikt om documenten in passages te segmenteren. Elk segment werd voorafgegaan met de URL en de titel van het document. Tien queries werden per passage gegenereerd.
  - Deze gegenereerde queries werden geïndexeerd met behulp van BM25.
- Dense Retrieval: Om sparse methoden aan te vullen, adopteerde het team ColBERT als hun dense retriever, gekozen vanwege de balans tussen effectiviteit en efficiëntie.
Multi-stage Ranking:
- Foundation Models: De ranking-pipeline erfde modellen van TREC 2020, waaronder BERT-Large, ALBERT-XXLarge, ELECTRA-Large en XLNet-Large. Deze modellen ondergingen continue pre-training op algemene kennis en documentniveau-data, gevolgd door fine-tuning op de dataset van het huidige jaar.
- Strategiewijziging: In tegenstelling tot het voorgaande jaar gebruikte de tweede fase van de ranking een pair-wise loss objectief. Dit stelde het team in staat om een breder scala aan trainingsdata te benutten dan de beperkte 4-class TREC gelabelde data.
- Generatieve Verbetering (T5): Een belangrijke toevoeging voor 2021 was de introductie van het generatieve model T5 om de prestaties te verbeteren.
  - Implementatie: Gebaseerd op de Megatron-LM repository met trainingsstrategieën die in lijn zijn met eerder werk [10].
  - Schaal: Het team trainde T5-3B (ongeveer 12 dagen op 32 V100 GPU's, ~12,8M voorbeelden) en T5-11B (ongeveer 30 dagen).
  - Prestatieopmerking: Het T5-11B model vertoonde een zero-shot NDCG@5 van 0.3651.
Ensemble Learning:
- Voierend bij de multi-way matching aanpak, trainde het team sequentieel verschillende re-rankers met behulp van verschillende random seeds om een ensemble te creëren voor de uiteindelijke voorspellingen.

Resultaten
Het team diende zes officiële runs in voor elke subtaak (passage en document ranking), gecategoriseerd als re-ranking runs ( $r^*$ ) en full-ranking runs ( $f^*$ ).

Passage Ranking:
- In de re-ranking taak bereikte de beste run (pash r2/r3) een NDCG@5 van 0.7390 en een NDCG@10 van 0.7076.
- In de full-ranking taak bereikte de beste run (pash f3) een NDCG@5 van 0.7596 en een NDCG@10 van 0.7494, met een Recall@100 (R@100) van 0.5500.
Document Ranking:
- In de re-ranking taak bereikte de beste run (pash doc r3) een NDCG@5 van 0.7383 en een NDCG@10 van 0.7164.
- In de full-ranking taak bereikte de beste run (pash doc f5) een NDCG@5 van 0.7508 en een NDCG@10 van 0.7368, met een R@100 van 0.4419.

Belangrijkste Bijdragen en Betekenis
Het artikel benadrukt verschillende specifieke bijdragen en observaties:

Integratie van Generatieve Modellen: De introductie van T5 markeerde een significante stap voorwaarts vergeleken met TREC 2020. De auteurs observeerden dat hoewel T5-gebaseerde modellen hogere NDCG@5 scores behaalden, ze lagere NDCG@10 scores vertoonden vergeleken met transformer-gebaseerde modellen.
Interpretatie van Resultaten: De auteurs interpreteren de hoge NDCG@5 maar lagere NDCG@10 in generatieve modellen als een indicatie dat relevante passages succesvol binnen de top 5 worden gerangschikt. Dit suggereert echter een specifieke "behoefte" aan multi-stage ranking binnen generatieve frameworks. De auteurs stellen dat pair-wise of list-wise trainingsstrategieën het potentieel van deze modellen verder kunnen ontsluiten.
Succes van Hybride Retrieval: De experimenten toonden aan dat de expressiviteit van ColBERT goed integreert met de traditionele BM25 + docTTTTTquery aanpak, wat de multi-way matching strategie valideert.
Toekomstige Richting: Het paper concludeert dat het "verweven sequentieel van verschillende methoden" (het combineren van sparse, dense en generatieve benaderingen) een prioriteit zal zijn voor toekomstig werk in het veld.

De auteurs hanteren een bescheiden toon, waarbij zij hun werk presenteren als een beschrijving van hun deelname en een exploratie van hoe generatieve modellen passen binnen de bestaande multi-stage ranking infrastructuur, in plaats van te claimen een definitieve oplossing voor alle IR-uitdagingen te hebben gevonden.