DS@GT at TREC TOT 2025: Bridging Vague Recollection with Fusion Retrieval and Learned Reranking

1. Problématique : La recherche "Sur le bout de la langue" (Tip-of-the-Tongue)

L'article aborde le défi de la piste Tip-of-the-Tongue (ToT) de la conférence TREC 2025. Ce problème de recherche d'articles connus (known-item retrieval) se caractérise par des situations où l'utilisateur a déjà rencontré un élément (film, lieu, célébrité, etc.) mais ne peut pas se souvenir de son identifiant exact (titre, nom).

• Nature des requêtes : Les requêtes sont souvent des descriptions verbales complexes, naturelles et parfois imprécises. Elles peuvent contenir des raisonnements multi-sauts, des expressions d'incertitude, voire de faux souvenirs.
• Défi technique : Les systèmes de recherche traditionnels basés sur les mots-clés échouent souvent car ils ne peuvent pas gérer la sémantique vague, les erreurs de mémoire ou la complexité narrative de ces descriptions. L'objectif est d'identifier l'élément cible à partir de ces descriptions élaborees.

2. Méthodologie : Une architecture en deux étapes

L'équipe DS@GT (Georgia Institute of Technology) propose une pipeline de recherche en deux étapes combinant la récupération hybride et le réordonnancement (reranking) appris et basé sur les LLM.

A. Étape 1 : Récupération Hybride et Multi-Index

Pour maximiser le rappel (recall), le système fusionne plusieurs méthodes de récupération :

1. Récupération Sparse (BM25) : Utilisation de la base PyTerrier fournie par les organisateurs.
2. Récupération Dense (BGE-M3) : Utilisation du modèle BGE-M3 pour les embeddings, avec une recherche de similarité par produit scalaire sur les paragraphes de Wikipédia (dump de juin 2024). Les scores sont agrégés au niveau de l'article par max pooling.
3. Récupération par LLM : Utilisation de modèles de langage (Gemini-2.5-flash) pour générer directement des titres d'articles Wikipédia pertinents (jusqu'à 20) avec des scores de pertinence, suivis d'une résolution de redirections et d'alias.
4. Fusion (Round-Robin) : Les résultats des trois méthodes sont fusionnés via une stratégie "round-robin" (alternance) pour créer une liste candidate initiale, en conservant le meilleur rang en cas de doublon.
5. Récupération Dense Multi-Index Sensible au Sujet : Le corpus Wikipédia est partitionné en 24 domaines thématiques (via ModernBERT-web-topics). Pour chaque requête, des variantes sont générées, classées par sujet, et la recherche est limitée à l'index FAISS correspondant. Cela réduit l'espace de recherche et améliore l'efficacité, bien que cela puisse légèrement réduire le rappel global si la classification est imparfaite.

B. Étape 2 : Réordonnancement (Reranking)

Deux approches de réordonnancement sont évaluées sur les candidats récupérés :

1. Réordonnancement par LLM (Listwise) : Utilisation de la bibliothèque RankLLM avec une fenêtre glissante pour gérer le contexte. Différents modèles (Gemma, Gemini) et contextes (titre, premier paragraphe, etc.) sont testés.
2. Réordonnancement Appris (LambdaMART) : Un modèle LambdaMART (entraîné avec XGBoost) utilise plusieurs caractéristiques (features) :
   • Scores de récupération dense et sparse.
   • Nombre de vues de la page (Pageview).
   • Score PageRank (calculé sur un graphe composite de liens Wikipédia incluant citations directes, chemins méta et voisins sémantiques).
   • Longueur de la requête.
   • Données d'entraînement : Le modèle est entraîné sur les données officielles et 5 000 requêtes synthétiques générées par LLM pour augmenter le volume de données.

3. Contributions Clés

• Génération de données synthétiques : Création de 5 000 requêtes ToT synthétiques en utilisant des LLM (Gemini, GPT-4o) pour entraîner le classifieur LambdaMART, comblant ainsi le manque de données d'entraînement.
• Fusion de récupération hétérogène : Démonstration que la combinaison de méthodes sémantiques (Dense), lexicales (Sparse) et génératives (LLM) via une fusion round-robin améliore significativement le rappel par rapport à chaque méthode isolée.
• Architecture Multi-Index Thématique : Mise en place d'une approche de routage dynamique vers 24 index thématiques pour accélérer la recherche dense tout en maintenant une bonne précision.
• Analyse comparative des réordonnanceurs : Évaluation rigoureuse montrant que le réordonnancement par LLM (notamment Gemini-2.5-flash) surpasse les approches apprises traditionnelles, bien que ces dernières offrent un compromis coût/performance intéressant.

4. Résultats

Sur l'ensemble de test officiel :

• Meilleur système : Le système gmn-rerank-500, qui combine la récupération hybride (LLM + BM25 + Dense) avec un réordonnancement par Gemini-2.5-flash sur les 1020 documents candidats.
  • Rappel@1000 (Recall) : 0,6559
  • NDCG@1000 : 0,4106
• Performance des composants :
  • La récupération hybride a amélioré le rappel de 4,4 % à 11 % par rapport aux meilleures méthodes individuelles sur les ensembles de développement.
  • Le réordonnancement par LLM (Gemma-3-27B) a montré une amélioration massive par rapport à la base (ex: +120 % de rappel sur la récupération dense).
  • Le réordonnancement LambdaMART a amélioré le rappel mais a parfois dégradé le rang moyen (Reciprocal Rank), indiquant qu'il est excellent pour filtrer le bruit mais moins précis pour placer le document exact en tête sans aide d'un LLM.
• Analyse par source de données : Le système performe mieux sur les requêtes des évaluateurs NIST (Rappel@1000 = 0,89) que sur les données synthétiques ou MS-ToT, confirmant la difficulté accrue des requêtes générées artificiellement.

5. Signification et Conclusion

Ce travail démontre que la résolution du problème "Sur le bout de la langue" nécessite une approche hybride robuste.

1. Complémentarité des méthodes : Aucune méthode unique (ni dense, ni sparse, ni LLM) ne suffit. La fusion de ces approches capture des aspects complémentaires de la pertinence.
2. Rôle crucial du Reranking : Le réordonnancement, en particulier par LLM, est indispensable pour transformer un bon rappel initial en une précision finale élevée.
3. Compromis Efficacité/Performance : Bien que les LLM offrent les meilleurs résultats, l'utilisation d'un réordonnancement appris (LambdaMART) couplé à un LLM plus léger ou à une étape intermédiaire offre une alternative computationnellement efficace avec des performances compétitives.

L'implémentation complète est open-source, fournissant une base solide pour les futures recherches sur la recherche sémantique complexe et la récupération d'articles connus à partir de descriptions vagues.