Overview of the TREC 2025 Retrieval Augmented Generation (RAG) Track

La deuxième édition de la piste RAG de TREC 2025 fait progresser la recherche sur les systèmes intégrant recherche et génération en introduisant des requêtes narratives complexes et une évaluation rigoureuse pour favoriser le développement de systèmes fiables et bien étayés.

L'essentiel

Imaginez que vous êtes un détective privé très intelligent, mais qui a un problème : il a une mémoire incroyable, mais il ne connaît pas le monde extérieur. Pour résoudre un mystère, il doit aller fouiller dans une immense bibliothèque remplie de millions de livres.

C'est exactement ce que le Track RAG 2025 de TREC (une sorte de "Championnat du Monde" pour les systèmes d'intelligence artificielle) a organisé cette année. Voici comment cela fonctionne, expliqué simplement :

1. Le Grand Changement : Des questions courtes aux enquêtes complexes

L'année dernière, on demandait aux détectives (les IA) des choses simples, comme : "Qui a gagné le Super Bowl ?". C'est facile, une seule phrase suffit.

Cette année, le défi a changé la donne. On ne demande plus des faits isolés, mais des enquêtes complètes.

• L'analogie : Au lieu de demander "Combien coûte une pizza ?", on demande : "Expliquez-moi l'impact de la pizza sur la société : comment les prix changent selon les quartiers, comment les ingrédients influencent la culture, et pourquoi les chefs de pizza sont-ils parfois sous-payés ?".
• C'est une narration (une histoire) longue et complexe. L'IA ne peut pas juste "deviner" la réponse ; elle doit lire, comprendre, et assembler des pièces de puzzle venant de différents endroits de la bibliothèque.

2. Les Quatre Épreuves du Championnat

Les participants (des chercheurs et des ingénieurs) ont dû construire des robots détectives capables de passer quatre épreuves :

• 🕵️‍♂️ L'Enquêteur (Recherche) : Le robot doit trouver les bons livres dans la bibliothèque. S'il cherche "l'impact social du sport", il ne doit pas ramener un livre sur "les règles du football", mais un livre qui parle de "l'argent des joueurs" ou "de l'inclusion".
• 📝 Le Rédacteur (Génération) : Une fois les bons livres trouvés, le robot doit écrire une réponse. Mais attention ! Il ne doit pas inventer d'histoire. Chaque phrase de sa réponse doit être une citation précise d'un livre trouvé. C'est comme écrire un devoir de école où chaque affirmation doit avoir une référence en bas de page.
• 🧩 Le Montage (RAG complet) : C'est l'épreuve finale. Le robot doit faire les deux choses en même temps : chercher les documents ET écrire l'article parfait, en citant ses sources.
• 👮‍♂️ Le Juge (Évaluation) : C'est une nouvelle épreuve cette année. Les participants doivent aussi essayer de dire eux-mêmes : "Est-ce que ce livre est utile pour répondre à la question ?". C'est comme si le détective devait aussi juger de la qualité de ses propres preuves.

3. Comment on juge les détectives ? (Le Système de Notation)

Pour ne pas se tromper, les organisateurs ont mis en place une méthode très rigoureuse, un peu comme un jury de concours de cuisine :

• La Décomposition : On ne juge pas la réponse globale d'un coup. On la découpe en petits morceaux (des "sous-enquêtes").
  • Exemple : Si la question porte sur le sport, on vérifie séparément si l'IA a bien parlé de "l'argent", de "l'inclusion", et de "la culture".
• Les "Pépites" (Nuggets) : On cherche les informations cruciales. Si l'IA oublie un point vital (comme le fait que les femmes sont moins payées), elle perd des points, même si elle a bien écrit le reste.
• La Vérification des Sources : On regarde chaque phrase de la réponse.
  • Plein support : La phrase est vraie et le livre cité le prouve.
  • Support partiel : La phrase est à moitié vraie.
  • Pas de support : L'IA a menti ou inventé (c'est le pire cas !).

4. Les Résultats : Les Robots apprennent à mieux raisonner

Cette année, plus de 150 équipes ont participé. Le résultat principal est que les IA commencent à devenir de véritables chercheurs.

• Elles ne se contentent plus de copier-coller des phrases.
• Elles apprennent à synthétiser l'information : elles lisent dix documents différents et en tirent une conclusion cohérente.
• Elles apprennent à avouer leurs sources : elles disent toujours "J'ai lu ça dans le document X".

En résumé

Le TREC 2025 RAG, c'est comme un entraînement intensif pour transformer les IA de simples "moteurs de recherche" en assistants de recherche fiables. L'objectif est de créer des robots capables de répondre à nos questions complexes du quotidien (comme "Comment le sport influence-t-il la société ?") sans jamais nous mentir, en nous montrant toujours leurs preuves.

C'est un pas de géant vers une intelligence artificielle plus honnête, plus profonde et plus utile pour nous aider à comprendre le monde.

Résumé technique

Voici un résumé technique détaillé du document « Overview of the TREC 2025 Retrieval Augmented Generation (RAG) Track », structuré selon vos demandes.

1. Problématique et Contexte

Le TREC 2025 RAG Track (deuxième édition) vise à faire progresser la recherche sur les systèmes de Génération Augmentée par la Recherche (RAG) capables de répondre à des besoins informationnels complexes et réels. Contrairement à l'édition 2024 qui utilisait des requêtes courtes de type « mots-clés », l'édition 2025 introduit un changement fondamental : l'utilisation de requêtes narratives longues et multi-sentences.

• Défi principal : Les systèmes doivent désormais interpréter des intentions de recherche profondes (« deep search »), couvrir un spectre d'évidences plus large et fournir des réponses basées sur un raisonnement plutôt que sur un simple matching superficiel.
• Exigences : Les participants doivent concevoir des pipelines intégrant la recherche et la génération tout en garantissant la transparence (citations explicites) et l'ancrage factuel (grounding) des réponses générées.
• Données : Le track utilise le corpus MS MARCO V2.1, qui a été segmenté et dédupliqué pour faciliter la recherche de passages précis et la génération de réponses ancrées.

2. Méthodologie et Configuration de la Tâche

Le track est divisé en quatre tâches interconnectées, toutes basées sur 105 « narratives » (requêtes complexes) :

1. Récupération (Retrieval - R) : Les participants doivent retourner une liste classée des 100 meilleurs segments (chunks) du corpus MS MARCO V2.1.
2. Génération Augmentée (Augmented Generation - AG) : La récupération est fixée (fournie par une ligne de base). Les participants doivent générer une réponse de ≤400 mots, structurée par phrases, avec des citations de niveau phrase vers les segments fournis.
3. Génération Augmentée par la Recherche (RAG) : Évaluation des systèmes de bout en bout (récupération, reranking, génération). Les participants utilisent leurs propres pipelines mais doivent mapper les preuves aux IDs de segments MS MARCO.
4. Jugement de Pertinence (Relevance Judgment - RJ) : Une nouvelle tâche où les participants doivent fournir leurs propres jugements de pertinence pour les documents par rapport aux narratives.

Génération des Requêtes (Narratives) :
Les requêtes narratives ont été générées de manière semi-automatisée en regroupant des clusters de requêtes de recherche existantes (ex: « Les athlètes sont-ils trop payés ? » + « Comment le sport influence-t-il la culture ? ») pour former un texte cohérent simulant un besoin de recherche réel. Un processus de décomposition en sous-narratives (sub-narratives) a été mis en place pour identifier les aspects clés de chaque requête (ex: compensation des athlètes, inclusion, impact commercial).

Cadre d'Évaluation Multi-couches :
L'évaluation est rigoureuse et repose sur plusieurs dimensions :

• Évaluation de la Pertinence : Les documents sont notés de 0 à 4 en fonction du nombre de sous-narratives qu'ils couvrent (de 0 = non pertinent à 4 = couverture parfaite de 4+ sous-narratives).
• Évaluation de la Réponse (Response Evaluation) :
  • Génération de Nuggets : Extraction d'unités d'information clés (nuggets) des documents pertinents.
  • Couverture : Mesure de la récitation des nuggets « vitaux » (indispensables) dans la réponse générée.
  • Attribution : Vérification que chaque phrase de la réponse est soutenue par les documents cités.
• Évaluation du Support (Support Evaluation) : Analyse au niveau de la phrase pour vérifier si le document cité soutient factuellement la phrase de la réponse (Full Support, Partial Support, No Support).
• Automatisation vs Humain : L'évaluation combine des jugements manuels (NIST) et des évaluations automatisées utilisant des LLMs (GPT-4.1, Gemini 2.5 Pro, Qwen3, GPT-OSS) pour valider la fiabilité des métriques automatiques.

3. Contributions Clés

• Transition vers le Raisonnement Profond : Le passage des requêtes mots-clés aux narratives complexes force les modèles à développer des capacités de synthèse et de raisonnement multi-sources.
• Nouveau Cadre d'Évaluation Granulaire : Introduction d'une évaluation basée sur les « sous-narratives » et les « nuggets » vitaux, permettant une analyse fine de la complétude et de la précision des réponses.
• Validation des Évaluations Automatiques : Le track démontre que les ensembles de modèles LLM (ensembles) peuvent approximer avec une grande fidélité les jugements humains au niveau des runs (systèmes), bien que la variabilité subsiste au niveau des requêtes individuelles.
• Focus sur l'Attribution : L'accent mis sur la vérification factuelle (citation de documents pour chaque affirmation) répond au problème critique des hallucinations dans les RAG.

4. Résultats Principaux

• Participation : Plus de 150 soumissions ont été reçues, provenant de 12 à 16 groupes selon les tâches.
• Tâche de Récupération (R) :
  • Les pipelines utilisant la fusion de résultats (Reciprocal Rank Fusion - RRF) combinant des modèles denses (ex: Arctic-Embed) et épars (SPLADE-v3) ont obtenu les meilleurs scores (nDCG@100 > 0.60).
  • Les approches « Generation-in-the-loop » (où la génération influence la récupération) ont montré des performances prometteuses.
  • Une forte corrélation (Kendall's τ) a été observée entre les évaluations manuelles et automatisées au niveau des runs.
• Tâches AG et RAG :
  • Les meilleurs systèmes ont atteint des scores de « strict vital recall » d'environ 0.50 et une couverture de sous-narratives d'environ 0.80 (dans les configurations manuelles optimisées).
  • L'ajout de jugements de pertinence manuels (qrels) améliore significativement la corrélation des métriques automatisées par rapport aux jugements entièrement automatisés.
  • L'évaluation du support montre que les LLMs (GPT-OSS 120B) peuvent servir de substituts fiables aux évaluateurs humains pour les métriques de précision et de rappel pondérés.
• Tâche RJ (Jugement de Pertinence) : Les systèmes automatisés ont atteint un taux d'accord (agreement fraction) de 0.30 à 0.34 avec les jugements humains, indiquant que l'automatisation complète de la création de jugements de pertinence pour des requêtes complexes reste un défi majeur.

5. Signification et Impact

Le TREC 2025 RAG Track marque un tournant dans l'évaluation des systèmes RAG. En passant de la simple récupération de faits à la construction de réponses narratives complexes et étayées, il définit un nouveau standard pour l'IA générative.

• Fiabilité : L'accent mis sur l'attribution et la vérification factuelle est crucial pour le déploiement de systèmes RAG dans des domaines sensibles (santé, droit, finance).
• Reproductibilité et Échelle : La démonstration que des évaluateurs LLM peuvent approximer les jugements humains ouvre la voie à une évaluation plus rapide et moins coûteuse des futurs systèmes RAG, tout en maintenant une rigueur scientifique.
• Innovation : Le track encourage le développement de systèmes capables de gérer l'ambiguïté, de synthétiser des informations contradictoires et de fournir des réponses transparentes, essentiels pour les applications réelles de recherche d'information.

En résumé, ce track fournit une feuille de route technique pour construire des systèmes RAG non seulement performants, mais aussi fiables, traçables et capables de raisonnement complexe.