Overview of the TREC 2025 Retrieval Augmented Generation (RAG) Track

Het TREC 2025 RAG-track bouwt voort op de editie van 2024 door complexe, meerzinnige zoekopdrachten en een uitgebreide evaluatieframework te introduceren om betrouwbare en feitelijke systemen voor retrieval-augmented generation te bevorderen.

De kern

De TREC 2025 RAG-wedstrijd: Een zoektocht naar de waarheid in een zee van informatie

Stel je voor dat je een enorme bibliotheek binnenloopt, maar in plaats van boeken op de planken, zitten er miljarden stukjes tekst. Je wilt een antwoord op een complexe vraag, zoals: "Hoe beïnvloeden sport, geld en cultuur elkaar, en wat betekent dat voor de toekomst?"

Vroeger was het zoeken in zo'n bibliotheek simpel: je fluisterde een paar sleutelwoorden (bijv. "sport", "geld") en de bibliothecaris gaf je een stapel boeken die die woorden bevatten. Maar in 2025 is dat niet meer genoeg. Mensen willen geen simpele lijsten meer; ze willen een verhaal, een diepgaand antwoord dat alle stukjes van de puzzel aan elkaar plakt.

De TREC 2025 RAG-wedstrijd (Retrieval Augmented Generation) is precies zo'n wedstrijd voor slimme computersystemen. Het is een grote test om te zien welke AI het beste kan zoeken, begrijpen en vertellen. Hier is hoe het werkt, vertaald naar alledaags taal:

1. De Vraag: Van "Korte Zinnen" naar "Een Heel Verhaal"

In de vorige editie (2024) stelden mensen korte vragen. Dit jaar is het veranderd. De vragen zijn nu lange, complexe verhalen.

• Vroeger: "Wie is de beste atleet?"
• Nu: "Ik ben geïnteresseerd in de maatschappelijke impact van sport, vooral over salarissen, inclusie, cultuur en het zakelijke aspect. Ik wil ook begrijpen hoe nieuwe uitrusting en training de populariteit van sporten beïnvloeden."

De computers moeten nu niet alleen zoeken, maar ook redeneren. Ze moeten denken als een onderzoeker die een diepgravend artikel schrijft, niet als een robot die alleen trefwoorden matcht.

2. De Opdracht: De Drie Delen van de Taak

Deelnemers bouwen systemen die drie dingen moeten doen, alsof ze een team zijn:

• De Zoeker (Retrieval): Dit is de "bibliothecaris". Hij duikt de enorme zee van teksten in en haalt de 100 meest relevante stukjes tekst (documenten) eruit. Hij moet precies weten welke stukjes nodig zijn om het verhaal te vertellen.
• De Schrijver (Generation): Dit is de "auteur". Hij leest de gevonden stukjes en schrijft een antwoord van maximaal 400 woorden. Maar hij mag niet verzinnen! Elke zin moet gebaseerd zijn op wat hij heeft gevonden.
• De Bewijsleveraar (Citation): Dit is de "fact-checker". Bij elke zin in het antwoord moet de schrijver aangeven: "Dit heb ik gelezen op pagina X van document Y." Als hij geen bron noemt, is het antwoord waardeloos.

3. De Beoordeling: Hoe weten we wie er wint?

De jury (menselijke experts en slimme AI's) kijkt niet alleen naar of het antwoord "klinkt goed". Ze kijken naar drie cruciale dingen:

• Is het relevant? (De Zoeker)
  Stel, je vraag gaat over sport en geld. Als de computer alleen maar artikelen over "sport en weer" vindt, is dat een mislukking. De jury kijkt of de gevonden stukjes de verschillende onderdelen van je vraag (salarissen, cultuur, etc.) echt beantwoorden.
• Is het compleet? (De Schrijver)
  Heeft het antwoord alle belangrijke stukjes van de puzzel? Als de vraag gaat over "inclusie" en het antwoord negeert dat onderwerp, dan is het antwoord onvolledig. Het is alsof je een recept maakt maar vergeet de suiker toe te voegen: het is nog steeds een taart, maar niet de goede.
• Is het waar? (De Bewijsleveraar)
  Dit is het belangrijkste. Als de computer zegt: "Vrouwen krijgen minder salaris dan mannen in de sport," dan moet hij kunnen aantonen dat dit in de gevonden documenten staat. Als hij dat niet kan, is het een leugen (of een hallucinatie). De jury checkt elke zin: "Wordt dit echt ondersteund door de bron?"

4. De Uitdaging: De "Sub-verhalen"

Omdat de vragen zo lang en ingewikkeld zijn, hebben de organisatoren de vragen opgeknipt in kleinere stukjes, noem ze "sub-verhalen".

• Hoofdvraag: "Wat is de impact van sport?"
• Sub-verhalen: "Hoeveel verdienen atleten?", "Zijn er genoeg vrouwen in leidinggevende posities?", "Hoe beïnvloedt geld de sport?"

De computers moeten elk van deze sub-verhalen apart beantwoorden en dan samenvoegen tot één groot, logisch verhaal.

5. Het Resultaat: Mens vs. Machine

De wedstrijd toont aan dat AI's steeds beter worden in dit soort taken.

• Sommige systemen zijn heel goed in het vinden van de juiste documenten (de Zoeker).
• Andere systemen zijn fantastisch in het schrijven van een vloeiend verhaal (de Schrijver).
• Maar de echte winnaars zijn de systemen die alles goed doen: ze vinden de juiste bronnen, schrijven een compleet verhaal en leveren voor elke zin het bewijs.

De grote les van 2025:
In de wereld van AI is "slim zijn" niet genoeg. Een systeem moet ook eerlijk en transparant zijn. Het moet niet alleen het juiste antwoord geven, maar ook laten zien waar het dat vandaan heeft. Het is alsof je niet alleen een goed verslag schrijft, maar ook elke bron exact citeert zodat iedereen kan controleren of het waar is.

De TREC 2025 RAG-wedstrijd is dus een race om de meest betrouwbare, slimme en eerlijke "digitale bibliothecaris" te vinden die ons kan helpen navigeren in de overvloed aan informatie van vandaag.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper over de TREC 2025 Retrieval Augmented Generation (RAG) Track, geschreven in het Nederlands.

Technische Samenvatting: TREC 2025 RAG Track

1. Het Probleem
De traditionele zoekopdrachten in Information Retrieval (IR) zijn vaak kort en gebaseerd op trefwoorden. Echter, real-world informatiebehoeften zijn complexer, vereisen dieper redeneren en omvatten vaak lange, narratieve vragen. Bestaande RAG-systemen (Retrieval Augmented Generation) worstelen vaak met:

• Het begrijpen van nuance in complexe, multi-zinsvragen.
• Het synthetiseren van informatie uit meerdere documenten voor een volledig antwoord.
• Het garanderen van feitelijke juistheid (grounding) en transparantie (attributie) in gegenereerde antwoorden.
• Het evalueren van systemen op basis van oppervlakkige matching in plaats van diepgaande inhoudelijke dekking.

De TREC 2025 RAG Track richt zich op het oplossen van deze problemen door onderzoekers uit te dagen om systemen te bouwen die niet alleen informatie ophalen, maar deze ook kunnen redeneren en verantwoorden in een narratieve context.

2. Methodologie en Opzet

De track bouwt voort op de editie van 2024, maar introduceert cruciale wijzigingen in de query-vorm en evaluatiestructuur.

• Corpus: De track gebruikt het MS MARCO V2.1 corpus, dat is opgesplitst in segmenten (chunks) en gedupliceerde documenten heeft verwijderd om robuuste retrieval en generatie mogelijk te maken.

• Query-ontwerp (Narratives): In plaats van korte zoekopdrachten gebruiken deelnemers narratives: lange, multi-zinsvragen die complexe onderzoeksscenario's nabootsen (bijv. "Ik ben geïnteresseerd in de maatschappelijke impact van sport...").

• Taken: De track bestaat uit vier onderling verbonden taken:

  1. Retrieval (R): Het ophalen van de top-100 relevante segmenten voor een narrative.
  2. Augmented Generation (AG): Het genereren van een antwoord (max. 400 woorden) op basis van een vastgesteld set van gevonden documenten (geen eigen retrieval).
  3. Retrieval Augmented Generation (RAG): Een end-to-end taak waarbij deelnemers hun eigen retrieval-, reranking- en generatiepiplines bouwen.
  4. Relevance Judgment (RJ): Een nieuwe taak waarbij deelnemers zelf relevantie-oordelen moeten leveren voor documenten.

• Sub-narrative Decompositie: Om complexe narratives te evalueren, worden deze opgesplitst in sub-narratives (bijv. "sport en maatschappelijke impact", "vergoeding van atleten"). Dit gebeurt semi-automatisch met LLMs (GPT-4.1) en menselijke correctie.

• Evaluatie Framework: Een multi-layered evaluatie wordt toegepast:

  • Relevantie: Documenten krijgen een score van 0-4 gebaseerd op het aantal sub-narratives dat ze beantwoorden.
  • Response Evaluation: Gebruik van "nuggets" (kerninformatie-eenheden) die worden toegewezen aan sub-narratives. Er wordt onderscheid gemaakt tussen vital (essentieel) en okay (optioneel) nuggets.
  • Support Evaluation: Elke zin in het gegenereerde antwoord wordt gecontroleerd op feitelijke onderbouwing door de aangehaalde documenten (Full Support, Partial Support, No Support).
  • Automatisering vs. Menselijk: De track vergelijkt menselijke beoordelingen (NIST assessors) met geautomatiseerde beoordelingen via een ensemble van LLMs (GPT-4.1, Gemini 2.5 Pro, Qwen3, GPT-OSS).

3. Belangrijkste Bijdragen

• Verschuiving naar Narratieve Queries: De introductie van lange, complexe narratives als vervanging voor trefwoord-zoekopdrachten, wat de focus verlegt van keyword-matching naar redenering en synthese.
• Gestructureerde Evaluatie van Grounding: Een nieuw, rigoureus framework om feitelijke juistheid te meten op zinsniveau, inclusief de noodzaak van attributie (citaties) voor elke bewering.
• Sub-narrative Decompositie: Een methodologie om complexe informatiebehoeften op te breken in beheersbare componenten voor nauwkeurigere relevantie-evaluatie.
• Validatie van Geautomatiseerde Evaluatie: Uitgebreide analyse van de correlatie tussen menselijke en LLM-gebaseerde beoordelingen, wat aantoont dat geautomatiseerde methoden (vooral ensemble-modellen) betrouwbaar kunnen fungeren als vervanging voor menselijke beoordeling op systeemniveau.

4. Resultaten

• Retrieval: Van de 46 ingediende runs voor de retrieval-taak presteerden systemen die gebruikmaakten van "Generation-in-the-loop" pipelines en hybride ranking (SPLADE-v3 + Snowflake Arctic-Embed) het best (hoge nDCG@30 en Recall@100).
• AG en RAG: Voor de generatie-taken (51 RAG runs, 25 AG runs) waren de scores voor "strict vital score" (dekking van essentiële informatie) over het algemeen lager dan voor "sub-narrative coverage". Dit suggereert dat het volledig beantwoorden van alle essentiële aspecten van een complexe vraag nog een grote uitdaging is.
  • De beste systemen (bijv. van UTokyo en MITLL) haalden een sub-narrative coverage van rond de 0.80, maar een strict vital score van ongeveer 0.50.
• Evaluatie Betrouwbaarheid:
  • Er is een sterke correlatie (Kendall's τ) gevonden tussen menselijke en geautomatiseerde beoordelingen op het niveau van hele runs (systemen), vooral bij metrics zoals nDCG@100.
  • Op het niveau van individuele narratives is de variatie groter, wat aangeeft dat lokale relevantiepatronen lastiger te voorspellen zijn.
  • Voor de Support Evaluation (feitelijke juistheid) toonde GPT-OSS 120B een sterke overeenkomst met menselijke beoordelingen, wat suggereert dat LLM's betrouwbaar kunnen worden ingezet om hallucinaties en gebrek aan onderbouwing te detecteren.
• Relevance Judgment (RJ): De prestaties van deelnemers bij het automatisch genereren van relevantie-oordelen waren gematigd (overeenkomstsfactoren van 0.30-0.34), wat aangeeft dat dit een moeilijke taak blijft voor geautomatiseerde systemen.

5. Betekenis en Conclusie

De TREC 2025 RAG Track markeert een belangrijke stap in de evolutie van zoeksystemen. Door de focus te verleggen van simpele zoekopdrachten naar complexe, narratieve vragen, dwingt de track de gemeenschap om systemen te ontwikkelen die:

1. Redeneren in plaats van alleen matchen.
2. Transparant zijn door elke bewering te onderbouwen met bronnen.
3. Betrouwbaar zijn door feitelijke juistheid te garanderen.

De resultaten tonen aan dat hoewel geavanceerde LLM-pipelines (zoals die van UTokyo en MITLL) aanzienlijke vooruitgang boeken, er nog ruimte is voor verbetering, vooral in het volledig dekken van alle essentiële informatiebehoeften in complexe scenario's. De validatie van geautomatiseerde evaluatiemethoden is een cruciale bijdrage voor de toekomst, omdat het de schaalbaarheid van evaluatie in de RAG-domeinen mogelijk maakt zonder volledig afhankelijk te zijn van dure menselijke beoordelingen. De track legt de basis voor de ontwikkeling van vertrouwde, contextbewuste AI-systemen voor real-world informatieverwerving.