Overview of the TREC 2025 Retrieval Augmented Generation (RAG) Track

Der TREC 2025 RAG-Wettbewerb fördert die Entwicklung vertrauenswürdiger Systeme, die Abruf und Generierung integrieren, indem er komplexe, narrative Suchanfragen stellt und ein mehrstufiges Evaluierungsframework zur Sicherstellung von Relevanz, Vollständigkeit und faktischer Fundierung einsetzt.

Das Wesentliche

Stell dir vor, du hast einen sehr klugen, aber manchmal etwas chaotischen Bibliothekar namens KI. In der Vergangenheit war dieser Bibliothekar gut darin, dir ein einzelnes Buch zu geben, wenn du nach einem einfachen Fakt suchtest (z. B. „Wie alt ist der Eiffelturm?"). Aber was passiert, wenn du eine komplexe Frage stellst wie: „Wie hat sich der Sport auf die Gesellschaft ausgewirkt, besonders bei den Gehältern der Athleten, der Inklusion und der Geschäftswelt?"

Hier kommt der TREC 2025 RAG-Wettbewerb ins Spiel. „RAG" steht für Retrieval Augmented Generation – auf Deutsch etwa: „Wissensgestützte Texterstellung".

Hier ist eine einfache Erklärung dessen, was in diesem Papier passiert, mit ein paar kreativen Vergleichen:

1. Der große Wandel: Vom Suchbegriff zur Geschichte

Früher fragten Menschen die KI wie einen Suchmaschinen-Befehl: „Sport, Gehälter, Frauen."
Dieses Jahr hat der Wettbewerb die Regeln geändert. Die Teilnehmer mussten Systeme bauen, die auf langen, komplexen Geschichten (Narrativen) antworten.

• Die Analogie: Stell dir vor, früher hast du dem Bibliothekar nur ein Zettelchen mit drei Stichworten gegeben. Dieses Jahr hast du ihm einen ganzen Brief geschrieben, in dem du erklärst, dass du verstehen willst, wie Sport die Gesellschaft formt, wie sich Ausrüstung verändert und warum manche Sportarten beliebter sind als andere. Die KI muss nun nicht nur ein Buch finden, sondern die Geschichte verstehen und eine zusammenhängende Antwort schreiben.

2. Die vier Aufgaben des Wettbewerbs

Die Teilnehmer mussten ihre KI-Systeme in vier verschiedenen Disziplinen testen lassen:

• Die Suche (Retrieval): Der Bibliothekar muss die richtigen Bücher aus einer riesigen Bibliothek (der MS MARCO-Datenbank) finden.
• Die Antwort (Generation): Der Bibliothekar muss die Informationen aus den Büchern in einen verständlichen Text umwandeln.
• Die Kombination (RAG): Das System muss beides selbstständig tun: erst suchen, dann schreiben.
• Das Urteil (Relevance Judgment): Eine neue Aufgabe, bei der geprüft wurde, wie gut die KI einschätzen kann, ob ein Buch wirklich zur Frage passt.

3. Wie wurde bewertet? (Der strenge Prüfer)

Das ist der spannendste Teil. Wie weiß man, ob die KI wirklich eine gute Antwort gegeben hat? Die Organisatoren haben ein mehrstufiges Bewertungssystem entwickelt, das man sich wie einen Qualitäts-Check für einen Koch vorstellen kann:

• Schritt 1: Die Zerlegung (Sub-Narratives):
  Die komplexe Frage wird in kleine, handliche Stücke zerlegt.

  • Beispiel: Die große Frage über Sport wird in kleine Fragen aufgeteilt: „Wie sieht es mit den Gehältern aus?", „Wie ist die Inklusion?", „Was sagt die Wirtschaft dazu?".
  • Analogie: Ein Koch wird nicht nur gefragt, ob das Essen schmeckt, sondern ob er auch das Fleisch, das Gemüse und die Soße separat perfekt zubereitet hat.

• Schritt 2: Die Faktenprüfung (Support Evaluation):
  Jede einzelne Satz in der Antwort der KI wird geprüft.

  • Die Regel: Wenn die KI schreibt: „Frauenathleten verdienen weniger", muss sie genau angeben, aus welchem Buch (welchem Dokument) sie das weiß.
  • Der Test: Ein Prüfer (oder eine andere KI) schaut in das genannte Buch.
    • Vollständige Unterstützung: Das Buch sagt genau das. (Gute Note!)
    • Teilweise Unterstützung: Das Buch sagt etwas Ähnliches, aber nicht genau das. (Mittel.)
    • Keine Unterstützung: Das Buch hat nichts damit zu tun. (Die KI halluziniert oder lügt.)

• Schritt 3: Die Abdeckung (Coverage):
  Hat die KI alle wichtigen Teile der ursprünglichen Geschichte beantwortet? Wenn die Frage fünf Aspekte hatte, aber die Antwort nur zwei erwähnt, ist sie unvollständig.

4. Die Ergebnisse: Was haben wir gelernt?

• Mensch vs. Maschine: Die Organisatoren haben geprüft, ob Computer (KIs) die Bewertungen von echten Menschen ersetzen können. Das Ergebnis: Bei großen Trends (welches System ist insgesamt besser?) sind die Computer sehr gut. Aber bei feinen Details (ist dieser eine Satz wirklich korrekt?) machen sie noch Fehler.
• Die Herausforderung: Es ist sehr schwer, eine KI zu bauen, die nicht nur Informationen findet, sondern sie auch logisch verknüpft, fair bewertet und jede Aussage belegt.
• Der Gewinner: Die besten Systeme waren solche, die nicht nur schnell suchten, sondern die „Geschichte" des Nutzers wirklich verstanden und ihre Antworten mit klaren Quellenangaben (Zitaten) untermauerten.

Zusammenfassung

Der TREC 2025 RAG-Wettbewerb war wie ein Olympia für KI-Bibliothekare. Das Ziel war nicht mehr nur, schnell das richtige Buch zu finden, sondern eine vertrauenswürdige, gut recherchierte und vollständige Geschichte zu erzählen, die auf echten Fakten basiert.

Die Botschaft für die Zukunft ist klar: Damit KI uns im echten Leben hilft (z. B. bei medizinischen Fragen oder rechtlichen Problemen), muss sie nicht nur „wissen", sondern auch beweisen können, woher sie ihr Wissen hat, und komplexe Zusammenhänge verstehen.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papiers „Overview of the TREC 2025 Retrieval Augmented Generation (RAG) Track" auf Deutsch:

Technische Zusammenfassung: TREC 2025 RAG Track

1. Problemstellung und Zielsetzung
Der TREC 2025 RAG Track (Retrieval Augmented Generation) baut auf dem ersten Track von 2024 auf und zielt darauf ab, die Forschung an Systemen zu fördern, die Informationsabruf (Retrieval) und Textgenerierung (Generation) integrieren, um komplexe, reale Informationsbedürfnisse zu befriedigen.

• Herausforderung: Im Gegensatz zu den kurzen, keyword-basierten Abfragen früherer Jahre stellt der 2025er Track lange, narrative Abfragen (Multi-Sentence Narratives) in den Mittelpunkt. Diese simulieren tiefgehende Suchszenarien, die nuancierte Interpretation, breite Evidenzabdeckung und schlussfolgerndes Denken erfordern.
• Ziel: Die Entwicklung von Pipelines, die nicht nur relevante Dokumente finden und Antworten generieren, sondern dabei Transparenz (durch Zitation) und faktische Fundierung (Grounding) gewährleisten.

2. Methodik und Aufbau des Tracks

Datenbasis und Aufgaben:

• Korpus: Der Track verwendet das MS MARCO V2.1-Korpus, das segmentiert und dedupliziert wurde, um natürliche Textabschnitte („Chunks") für RAG-Systeme bereitzustellen.
• Abfragen: Es wurden 105 narrative Abfragen (sogenannte „Narratives") bereitgestellt, die durch die Aggregation verwandter Suchanfragen und deren Umformulierung in kohärente Texte entstanden sind (siehe Abbildung 1 im Papier).
• Vier Teilaufgaben:
  1. Retrieval (R): Teilnehmer müssen Top-100 Segment-IDs für die narrativen Abfragen zurückgeben.
  2. Augmented Generation (AG): Teilnehmer erhalten eine vorgegebene Liste relevanter Segmente und müssen eine Antwort (max. 400 Wörter) mit Satz-für-Satz-Zitationen generieren.
  3. Retrieval Augmented Generation (RAG): End-to-End-Systeme, die eigene Retriever, Reranker und Generatoren nutzen.
  4. Relevance Judgment (RJ): Eine neue Aufgabe, bei der Teilnehmer die Relevanz von Dokumenten für die Abfragen bewerten müssen.

Sub-Narrative Generierung:
Um komplexe Abfragen bewertbar zu machen, wurden diese in Sub-Narrative zerlegt. Dieser Prozess war semi-automatisiert:

1. Initialisierung: GPT-4.1 nano generierte eine Liste atomarer Sub-Abfragen aus der ursprünglichen Narrative und einer Referenz-Query-Liste.
2. Verfeinerung: GPT-4.1 wurde genutzt, um redundante Abfragen zu entfernen und eine kohärente Liste von Sub-Narratives zu erstellen.
3. Human-in-the-Loop: NIST-Annotatoren überprüften und editierten die Listen manuell, um Vollständigkeit und Kohärenz sicherzustellen.

Bewertungsframework (Evaluation):
Der Track nutzt ein mehrstufiges Evaluierungsmodell:

• Relevanzbewertung: Dokumente werden basierend auf der Abdeckung der Sub-Narrative auf einer Skala von 0 (irrelevant) bis 4 (perfekte Abdeckung) bewertet.
• Antwortbewertung (Response Evaluation):
  • Nugget-Extraktion: Wichtige Informationseinheiten („Nuggets") werden aus relevanten Dokumenten extrahiert.
  • Zuordnung: Diese Nuggets werden den Sub-Narratives zugeordnet.
  • Metriken: Es wird zwischen „Vital" (essenziell) und „Okay" (hilfreich) unterschieden. Die Abdeckung wird als Anteil der vollständig unterstützten vitalen Nuggets berechnet.
• Support-Evaluation (Faktische Fundierung): Jede Satz-Zitation in der Antwort wird gegen das zitierte Dokument geprüft.
  • Stufen: Full Support, Partial Support, No Support.
  • Metriken: Weighted Precision und Weighted Recall.
• Automatisierung vs. Manuell: Der Track verglich manuelle Bewertungen durch NIST-Annotatoren mit automatisierten Bewertungen durch Ensembles von LLMs (u.a. GPT-4.1, Gemini 2.5 Pro, Qwen3, GPT-OSS).

3. Wichtige Beiträge und Innovationen

• Shift zu Narrativen: Der Übergang von Keyword-Queries zu komplexen Narrativen zwingt Systeme zu tieferem semantischem Verständnis und Synthese über mehrere Dokumente hinweg.
• Granulare Evaluierung: Die Einführung von Sub-Narratives und die Aufteilung der Bewertung in Relevanz, Abdeckung (Nuggets) und faktische Fundierung (Support) bietet eine feinere Granularität als traditionelle RAG-Metriken.
• Automatisierte Evaluierung: Der Track demonstrierte, dass Ensembles von LLMs (insbesondere GPT-OSS 120B und GPT-4.1) in der Lage sind, manuelle Bewertungen auf Run-Level (Gesamtsystemleistung) mit hoher Korrelation (Kendall's τ) zu approximieren, was den Evaluierungsaufwand für zukünftige Tracks senken könnte.
• Attribution-Rich Answers: Die strikte Anforderung an Satz-für-Satz-Zitationen fördert die Entwicklung von Systemen, die nachvollziehbare und vertrauenswürdige Antworten liefern.

4. Ergebnisse

• Retrieval: 46 Runs von 12 Gruppen wurden eingereicht. Die besten Systeme nutzten hybride Ansätze (Sparse + Dense Retrieval, z.B. SPLADE-v3 + Arctic-Embed) und fortgeschrittene Reranker (RankLLM, RankQwen). Die Korrelation zwischen automatisierten und manuellen Relevanzbewertungen war auf Run-Level stark, zeigte jedoch bei einzelnen Narrativen mehr Varianz.
• AG und RAG: 51 Runs (RAG) und 25 Runs (AG) wurden bewertet.
  • Die besten Systeme erreichten eine „Strict Vital Score" von ca. 0,50 und eine Sub-Narrative Coverage von über 0,80 (bei manuellen Bewertungen).
  • Systeme, die manuelle Relevanzurteile (Qrels) nutzten, schnitten besser ab als rein automatisierte Pipelines, was die Notwendigkeit hochwertiger Ground-Truth-Daten unterstreicht.
  • Die Analyse zeigte, dass die Zuordnung von Nuggets (Assignment) einen größeren Einfluss auf die Korrelation hat als die Generierung der Nuggets selbst.
• Support Evaluation: GPT-OSS 120B zeigte eine starke Übereinstimmung mit menschlichen Bewertungen bei der Bewertung der faktischen Fundierung (Weighted Precision/Recall), was die Machbarkeit automatisierter Support-Evaluation bestätigt.
• Relevance Judgment (RJ): Die Automatisierung der Relevanzurteile durch Teilnehmer zeigte nur eine moderate Übereinstimmung mit menschlichen Urteilen (Agreement-Fraction ca. 0,30–0,34), was die Schwierigkeit dieser Aufgabe unterstreicht.

5. Bedeutung und Ausblick

Der TREC 2025 RAG Track setzt einen neuen Standard für die Evaluierung von RAG-Systemen, indem er den Fokus von reinem Abruf auf komplexe Informationsintegration und Vertrauen legt.

• Forschungsimpuls: Die Ergebnisse zeigen, dass aktuelle LLM-basierte Pipelines in der Lage sind, komplexe Narrative zu bearbeiten, aber noch Herausforderungen bei der vollständigen Abdeckung aller Aspekte und der perfekten faktischen Fundierung bestehen.
• Praktische Relevanz: Die entwickelten Evaluierungsmethoden (Sub-Narratives, Nugget-Mapping, Support-Checks) bieten einen Blauplan für die Bewertung von RAG-Systemen in realen Anwendungsfällen, wo Genauigkeit und Nachvollziehbarkeit kritisch sind.
• Zukunft: Der Track legt den Grundstein für die Entwicklung von „Agenten", die nicht nur suchen, sondern tiefgehend reasoning-driven antworten und dabei transparent auf Evidenz verweisen. Die Validierung automatisierter Evaluierungsmethoden durch LLMs könnte zukünftig den Aufwand für manuelle Bewertungen in großen IR-Konferenzen signifikant reduzieren.