Coverage, Not Averages: Semantic Stratification for Trustworthy Retrieval Evaluation

1. Problemstellung

Das Paper identifiziert einen kritischen Mangel in der aktuellen Evaluierung von Retrieval-Augmented Generation (RAG) Systemen und Information-Retrieval (IR) allgemein.

• Verzerrung durch Aggregat-Metriken: Herkömmliche Benchmarks (z. B. BEIR) basieren auf heuristisch konstruierten Query-Sets. Diese setzen implizit eine Homogenität der Queries voraus, während reale Suchanfragen strukturell heterogen sind.
• Verdeckte Lücken: Die Autoren zeigen empirisch (am Beispiel von NFCorpus), dass große semantische Regionen des Dokumentenkorpus in Evaluierungs-Queries unterrepräsentiert oder gar nicht abgedeckt sind. Da diese Regionen oft die schwierigsten Fälle darstellen, führen Standard-Metriken (wie der durchschnittliche nDCG) zu einer systematischen Überschätzung der tatsächlichen Systemleistung.
• Statistisches Problem: Die Evaluierung wird als statistisches Schätzproblem betrachtet. Wenn die Evaluierungs-Queries nicht proportional zur Verteilung der „Retrieval-Regime" (semantische oder strukturelle Untergruppen) im Korpus gezogen werden, entstehen verzerrte Schätzer (Bias) und irreführende Konfidenzintervalle. Aggregate Metriken maskieren systematische Fehlermodi in spezifischen Domänen.

2. Methodik: Semantische Stratifikation

Um dieses Problem zu lösen, schlagen die Autoren ein Framework namens Semantic Stratification vor, das die Evaluierung auf der Struktur des Dokumentenkorpus verankert. Der Prozess besteht aus drei Hauptschritten:

A. Konstruktion der semantischen Struktur

1. Entitäten-Extraktion: Mittels eines LLM werden aus jedem Dokument atomare, interpretierbare semantische Einheiten (Entitäten) extrahiert (Name + Beschreibung).
2. Semantischer Graph: Diese Entitäten werden in einen Vektorraum eingebettet und ein Graph wird konstruiert, wobei Kanten die semantische Ähnlichkeit (Cosine-Similarity) zwischen Entitäten darstellen.
3. Clustering: Ein Community-Detection-Algorithmus (Leiden) gruppiert den Graphen in kohärente semantische Cluster. Jedes Dokument wird den Clusters zugeordnet, die seine Entitäten enthalten. Dies definiert die semantischen Schichten (Strata).

B. Query-Stratifizierung

Neben der rein semantischen Einteilung werden Queries auch nach strukturellen Merkmalen klassifiziert, um die „Schwierigkeit" des Retrievals zu erfassen:

1. Relevanz-Dispersion ($\Delta$): Misst, wie stark die relevanten Dokumente für eine Query über verschiedene semantische Cluster verteilt sind. Hohe Dispersion bedeutet oft eine breitere, mehrdeutige Informationsbedürftigkeit.
2. Semantische Ausrichtung ($J$): Misst die Jaccard-Ähnlichkeit zwischen den Entitäten der Query und den Entitäten der relevanten Dokumente. Niedrige Ausrichtung deutet auf eine semantische Kluft hin.

Diese beiden Signale teilen Queries in ein $3 \times 3$-Gitter (niedrig/medium/hoch für $\Delta$ und $J$) ein, was strukturelle Schichten definiert.

C. Kuratierung des Evaluierungs-Datensatzes

Anstatt auf existierende Queries zu vertrauen, wird ein iterativer Prozess zur Generierung neuer Queries verwendet:

• Coverage-Gap-Analyse: Es wird identifiziert, welche semantischen Cluster oder strukturellen Kombinationen (z. B. hohe Dispersion + niedrige Ausrichtung) keine oder zu wenige Queries haben.
• Generierung: Ein LLM generiert gezielt neue Queries basierend auf Dokumenten aus den unterrepräsentierten Schichten.
• Validierung: Relevanzurteile werden durch LLMs überprüft, um sicherzustellen, dass die neuen Queries die gewünschten semantischen und strukturellen Eigenschaften erfüllen.
• Ziel: Ein Evaluierungs-Set, das eine garantierte Abdeckung über das gesamte semantische und strukturelle Spektrum bietet.

3. Hauptbeiträge

1. Problem-Identifikation: Nachweis, dass die Annahme der Query-Homogenität in aktuellen Benchmarks zu verzerrten Metriken führt, da sie systematische Fehler in unterrepräsentierten Domänen übersehen.
2. Methodisches Framework: Formalisierung der Retrieval-Evaluierung als stratifiziertes statistisches Schätzproblem und Einführung eines coverage-bewussten Frameworks zur Datensatzkonstruktion.
3. Empirische Validierung: Demonstration, dass stratifizierte Evaluierung stabilere, transparentere und vertrauenswürdigere Entscheidungen ermöglicht als reine Aggregat-Metriken.

4. Ergebnisse und Erkenntnisse

Die Autoren validierten ihr Framework an drei Datensätzen (NFCorpus, FiQA, SciDocs) mit verschiedenen Retrieval-Methoden (Dense, Sparse, Hybrid).

• Aufdeckung von Lücken: In NFCorpus deckten die ursprünglichen BEIR-Queries nur ca. 51 % der semantischen Cluster ab (Minimum Semantic Coverage), während die stratifizierte Methode 90 % erreichte. 182 Cluster blieben im Original-Set komplett unberührt (Zero-Query Clusters), darunter wichtige methodische Themen wie statistische Verfahren.
• Leistungsvarianz: Die Leistung variiert stark zwischen den Schichten (bis zu 3-facher Unterschied). Aggregate Metriken verdecken dies. Beispielsweise performte ein bestimmter Dense-Retriever in einem Cluster („Prostate Enlargement") hervorragend, während er in anderen schlecht abschnitt – ein Unterschied, der im Durchschnitt verschwand.
• Strukturelle Signale:
  • Die Dispersion ($\Delta$) korreliert stark mit der Ranking-Qualität (nDCG).
  • Die Ausrichtung ($J$) korreliert stark mit der Recall-Leistung.
• Fehlermodi: Die stratifizierte Analyse enthüllte spezifische Fehlerursachen, die Aggregate verbergen:
  • Semantisch-Lexikalische Diskrepanz: Queries, die auf Konzepten basieren, die im Text nicht explizit genannt werden (z. B. „Arkansas" als Query für Dokumente über Forschung in Arkansas, ohne dass der Name im Text vorkommt).
  • Register-Mismatch: Umgangssprachliche Queries vs. wissenschaftliche Dokumente (z. B. „Raw Food Diet Myths" vs. medizinische Fachbegriffe).
• Entscheidungsfindung: Bei der Auswahl zwischen zwei Embedding-Modellen zeigte sich, dass das Gewinner-Modell davon abhängt, ob man nach Query-Anzahl gewichtet (Aggregate) oder alle semantischen Regionen gleich gewichtet (Macro-Average). Stratifikation macht diese Trade-offs explizit.

5. Bedeutung und Ausblick

Das Paper argumentiert, dass die Zuverlässigkeit von RAG-Systemen nicht durch höhere Durchschnittswerte, sondern durch eine abgedeckte Evaluierung (Coverage) erreicht wird.

• Vertrauenswürdigkeit: Durch die explizite Abdeckung aller semantischen Regionen können Entwickler sicherstellen, dass ihre Systeme nicht nur in „einfachen" oder häufigen Domänen funktionieren, sondern auch in kritischen, aber seltenen Bereichen (z. B. medizinische Methodik).
• Diagnose: Das Framework bietet interpretierbare Einblicke, warum ein Retrieval-System scheitert (z. B. aufgrund von Korpus-Strukturproblemen vs. Modell-Schwächen).
• Zukunft: Die Autoren fordern einen Paradigmenwechsel weg von reinen Aggregat-Scores hin zu coverage-bewussten Evaluierungsprotokollen. Sie werden die stratifizierten Datensätze öffentlich verfügbar machen, um Reproduzierbarkeit und weitere Forschung zu fördern.

Zusammenfassend stellt dieses Werk einen fundamentalen Schritt dar, um die Evaluierung von Retrieval-Systemen von einer oberflächlichen statistischen Übung zu einer strukturell fundierten, vertrauenswürdigen Analyse zu transformieren.