StratRAG: A Multi-Hop Retrieval Evaluation Dataset for Retrieval-Augmented Generation Systems

Das Rätsel der verlorenen Puzzleteile: Was ist StratRAG?

Stellen Sie sich vor, Sie sind ein Detektiv. Ein Kunde kommt zu Ihnen und stellt eine komplexe Frage: „Welches Gebäude in Berlin wurde von dem Architekten entworfen, der das berühmte Opernhaus in Wien gebaut hat?“

Um diese Frage zu beantworten, können Sie nicht einfach ein einzelnes Buch aufschlagen. Sie müssen zwei Schritte machen:

1. Zuerst müssen Sie herausfinden, wer der Architekt des Wiener Opernhauses ist.
2. Dann müssen Sie in einem anderen Buch nachsehen, welche Gebäude dieser Architekt in Berlin entworfen hat.

Das nennt man in der Fachsprache „Multi-Hop Reasoning“ (mehrstufiges Denken). Man muss von einem Wissenspunkt zum nächsten „hüpfen“.

Das Problem mit den heutigen „KI-Bibliothekaren“

Heutige KI-Systeme (wie ChatGPT) nutzen oft eine Technik namens RAG (Retrieval-Augmented Generation). Das funktioniert so: Die KI ist wie ein sehr schlaues Gehirn, aber sie hat ein schlechtes Gedächtnis. Deshalb hat sie einen „Bibliothekar“ (den Retriever) an ihrer Seite. Wenn eine Frage kommt, rennt der Bibliothekar in die Bibliothek, sucht die passenden Bücher heraus und gibt sie der KI, damit diese die Antwort formulieren kann.

Das Problem: Die meisten Tests für diese Bibliothekare sind zu einfach. Es ist, als würde man einen Bibliothekar nur fragen: „Wo ist das Buch über Hunde?“ Da ist es leicht, das richtige Buch zu finden. Aber die echten Detektiv-Fragen (wie die oben) sind viel schwerer, weil die Informationen in verschiedenen Büchern versteckt sind und die Bibliothek voller „Lärm“ (irrelevanten Büchern) ist.

Die Lösung: StratRAG – Der ultimative Hindernislauf

Aryan Patodiya hat mit StratRAG einen neuen, strengen Testlauf für diese KI-Bibliothekare entwickelt.

Stellen Sie sich StratRAG wie einen Hindernisparcours für Bibliothekare vor:

• Das Chaos-Prinzip: Anstatt nur zwei perfekte Bücher zu geben, wirft man dem Bibliothekar 15 Bücher hin. Zwei davon sind die „Goldstücke“ (die richtigen Antworten), aber 13 davon sind „Ablenkungsmanöver“ – Bücher, die zwar ähnlich klingen, aber die falsche Antwort enthalten.
• Die drei Arten von Rätseln:
  1. Vergleichs-Fragen: „Wer ist älter, A oder B?“ (Relativ einfach, da klare Schlagworte helfen).
  2. Ja/Nein-Fragen: „Hat X in Y gelebt?“ (Etwas kniffliger).
  3. Brücken-Fragen (Die Endgegner): Das sind die schwierigsten. Hier gibt es keine direkten Schlagworte. Man muss die „Brücke“ zwischen zwei Informationen erst im Kopf bauen.

Was hat der Test ergeben?

Der Autor hat drei verschiedene Arten von Bibliothekaren getestet:

1. Der Wort-Sucher (BM25): Er sucht nur nach exakt gleichen Wörtern (wie ein klassisches Inhaltsverzeichnis).
2. Der Sinn-Versteher (Dense Retrieval): Er versteht die Bedeutung der Sätze, auch wenn die Wörter anders sind.
3. Das Super-Team (Hybrid): Eine Kombination aus beiden.

Das Ergebnis: Das „Super-Team“ war am besten. Aber selbst die besten Bibliothekare stolperten bei den Brücken-Fragen. Sie fanden die zwei wichtigen Bücher oft nicht schnell genug, weil die Verbindung zwischen ihnen zu subtil war.

Der Ausblick: Ein Bibliothekar, der aus Fehlern lernt

Der Autor schlägt vor, dass wir in Zukunft Bibliothekare mit „Reinforcement Learning“ (Bestärkendes Lernen) trainieren sollten.

Das ist so, als würde man einem Hund beibringen, etwas zu suchen: Wenn er das richtige Buch findet, bekommt er ein Leckerli. Wenn er das falsche nimmt, gibt es nichts. Der Bibliothekar lernt also nicht nur, nach Wörtern zu suchen, sondern er lernt, wie man eine logische Kette bildet, um am Ende die richtige Antwort zu finden.

Zusammenfassung für den Stammtisch:

• Was wurde gemacht? Ein neuer, schwieriger Test für die Such-Funktionen von KIs wurde gebaut.
• Warum ist das wichtig? Damit KIs in der echten Welt nicht nur oberflächliches Wissen finden, sondern echte Detektivarbeit leisten können.
• Das Problem: Die „Brücken-Fragen“ sind noch zu schwer für die aktuelle Technik.