Deepchecks: Evaluating Retrieval-Augmented Generation (RAG)
Dieser Beitrag stellt Deepchecks vor, ein umfassendes Framework, das entwickelt wurde, um die komplexen Herausforderungen der Evaluierung von Retrieval-Augmented-Generation-(RAG)-Systemen zu bewältigen, indem es eine vielschichtige Bewertung, eine Ursachenanalyse und ein Produktionsmonitoring bereitstellt, um Zuverlässigkeit, Relevanz und die Ausrichtung auf anwendungsspezifische Anforderungen sicherzustellen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie haben einen sehr klugen, redseligen Assistenten (ein Large Language Model oder LLM). Dieser Assistent ist hervorragend darin, Geschichten zu schreiben und Fragen zu beantworten, hat aber eine schlechte Angewohnheit: Manchmal erfindet er Dinge komplett oder gibt allgemeine Antworten, die nicht ganz zur spezifischen Situation passen. Das ist wie ein Schüler, der ein Lehrbuch auswendig gelernt hat, aber vergessen hat, die spezifischen Details der Hausaufgabenfrage zu prüfen, was zu selbstbewussten, aber falschen Antworten führt.
Um dies zu beheben, entwickelten Entwickler ein System namens RAG (Retrieval-Augmented Generation). Betrachten Sie RAG so, als würden Sie diesem klugen Assistenten einen Bibliotheksausweis und einen Bibliothekar geben.
- Der Bibliothekar (Retrieval): Bevor der Assistent antwortet, sucht der Bibliothekar schnell in der Bibliothek (einer Datenbank von Dokumenten) nach den exakten Seiten, die für die Frage relevant sind.
- Der Assistent (Generation): Der Assistent liest diese Seiten und schreibt dann die Antwort, wobei er die Bücher der Bibliothek als seine Wahrheitsquelle verwendet.
Das Problem:
Selbst mit einem Bibliothekar kann das System dennoch versagen. Der Bibliothekar könnte die falschen Bücher herausholen, oder der Assistent könnte die Bücher ignorieren und trotzdem Dinge erfinden. Die Arbeit erklärt, dass zu prüfen, ob dieses gesamte System gut funktioniert, unglaublich schwierig ist, weil es so viele bewegliche Teile gibt.
Die Lösung: Deepchecks
Die Autoren stellen Deepchecks vor, das wie ein super-strenger Qualitätskontrollinspektor für diese RAG-Systeme fungiert. Anstatt nur eine einzelne „Bestanden/Nicht bestanden"-Note zu geben, zerlegt Deepchecks das System in spezifische „Eigenschaften" zur Prüfung, ähnlich wie ein Automechaniker verschiedene Teile eines Motors überprüft.
So inspiziert Deepchecks das System unter Verwendung einfacher Analogien:
1. Die drei Hauptprüfungen (die „Eigenschaften")
Deepchecks betrachtet drei spezifische Dinge, um sicherzustellen, dass die Antwort gut ist:
- Retrieval-Relevanz (Hat der Bibliothekar die richtigen Bücher gefunden?):
- Analogie: Wenn Sie fragen: „Wie backe ich einen Kuchen?", sollte der Bibliothekar Ihnen kein Buch über „Wie man ein Auto repariert" aushändigen. Deepchecks prüft, ob die heraufgeholten Dokumente tatsächlich für die Frage nützlich sind.
- Verankert im Kontext (Hat der Assistent bei den Büchern geblieben?):
- Analogie: Dies ist der „Halluzinations"-Detektor. Wenn das Buch sagt, der Kuchen brauche 2 Eier, der Assistent aber 10 Eier sagt, fängt Deepchecks diese Lüge auf. Es verifiziert, dass jede Tatsache in der Antwort tatsächlich durch die Dokumente gestützt wird, die der Bibliothekar gefunden hat.
- Vollständigkeit (Hat der Assistent die ganze Frage beantwortet?):
- Analogie: Wenn Sie fragten: „Wie backe ich einen Kuchen und auf welche Temperatur sollte der Ofen eingestellt werden?", sollte die Antwort nicht nur sagen: „Stecken Sie ihn in den Ofen." Deepchecks prüft, ob der Assistent alle Teile Ihrer Anfrage abgedeckt hat.
(Es gibt auch einen Sicherheitscheck, um sicherzustellen, dass der Assistent nicht unhöflich ist, private Informationen preisgibt oder etwas Gefährliches sagt.)
2. Der „holistische" Score (die endgültige Note)
Die meisten Tools geben Ihnen nur eine Liste von Scores für die oben genannten Teile. Deepchecks geht einen Schritt weiter. Es verwendet einen intelligenten „Aggregationsmechanismus" (eine gelernte Formel), um all diese Scores zu einer endgültigen Note zu kombinieren: Positiv, Negativ oder Unbekannt.
- Positiv: Der Bibliothekar hat die richtigen Bücher gefunden, und der Assistent hat perfekt darauf basierend geantwortet.
- Negativ: Etwas ist schiefgelaufen (falsche Bücher, erfundene Fakten oder unvollständige Antwort).
- Unbekannt: Es war nicht schrecklich, aber es hat die hohe Messlatte für „perfekt" nicht ganz erreicht.
3. Die Detektiv-Tools (Root-Cause-Analyse)
Wenn das System eine „Negative"-Note erhält, sagt Deepchecks nicht nur, dass es gescheitert ist; es agiert wie ein Detektiv und sagt Ihnen warum.
- Analogie: Stellen Sie sich vor, ein Auto fällt aus. Ein einfacher Mechaniker sagt: „Es ist kaputt." Deepchecks sagt: „Der Motor ist in Ordnung, aber die Reifen sind platt."
- Dies hilft Entwicklern, genau zu wissen, wo sie das Problem beheben müssen: Brauchen sie einen besseren Bibliothekar (besseres Retrieval)? Oder müssen sie den Assistenten trainieren, besser zuzuhören (bessere Generierung)?
4. Die „Zeitmaschine" (Versionsvergleich und Überwachung)
Deepchecks ermöglicht es Ihnen auch, verschiedene Versionen Ihres Systems nebeneinander zu vergleichen.
- Analogie: Es ist wie der Vergleich der Leistung eines Autos vor und nachdem Sie die Reifen gewechselt haben. Haben die neuen Reifen es schneller gemacht?
- Es überwacht das System auch, während es in der realen Welt läuft. Wenn das System im Laufe der Zeit schlechter wird (vielleicht weil sich die Bibliotheksbücher geändert haben oder sich die Benutzerfragen geändert haben), schlägt Deepchecks sofort Alarm.
Was die Arbeit herausfand
Die Autoren testeten Deepchecks gegen andere beliebte Tools (wie RAGAS und LangSmith) unter Verwendung von:
- Öffentlichen Datensätzen: Standard-Testfragen, die jeder kennt.
- Kundendatensätzen: Realwelt-Beispiele von echten Unternehmen (wie technische Support-Chats und Bewertungen von Jobkandidaten).
Das Ergebnis: Deepchecks war besser darin, Fehler zu erkennen, insbesondere in den Kundendaten aus der realen Welt. Während andere Tools manchmal Fehler übersehen oder inkonsistente Noten vergaben, war Deepchecks genauer darin zu identifizieren, wann das System lügt (halluziniert) oder irrelevante Antworten gibt.
Zusammenfassung:
Deepchecks ist ein umfassendes Toolkit, das sicherstellt, dass Ihr KI-Assistent nicht nur selbstbewusst redet, sondern tatsächlich die Wahrheit sagt, basierend auf den Dokumenten, die Sie ihm gegeben haben. Es prüft den Bibliothekar, prüft den Schreiber, prüft auf Sicherheit und gibt Ihnen einen klaren Zeugnisbericht, damit Sie genau das beheben können, was kaputt ist.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.