Evaluating RAG Metrics in Applied Contexts: An Experiment, Its Findings and Its Limitations
Diese Arbeit präsentiert eine empirische Studie zur Bewertung der Relevanz verschiedener RAG-Metriken aus vier Bibliotheken, indem sie deren Scores im Vergleich zu menschlichen Evaluationen und Standardmetriken auf einem Datensatz für geschäftliche Fragen-Antworten untersucht, während sie gleichzeitig methodische Einschränkungen und zukünftige Forschungsrichtungen diskutiert.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind der Manager eines sehr klugen, aber manchmal verwirrten Bibliothekars namens „RAG“. Die Aufgabe dieses Bibliothekars besteht darin, Ihre Fragen zu beantworten, indem er zuerst zu den Regalen läuft, um die richtigen Buchseiten zu finden (Retrieval), und dann eine zusammenfassende Antwort basierend auf diesen Seiten schreibt (Generation).
Das Problem? Woher wissen Sie, ob Ihr Bibliothekar tatsächlich gute Arbeit leistet? Sie können ihn nicht einfach fragen: „Habe ich das gut gemacht?“, denn er könnte lügen oder übermäßig selbstbewusst sein. Sie brauchen eine Möglichkeit, seine Arbeit zu bewerten.
Dieses Papier ist im Wesentlichen ein Zeugnis für die Bewertungswerkzeuge (Metriken), die wir verwenden, um diesen Bibliothekaren zu bewerten. Der Autor, Quentin Brabant von Orange Research, hat ein kleines Experiment durchgeführt, um zu sehen, welche Bewertungswerkzeuge tatsächlich mit dem übereinstimmen, was menschliche Experten denken.
Hier ist die Aufschlüsselung des Experiments, der Ergebnisse und der Vorbehalte, einfach erklärt:
1. Der Aufbau: Die „Probeklausur“
Das Team erstellte einen Test mit 96 spezifischen Fragen, die auf echten Geschäftsdokumenten basieren (wie Telekommunikationsangeboten und Kundenregeln).
- Die menschlichen Prüfer: Zwei Experten lasen die Fragen und die Antworten des Bibliothekars und gaben ihnen eine Punktzahl von 1 bis 5.
- 5: Perfekte Antwort, richtige Fakten, genau das richtige Maß an Detailtiefe.
- 1: Der Bibliothekar sprach über etwas völlig Unzusammenhängendes.
- Die automatisierten Prüfer: Sie testeten vier populäre „KI-Bewertungssoftware“-Bibliotheken (Ragas, DeepEval, RAGChecker und Opik). Diese Werkzeuge versuchen, automatisch eine Punktzahl zu vergeben, ohne dass ein Mensch jede einzelne Antwort prüfen muss.
2. Das Ziel: Den besten „Maßstab“ finden
Das Ziel war nicht, eine Software-Bibliothek als den ewigen „Gewinner“ zu erklären. Stattdessen wollten sie sehen: „Messen diese automatisierten Maßstäbe tatsächlich das, was die menschlichen Experten messen?“
Wenn ein Computerprogramm sagt, eine Antwort sei „Großartig“ (5/5), ein Mensch aber sagt, sie sei „Schrecklich“ (1/5), dann ist dieses Computerprogramm ein kaputter Maßstab. Das Team suchte nach Korrelation – einem statistischen Handschlag zwischen der Punktzahl des Computers und der Punktzahl des Menschen.
3. Die Ergebnisse: Wer hat die Note richtig gesetzt?
Die Ergebnisse waren eine Mischung aus Überraschungen und Enttäuschungen:
- Die Old-School-Werkzeuge: Überraschenderweise korrelierten einige ältere, einfachere Werkzeuge (wie METEOR) tatsächlich recht gut mit den Menschen.
- Die „No-Reference“-Werkzeuge: Einige Werkzeuge versuchen, Antworten zu bewerten, ohne überhaupt nach dem „korrekten“ Lösungsschlüssel zu schauen. Diese machten im Allgemeinen eine schlechte Arbeit. Es ist, als würde man versuchen, eine Mathearbeit zu bewerten, ohne die richtigen Antworten zu kennen; der Computer rät einfach nur.
- Die große Überraschung (RAGChecker): Ein Werkzeug, RAGChecker, zeigte eine sehr starke Korrelation mit den menschlichen Bewertungen. Tatsächlich war die Korrelation so stark, dass die Autoren misstrauisch wurden.
- Der „Halluzinations“-Check: Werkzeuge, die darauf ausgelegt sind, zu prüfen, ob der Bibliothekar Dinge erfunden hat (Faithfulness/Treue), korrelierten nicht gut mit der Gesamtqualität der Antwort. Das ergibt Sinn, denn ein Bibliothekar kann die Wahrheit sagen, aber dennoch eine langweilige oder irrelevante Antwort geben.
4. Der Haken: Das Problem des „kaputten Maßstabs“
Dies ist der wichtigste Teil des Papiers. Die Autoren weisen auf einen schwerwiegenden Fehler in ihrem eigenen Experiment hin.
Die Analogie: Stellen Sie sich vor, Sie testen ein Thermometer. Sie haben nur ein einziges Zimmer in Ihrem Haus, und die Temperatur in diesem Raum beträgt immer 70°F.
- Sie legen das Thermometer in den Raum. Es zeigt 70°F an.
- Sie legen ein zweites Thermometer hinein. Es zeigt 70°F an.
- Sie schlussfolgern: „Diese Thermometer sind perfekt!“
Die Realität: Sie können nicht feststellen, ob die Thermometer tatsächlich die Temperatur messen oder ob es sich einfach um defekte Geräte handelt, die immer „70“ anzeigen. Weil Sie nur einen einzigen Bibliotheker (einen Raum) getestet haben, können Sie nicht wissen, ob der automatisierte Prüfer tatsächlich die Qualität der Antwort misst oder ob er stattdessen etwas ganz anderes misst, wie zum Beispiel die Schwierigkeit der Frage.
- Beispiel: Wenn eine Frage sehr einfach ist, erhält der Bibliothekar eine hohe Punktzahl. Wenn der automatisierte Prüfer einfach nur „schlau“ darin ist, zu erraten, dass einfache Fragen hohe Punktzahlen erhalten, wird er perfekt mit den Menschen korrelieren. Aber wenn Sie ihm eine schwierige Frage stellen, wird er möglicherweise völlig versagen. Die Autoren vermuten, dass RAGChecker genau das tut – es misst versehentlich die „Frageschwierigkeit“ statt der „Antwortqualität“.
5. Das Fazit: Was kommt als Nächstes?
Das Papier kommt zu dem Schluss, dass diese automatisierten Werkzeuge zwar nützlich sind, um die schlechtesten Optionen herauszufiltern, wir ihnen aber basierend auf dieser Art von Test noch nicht zu 100 % vertrauen können.
Um eine echte, zuverlässige Note zu erhalten, schlagen die Autoren vor, dass wir den Prüfer gegen viele verschiedene Bibliothekare (verschiedene KI-Systeme) und viele verschiedene Arten von Fragen testen müssen. Wenn ein Werkzeug in der Lage ist, konsistent den Unterschied zwischen einem guten und einem schlechten Bibliothekar über das gesamte Spektrum hinweg zu erkennen, dann wissen wir, dass es ein guter Maßstab ist.
Kurz gesagt: Das Papier hat die Maßstäbe getestet, die zur Bewertung von KI-Bibliothekaren verwendet werden. Einige Maßstäbe sahen gut aus, aber da der Test nur einen einzigen Bibliothekar verwendete, warnen die Autoren uns, dass die Maßstäbe möglicherweise nur basierend auf der Leichtigkeit der Fragen raten, anstatt auf der tatsächlichen Qualität der Antworten. Um dies zu beheben, müssen wir die Maßstäbe beim nächsten Mal gegen eine ganze Klasse von verschiedenen Bibliothekaren testen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.