Evaluating RAG Metrics in Applied Contexts: An Experiment, Its Findings and Its Limitations

Technische Samenvatting: Evaluatie van RAG-metrieken in toegepaste contexten

Probleemstelling
Het evalueren van Retrieval Augmented Generation (RAG)-systemen blijft een aanzienlijke uitdaging, met name wanneer automatische metrieken de menselijke beoordeling moeten benaderen. Hoewel "LLM-as-a-judge"-metrieken steeds populairder worden en vaak superieur lijken aan klassieke metrieken zoals BLEU, is hun relevantie voor specifieke datasets vooraf moeilijk te voorspellen. Evaluatiecriteria variëren breed (bijv. feitelijkheid, relevantie, volledigheid), en zonder empirische validatie is het onduidelijk of een specifieke metriek een betrouwbare benadering biedt van het gewenste criterium of een betrouwbare vergelijking tussen verschillende systeemiteraties mogelijk maakt.

Methodologie
De auteurs hebben een empirische studie uitgevoerd om de relevantie van RAG-metrieken uit vier bibliotheken te evalueren: Ragas, DeepEval, RAGChecker en Opik. De studie maakte gebruik van een eigen dataset van 96 vraag-antwoordparen afgeleid van Franse zakelijke documenten binnen de telecommunicatiesector.

• Dataconstructie: Annotatoren (werknemers van het bedrijf) creëerden vragen, referentieantwoorden en referentie-spans (fragmenten uit documenten die de noodzakelijke informatie bevatten) uit een corpus van 479 documenten. De dataset bevat diverse vraagtypen (boolean, conditioneel, "hoe", etc.) en spans van variërende lengtes (1 tot 202 woorden).
• Systeemconfiguratie: Er werd een RAG-systeem ingezet dat gebruikmaakt van een hybride retriever (dense + BM25) om de top 5 spans op te halen, die vervolgens aan een GPT-3.5 generator werden gevoed om antwoorden te genereren.
• Evaluatieprotocol:
  • Referentiescores: Twee expert-evaluatoren beoordeelden de gegenereerde antwoorden van het systeem op een schaal van 1–5 op basis van een rubric die feitelijkheid en relevantie mat. De Pearson-correlatie tussen de twee evaluatoren was 0,85, wat de betrouwbaarheid van de menselijke baseline vaststelde.
  • Vergelijking van metrieken: De studie berekende de Pearson-correlaties tussen:
    1. Algemene metrieken (uit de vier bibliotheken) en de gemiddelde menselijke referentiescores.
    2. Retrieval-metrieken en een word-level recall score (gebruikt als referentie voor retrieval-prestaties).
    3. Retrieval-metrieken en de menselijke referentiescores (gebaseerd op de premisse dat betere retrieval correleert met betere antwoorden).
  • Omvang: De studie richtte zich op één enkel RAG-systeem om de voordelen en beperkingen van de methodologie te testen, in plaats van om de bibliotheken definitief tegen elkaar af te zetten.

Belangrijkste bevindingen

• Algemene metrieken: Traditionele metrieken zoals METEOR vertoonden verrassend sterke correlaties met menselijke scores. Daarentegen vertoonden generatie-metrieken (bijv. faithfulness/hallucinatie-scores) en de moderatie-metriek van Opik zwakke correlaties met menselijke evaluaties, waarschijnlijk omdat ze geen toegang hebben tot referentieantwoorden. De metrieken van RAGChecker, met name recall, vertoonden zeer sterke correlaties.
• Retrieval-metrieken: Hoewel de betrouwbaarheidsintervallen breed waren vanwege de kleine steekproefomvang (N=96), bereikte de contextual precision van DeepEval een correlatie van boven de 0,5 met recall zonder gebruik van referentie-spans. In contrast hiermee vertoonden de non-LLM metrieken van Ragas zeer zwakke correlaties, mogelijk door het gebruik van Levenshtein-afstand op spans van zeer variabele grootte.
• De "verrassende" correlatie: Verschillende metrieken, met name de "claim recall" van RAGChecker, vertoonden correlaties met menselijke scores (naderend aan 0,7) die sterker waren dan hun correlatie met de retrieval recall-metriek zelf.

Beperkingen en Interpretatie
De auteurs wijzen expliciet op een cruciale beperking met betrekking tot de interpretatie van correlaties. Omdat de studie slechts één RAG-systeem evalueerde, is het onmogelijk om te ontwarren of een hoge correlatie van een metriek met menselijke scores komt door het vermogen om de kwaliteit van retrieval/generatie te meten, of door de gevoeligheid voor inputkenmerken (bijv. de moeilijkheidsgraad van de vraag).

• Illustratief voorbeeld: Een metriek die simpelweg scoort op basis van de moeilijkheidsgraad van de vraag, zou een hoge correlatie met menselijke scores vertonen (omdat makkelijke vragen betere antwoorden opleveren), maar zou nutteloos zijn voor het vergelijken van systeemprestaties.
• Specifieke observatie: De hoge correlatie van de "claim recall" van RAGChecker met menselijke scores kan deels een reflectie zijn van de eenvoud van het extraheren van informatie uit de retrieved spans of de moeilijkheidsgraad van de vraag, in plaats van pure retrieval-kwaliteit.
• Bruikbaarheid: Ondanks dit slaagde de methodologie erin om metrieken met zwakke correlaties te identificeren, waardoor ze effectief konden worden geëlimineerd als kandidaten voor het specifieke evaluatiecriterium.

Betekenis en Toekomstige Richtingen
Het artikel concludeert dat de primaire bijdrage ligt in de toepassing van een methodologie om de betrouwbaarheid van metrieken te testen, in plaats van een definitieve rangschikking van bibliotheken. De auteurs stemmen hun bevindingen af met recente literatuur die suggereert dat correlatiestudies die betrekking hebben op een enkel systeem methodologisch beperkt zijn.

Het artikel pleit voor toekomstig onderzoek en praktijk waarbij meerdere RAG-systemen in correlatiestudies worden geïntegreerd. Door de outputs van systemen te variëren, kunnen onderzoekers het gedrag van de metriek beter isoleren van de inputkenmerken, waardoor verstorende factoren worden verminderd en de statistische kracht om tussen metrieken te differentiëren wordt vergroot. De auteurs suggereren dat het ontwikkelen van procedures om het aantal benodigde systemen en vragen voor dergelijke studies te optimaliseren, beoefenaars zal helpen om evaluatiemetrieken betrouwbaarder te valideren terwijl de kosten voor annotatie worden geminimaliseerd.