💻 computer science

RAGtio: A Modular Framework for Systematic Evaluation of Hybrid Retrieval-Augmented Generation Pipelines

Dit artikel introduceert RAGtio, een modulair, open-source framework gebouwd op Haystack en Qdrant dat systematische, reproduceerbare evaluatie van hybride RAG-retrieval pipelines in het biomedische domein mogelijk maakt door middel van duale beoordelingsmodi en toegankelijke interfaces voor zowel technische als niet-technische gebruikers.

Oorspronkelijke auteurs: Annamaria Defilippo, Nicola Procopio, Pietro Hiram Guzzi, Pierangelo Veltri, Patrizia Vizza

Gepubliceerd 2026-08-13

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Annamaria Defilippo, Nicola Procopio, Pietro Hiram Guzzi, Pierangelo Veltri, Patrizia Vizza

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een superintelligente robot hebt die essays kan schrijven, vragen kan beantwoorden en verhalen kan vertellen. Het is als een briljante student die bijna elk boek ter wereld heeft gelezen. Maar er is een addertje onder het gras: deze robot is een beetje vergeetachtig over recent nieuws, en soms, wanneer hij het antwoord niet weet, verzint hij gewoon iets om zelfverzekerd te klinken. Dit is een probleem als je de waarheid nodig hebt, vooral in serieuze omgevingen zoals ziekenhuizen of onderzoekslaboratoria. Om dit op te lossen, hebben wetenschappers een truc uitgevonden genaamd "Retrieval-Augmented Generation" (of kortweg RAG). Denk aan het geven van een rugzak vol specifieke tekstboeken aan de robot. Wanneer je een vraag stelt, vertrouwt de robot niet alleen op zijn geheugen; hij opent eerst de rugzak, vindt de juiste pagina's, leest ze en geeft dan pas antwoord. Dit maakt de robot veel betrouwbaarder. Maar hier komt het lastige deel bij: hoe weet je of de robot ook daadwerkelijk de juiste pagina's vindt? Als de rugzak een rommeltje is, of als de robot naar de verkeerde trefwoorden zoekt, kan hij de verkeerde pagina pakken en je een foutief antwoord geven. Wetenschappers hebben een manier nodig om te testen of het "zoekmachine"-gedeelte van de robot perfect werkt voordat ze hem aan patiënten of onderzoekers laten praten.

Dit is precies waar het artikel "RAGtio" over gaat. De auteurs, een team van universiteiten uit Italië, hebben een nieuwe, open-source tool genaamd RAGtio gebouwd om als een rigoureuze "proefrit" te dienen voor deze robotzoekmachines. Ze realiseerden zich dat hoewel veel mensen deze RAG-systemen bouwen voor de geneeskunde en biologie, ze vaak de moeilijke kant overslaan: systematisch controleren of de zoekopdracht daadwerkelijk goed is. RAGtio is een modulair framework, wat je kunt zien als een enorme, aanpasbare Lego-set voor het testen. In plaats van elke keer een nieuwe test te bouwen, kunnen onderzoekers verschillende "zoekstrategieën" insteken (zoals zoeken naar exacte woorden versus zoeken naar betekenis) en zien welke het beste werkt op hun specifieke stapel documenten.

De tool is slim omdat het twee verschillende manieren biedt om het systeem te testen. De eerste manier, genaamd Modus A, is als een "speedrun". Het systeem gebruikt een slimme AI om automatisch duizenden vragen te verzinnen op basis van de documenten die het heeft, en controleert vervolgens of de zoekmachine de antwoorden kan vinden. Het is snel en ideaal om te zien hoe het systeem met een enorme hoeveelheid gegevens omgaat. De tweede manier, Modus B, is de "expertcontrole". Hier schrijft een menselijke specialist echte, lastige vragen en markeert exact welke pagina's de antwoorden bevatten. Dit is moeilijker te doen, maar geeft een veel eerlijker beeld van hoe het systeem zou presteren in de echte wereld, waar vragen op manieren gesteld kunnen worden die de documenten nooit hebben gebruikt.

De onderzoekers hebben RAGtio getest op vier verschillende medische onderwerpen: kanker (oncologie), diabetes, medicijnen (farmacologie) en infectieziekten. Ze probeerden vier verschillende zoekmethoden uit: zoeken naar exacte woordovereenkomsten, zoeken naar vergelijkbare betekenissen, een mix van beide, en een mix waarbij een tweede mening van een "re-ranker" wordt gevraagd om de resultaten te verfijnen. Hun bevindingen suggereren dat de "hybride" aanpak — het combineren van exacte woordovereenkomst met betekenisgebaseerd zoeken, en vervolgens de topresultaten een snelle tweede blik te geven — meestal de sterkste presteerder is. In hun tests vond deze methode consequent de juiste informatie vroeg in de lijst met resultaten. Bijvoorbeeld, in hun kankeronderzoeken vond het systeem het juiste antwoord in de top 5 van de resultaten in ongeveer 73% van de gevallen bij de geautomatiseerde tests, en zelfs nog beter bij controle door menselijke experts.

De paper is echter voorzichtig met de bewering dat dit een wondermiddel is dat alles oplost. De auteurs wijzen erop dat hun tests zijn uitgevoerd op een relatief klein aantal documenten (ongeveer 20 papers verdeeld over de vier onderwerpen) en dat de menselijke experts die de antwoorden controleerden slechts één persoon waren, en geen heel team. Ze merken ook op dat hoewel de hybride methode goed werkte in hun specifieke opstelling, de tool zo is ontworpen dat gebruikers de zoekmachines kunnen vervangen om te zien wat het beste werkt voor hun eigen specifieke bibliotheek aan documenten. De belangrijkste boodschap is niet dat ze de enkele "beste" zoekmachine voor de hele wereld hebben gevonden, maar dat ze een transparante, gebruiksvriendelijke werkplaats hebben gebouwd waar iedereen zijn eigen zoekmachines kan testen en vergelijken zonder een programmeerwizard te hoeven zijn. Door deze tool open en gratis beschikbaar te stellen, hopen ze artsen en onderzoekers te helpen bij het bouwen van meer betrouwbare AI-assistenten die niet alleen slim klinken, maar ook daadwerkelijk de feiten juist weergeven.

Technische Samenvatting: RAGtio

Probleemstelling

Hoewel Retrieval-Augmented Generation (RAG)-systemen steeds vaker worden toegepast in de biomedische sector om de beperkingen van Large Language Models (LLM's), zoals hallucinaties en verouderde kennis, te mitigeren, blijft de evaluatie van hun retrieval-componenten niet-gestandaardiseerd. De bestaande literatuur richt zich voornamelijk op end-to-end vraag-antwoordnauwkeurigheid (QA), wat het moeilijk maakt om de specifieke bijdrage van de retrieval-fase te isoleren. Bovendien worden retrieval-specifieke metrieken vaak inconsistent toegepast en worden evaluatie-pipelines frequent op een ad hoc basis geïmplementeerd. Dit gebrek aan systematische, reproduceerbare evaluatietools belemmert het vermogen van niet-technische gebruikers (bijv. clinici en domeinonderzoekers) om de kwaliteit van de retrieval rigoureus te beoordelen, met name met betrekking tot de "zelfverwijzende bias" waarbij synthetische queries de prestatiecijfers kunstmatig kunnen opblazen.

Methodologie

Het artikel presenteert RAGtio, een modulair, open-source framework ontworpen voor de systematische evaluatie van hybride RAG-retrieval pipelines. Het systeem is gebouwd op de Haystack-bibliotheek en maakt gebruik van Qdrant als vector database, gedeployed via Docker Compose om reproduceerbaarheid te garanderen.

Systeemarchitectuur

Het framework orkestreert vijf afzonderlijke stadia:

Document Ingestie: Ondersteunt heterogene formaten (PDF, DOCX, CSV, JSON, etc.) en verwerkt deze via een Document Cleaner en een configureerbare Document Splitter (met ondersteuning voor karakter-, recursieve en paragraaf-gebaseerde chunking).
Indexing: Genereert zowel dichte (dense) embeddings (via FastEmbed ONNX-compatibele sentence-transformers) als ijle (sparse) representaties (via BM25). Deze worden opgeslagen in Qdrant met cosine similarity indexing.
Retrieval: Implementeert vier schakelbare configuraties die selecteerbaar zijn via YAML zonder codewijzigingen:
- Sparse: BM25 lexicale retrieval.
- Dense: Semantische retrieval met behulp van sentence-transformer embeddings.
- Hybrid: Een gewogen Reciprocal Rank Fusion (RRF) van sparse en dense resultaten ( $w_{dense}=0.7, w_{sparse}=0.3$ ).
- Hybrid met Re-ranking: De hybride output wordt verder verfijnd door een cross-encoder re-ranker.
Antwoordgeneratie: Stelt prompts samen voor LLM's (ondersteuning voor lokale Ollama-inferentie of OpenAI-compatibele API's) met behulp van de opgehaalde chunks, met instructies om getrouw te blijven aan de context.
Evaluatie: Beoordeelt de kwaliteit van de retrieval met behulp van vier standaard Information Retrieval (IR) metrieken: Recall@K, Hit Rate@K, Mean Reciprocal Rank (MRR) en nDCG@K.

Dubbele Evaluatiemodi

Een kernbijdrage aan de methodologie is de implementatie van twee complementaire evaluatiemodi om bias aan te pakken:

Modus A (Synthetisch): Genereert automatisch queries uit willekeurig gesamplede document-chunks met behulp van een LLM. Dit maakt snelle, grootschalige beoordeling mogelijk, maar is gevoelig voor zelfverwijzende bias.
Modus B (Handmatig): Accepteert door gebruikers verstrekte query-relevantie paren die zijn gecureerd door domeinexperts. Dit levert een onbevoordeelde schatting op van de kwaliteit van de retrieval bij werkelijk nieuwe queries, waardoor de bias die inherent is aan Modus A wordt gemitigeerd.

Belangrijkste Bijdragen

Modulair Framework: Een domein-agnostisch platform dat ingestie, indexing, retrieval, generatie en retrieval-gerichte evaluatie omvat, onderscheidend van eerder werk dat evaluatie vaak koppelt aan specifieke corpora of taken.
Configureerbare Retrieval Strategieën: De mogelijkheid om sparse, dense, hybride en re-ranked hybride strategieën te vergelijken binnen een enkele, gecontroleerde omgeving met identieke indices en query-sets.
Complementair Evaluatieprotocol: De introductie van Modus A en Modus B stelt gebruikers in staat om de gevoeligheid van de retrieval-prestaties voor query-generatie bias te onderzoeken, een kritieke factor in gespecialiseerde domeinen zoals de biomedische wetenschap.
Operationele Toegankelijkheid: In tegenstelling tot veel onderzoeksprototypes wordt RAGtio geleverd als een volledig gecontaineriseerde, deploybare software suite met een YAML-gebaseerde configuratie-interface en een web-gebaseerde GUI. Dit stelt niet-technische gebruikers in staat om evaluaties uit te voeren, resultaten te inspecteren en relevantie-oordelen te cureren zonder programmeerkennis.

Resultaten

Het framework werd geëvalueerd over vier biomedische domeinen: Oncologie, Diabetes, Farmacologie en Infectieziekten.

Kwantitatieve Prestaties: Met de hybride configuratie inclusief cross-encoder re-ranking toonde het systeem een consistente effectiviteit. In Modus A (synthetisch) behaalde het domein Oncologie een MRR van 0,657 en een Recall@10 van 0,732. Farmacologie vertoonde de sterkste prestaties met een MRR van 0,778.
Inzichten uit Modus B: Handmatige evaluatie (Modus B) toonde aan dat hoewel het systeem effectief ten minste één relevante passage direct naar boven haalt (Hit Rate@1 van 0,800 in Oncologie), de recall-metrieken lager waren. De auteurs schrijven dit toe aan de aard van Modus B, waarbij door experts geannoteerde queries vaak een bredere set relevante chunks hebben dan synthetische queries, waardoor volledige dekking binnen een beperkt top-K venster moeilijker is.
Interactieve Q&A: In kwalitatieve tests produceerden queries geassocieerd met hoge re-ranker betrouwbaarheidsscores over het algemeen correcte antwoorden. De studie merkt echter op dat een hoge retrieval-betrouwbaarheid geen perfecte antwoorden garandeert, en omgekeeld kan de LLM soms compenseren voor matig ruisige retrieval als de hoogst gerangschikte passage zeer relevant is.

Betekenis en Claims

Het artikel positioneert RAGtio niet als een nieuw retrieval-algoritme, maar als een systematische evaluatie-infrastructuur. De primaire betekenis ligt in het overbruggen van de kloof tussen methodologische strengheid en praktische toegankelijkheid.

Reproduceerbaarheid: Door een gecontaineriseerde, configuratiegestuurde workflow te bieden, stelt het framework onderzoekers in staat om retrieval-experimenten te reproduceren zonder complexe pipelines opnieuw op te bouren.
Bias Mitigatie: Het dual-mode evaluatieprotocol adresseert expliciet de "zelfverwijzende bias" die gebruikelijk is in RAG-studies, en biedt een realistischere beoordeling van de kwaliteit van de retrieval door middel van door experts gecureerde benchmarks.
Bruikbaarheid: De webinterface verlaagt de drempel voor domeinexperts, waardoor zij RAG-systemen op hun eigen corpora kunnen valideren zonder softwareontwikkelingsvaardigheden.

De auteurs erkennen bescheiden de beperkingen, waaronder de kleine schaal van handmatige annotaties (enkele annotator), de focus op een enkel embedding-model in de casestudy, en het exclusieve gebruik van de hybride configuratie voor de hoofd-evaluatie. Zij kaderen hun werk als een fundamentele stap naar een transparanter en gestandaardiseerd RAG-evaluatieproces, met name in gespecialiseerde velden zoals de biomedische wetenschappen.