AccurateRAG: A Framework for Building Accurate Retrieval-Augmented Question-Answering Applications

Dit paper introduceert AccurateRAG, een nieuw framework dat een efficiënte ontwikkelingspijplijn biedt voor het bouwen van nauwkeurige retrieval-augmented generation (RAG)-toepassingen en nieuwe state-of-the-art resultaten bereikt op benchmark datasets.

De kern

Stel je voor dat je een zeer slimme, maar soms wat vergetelijke assistent hebt. Deze assistent (een AI) heeft in zijn jeugd een enorme hoeveelheid boeken gelezen en kan daardoor over van alles praten. Maar er is een probleem: hij weet niets over de wereld van na zijn laatste boek, en hij heeft geen toegang tot de geheime dossiers van jouw bedrijf. Als je hem iets vraagt over een specifiek document, verzint hij vaak een antwoord dat klinkt alsof het waar is, maar dat eigenlijk niet klopt. Dit noemen we "hallucineren".

AccurateRAG is een slimme "werkplaats" of een bouwset die ontwikkelaars helpt om deze vergetelijke assistent te transformeren in een perfecte, betrouwbare expert. Het is geen enkel nieuw brein, maar een complete toolkit om een systeem te bouwen dat eerst gaat zoeken in je eigen documenten en daarna pas antwoordt.

Hier is hoe AccurateRAG werkt, vertaald naar alledaagse beelden:

1. De "Boekbinder" (De Preprocessor)

Stel je voor dat je een stapel oude, ingewikkelde PDF-dossiers hebt. Als je die gewoon in een computer gooit, ziet de AI alleen een rommelige muur van tekst. De lijnen en tabellen zijn verdwenen.

De Preprocessor in AccurateRAG is als een super-georganiseerde boekbinder. Hij neemt die rommelige PDF's, haalt de tekst eruit, maar houdt ook de structuur vast. Hij zorgt dat tabellen er nog steeds uitzien als tabellen en koppen als koppen. Hij snijdt de documenten in logische stukken (zoals hoofdstukken in een boek), zodat de AI niet door de hele zee van tekst hoeft te zwemmen, maar precies het juiste stukje kan pakken.

2. De "Oefenmeester" (De Fine-tuning Data Generator)

Nu hebben we de stukjes tekst, maar de AI moet nog leren hoe hij vragen moet stellen en beantwoorden op basis van deze specifieke stukjes.

De Oefenmeester is als een creatieve leraar die voor elke stukje tekst automatisch een oefentoets maakt. Hij bedenkt simpele vragen ("Wat staat er in paragraaf 1?") en moeilijke vragen ("Wat is het verband tussen tabel 2 en de conclusie?"). Hij controleert ook of de antwoorden kloppen. Hierdoor krijgt de AI duizenden oefeningen om te studeren, specifiek gericht op jouw documenten, zodat hij er een expert in wordt.

3. De "Bibliothecaris" (De Retriever)

Wanneer je een vraag stelt aan het systeem, moet er iemand snel het juiste document vinden.

De Retriever is de slimme bibliothecaris. Hij heeft twee manieren om te zoeken:

• De Woordenzoeker: Hij kijkt naar exacte woorden (zoals een traditionele zoekmachine).
• De Begripzoeker: Hij begrijpt de bedoeling van je vraag, zelfs als je andere woorden gebruikt dan in het document staan.

AccurateRAG laat deze twee methoden samenwerken. De bibliothecaris zoekt in de hele bibliotheek, rangschikt de resultaten en kiest de beste stukken tekst uit om aan de AI te geven.

4. De "Schrijver" (De Answer Generator)

Tot slot heb je de Schrijver. Dit is de AI die het daadwerkelijke antwoord formuleert.

Maar deze schrijver is niet zomaar een schrijver; hij is getraind met de oefeningen van de Oefenmeester en krijgt van de Bibliothecaris precies de juiste bronnen mee. Hij leest de bronnen, denkt na, en schrijft een antwoord dat gebaseerd is op feiten, niet op verzinsels. Als hij twijfelt, kan het systeem zelfs een "rechter" (een andere AI) inschakelen om te controleren of het antwoord klopt.

Waarom is dit zo speciaal?

Vroeger moesten ontwikkelaars al deze onderdelen zelf bouwen: de boekbinder, de leraar, de bibliothecaris en de schrijver. Dat was als proberen een auto te bouwen door eerst de wielen, de motor en het chassis zelf te smeden.

AccurateRAG is als een alles-in-één garage. Je sleept je eigen documenten binnen, en de garage biedt je alle gereedschappen om:

1. Je documenten op te schonen.
2. Je eigen "trainingsmateriaal" te maken.
3. Je eigen bibliothecaris te trainen.
4. Je eigen schrijver te perfectioneren.

Het resultaat? Een systeem dat niet alleen slim is, maar ook nauwkeurig. In tests bleek dit systeem veel beter te presteren dan eerdere systemen, vooral op moeilijke vragen over financiële rapporten en medische artikelen. Het is alsof je van een willekeurige toerist een gids maakt die elke steen van de stad kent en je nooit de verkeerde weg wijst.

Kortom: AccurateRAG maakt het voor iedereen mogelijk om een eigen, superbetrouwbare AI-expert te bouwen die precies weet wat er in jouw eigen documenten staat.

Technische samenvatting

Probleemstelling

Hoewel krachtige vooraf getrainde Large Language Models (LLMs) veel toepassingen mogelijk hebben gemaakt, hebben ze beperkingen bij het beantwoorden van domeinspecifieke vragen, actuele informatie of eigendomskennis die niet in hun trainingsdata voorkomt. Bestaande Retrieval-Augmented Generation (RAG) benaderingen focussen vaak op specifieke methoden of algoritmen, maar missen vaak een comprehensive framework dat ontwikkelaars in staat stelt om een volledig end-to-end systeem te bouwen. Bestaande oplossingen bieden vaak geen modulaire componenten voor essentiële taken zoals document preprocessing (met behoud van structuur) of het genereren van fine-tuning data.

Methodologie: Het AccurateRAG Framework

AccurateRAG is een nieuw framework dat ontwikkelaars helpt om hoogpresterende RAG-toepassingen lokaal te bouwen. Het framework bestaat uit een pipeline met vier hoofdcomponenten:

1. Preprocessor:

   • Doel: Het converteren van diverse documentformaten (zoals PDF en DOCX) naar leesbare tekst of Markdown.
   • Innovatie: In tegenstelling tot veel systemen die alleen platte tekst genereren, behoudt deze component de structurele inhoud (koppen, tabellen).
   • Techniek: Het gebruikt een hybride aanpak. Eerst wordt het document met de Unstructured-tool naar HTML geconverteerd en vervolgens met een regelgebaseerde methode naar Markdown om tabellenstructuur te behouden. Om fouten door imperfecte OCR te minimaliseren, wordt ook LlamaParse (via LlamaIndex) gebruikt voor hogere tekstkwaliteit. De outputs worden gecombineerd.
   • Chunking: De data wordt opgedeeld in contextuele chunks die een logische eenheid vormen (niet noodzakelijk van gelijke lengte). Er wordt een kleine overlap toegevoegd met voorafgaande en volgende chunks om continuïteit te waarborgen voor multi-hop redenering.

2. Fine-tuning Data Generator:

   • Doel: Het automatisch genereren van synthetische data voor het fine-tunen van zowel de embedding-modellen (Retriever) als de LLM (Answer Generator).
   • Techniek: Een vooraf getrainde LLM wordt geprompt om vraag-antwoordparen te genereren uit de context-chunks. Er worden zowel eenvoudige als complexe vragen gegenereerd.
   • Validatie: Een tweede prompt-stap laat de LLM het antwoord genereren op basis van de context. Vragen zonder geldig antwoord worden verwijderd om de kwaliteit van de trainingsdata te garanderen.
   • Output:
     • (context, vraag) paren voor het fine-tunen van de embedding-modellen.
     • (context, vraag, antwoord) triplets voor het fine-tunen van de antwoordgenerator.

3. Retriever:

   • Bestaat uit drie modules:
     • Semantische Zoekopdracht: Gebruikt een met contrastief leren (met harde en in-batch negatieve voorbeelden) gefinetunneerde BERT-gebaseerde embedding-modellen (bijv. BGE-large) om de meest relevante contexten te vinden op basis van cosine-afstand.
     • Conventionele Zoekopdracht: Gebruikt het traditionele BM25-algoritme voor term-frequentie gebaseerde zoekopdrachten.
     • Retrieval Evaluatie: Evalueert verschillende strategieën (alleen semantisch, alleen conventioneel, of hybride via reciprocal rank fusion) op een validatieset om de beste strategie te selecteren.

4. Answer Generator:

   • Answer Synthesis: Fine-tunt een LLM (bijv. GLM-4 of Llama-3) met LoRA op "uitgebreide" contexten. Deze uitgebreide context wordt gevormd door de originele context te combineren met de top-N-1 meest relevante contexten gevonden door de Retriever.
   • Answer Evaluation: Gebruikt een vooraf getrainde LLM (standaard Llama-3.1-8B-Instruct) als "judge" om de feitelijke nauwkeurigheid van het gegenereerde antwoord te beoordelen ten opzichte van de grondwaarheid.

5. Gebruikersinterface (UI):

   • Het framework biedt een intuïtieve UI die ontwikkelaars toelaat om data te uploaden, modellen te selecteren, hyperparameters in te stellen en het fine-tuningproces te starten zonder command line-vaardigheden.

Belangrijkste Bijdragen

• End-to-End Framework: Het is een van de eerste frameworks dat niet alleen een RAG-methode presenteert, maar een volledige toolset biedt voor data-preprocessing, synthetische data-generatie, model-finetuning en evaluatie.
• Structuurbehoud: De innovatieve preprocessing-pipeline behoudt de layout en structuur van documenten (zoals tabellen) in Markdown, wat cruciaal is voor nauwkeurige informatie-extractie.
• Synthetische Data Generatie: De methode om automatisch hoogwaardige trainingsdata te genereren voor zowel retrievers als generators, waardoor modellen beter kunnen worden aangepast aan specifieke domeinen.
• Lokale Implementatie: Het framework is ontworpen om lokaal te draaien, wat privacy en controle over eigendomsdata waarborgt.

Resultaten

Het framework werd getest op diverse benchmarks en presteerde beter dan bestaande state-of-the-art (SOTA) systemen:

• FinanceBench: Op dit domeinspecifieke benchmark (financiële rapporten) bereikte AccurateRAG 42% nauwkeurigheid, vergeleken met 19% voor een baseline met GPT-4-Turbo en 38,7% voor AccurateRAG zonder fine-tuning van de embedding. Dit toont het belang van zowel de preprocessing als het fine-tunen van de embedding-modellen.
• Algemene Benchmarks (HotpotQA, PubMedQA, APIBench):
  • AccurateRAG behaalde nieuwe SOTA-resultaten op alle geteste datasets.
  • Op HotpotQA scoorde het 48,71% (tegenover 35,30% voor RankRAG en 35,28% voor RAFT).
  • Op PubMedQA behaalde het 82,4% (tegenover 65,0% voor RankRAG).
  • Zelfs wanneer AccurateRAG werd vergeleken met RAFT (dat Chain-of-Thought van GPT-4 gebruikt) en een vergelijkbare LLM (Llama-2-7B) gebruikte, overtrof AccurateRAG RAFT significant (bijv. +10% op HuggingFace en +20% op HotpotQA).

Betekenis en Toekomstperspectief

AccurateRAG demonstreert dat een zorgvuldig ontworpen pipeline, die begint bij het behoud van documentstructuur en eindigt bij het fine-tunen van zowel de retriever als de generator met synthetische data, aanzienlijk betere resultaten oplevert dan het puur afstemmen van de LLM of het gebruik van standaard RAG-pipelines.

Beperkingen en Toekomstig Werk:

• De huidige evaluatie van antwoorden door een 8B-model kan leiden tot onnauwkeurige zelfverzekerdheid (confidence calibration). Toekomstig werk zal kalibratie-technieken en menselijke supervisie ("human-in-the-loop") integreren.
• Verdere verbetering van de answer synthesis door het gebruik van geavanceerde LoRA-adapters.

Kortom, AccurateRAG biedt een robuust, modulair en effectief raamwerk voor het bouwen van nauwkeurige, domeinspecifieke RAG-toepassingen die de huidige grenzen van de technologie verleggen.