Evaluating Retrieval Accuracy and Latency for Enterprise RAG Systems on FiQA
Deze studie evalueert de ophaalnauwkeurigheid en latentie van TF-IDF, BM25, een gekwantiseerde MiniLM dense retriever, en hun reciprocal rank fusion op de FiQA-benchmark, waarbij wordt vastgesteld dat hoewel het dense model de sparse methoden aanzienlijk overtreft, de fusie-aanpak slechts een marginale en statistisch insignificante verbetering oplevert ten opzichte van MiniLM alleen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de moderne wereld van kunstmatige intelligentie is een veelvoorkomende uitdaging het helpen van een computer om vragen te beantwoorden met behulp van een enorme bibliotheek aan documenten die hij nog nooit eerder heeft gezien. Stel je een systeem voor dat een miljoen pagina's tekst kan lezen en er vervolgens met je over kan discussiëren. Om dit goed te laten werken, heeft het systeem een bibliothecaris nodig die de juiste pagina's direct kan vinden. Als de bibliothecaris de verkeerde pagina's brengt, zal de computer een foutief antwoord geven. Als de bibliothecaris te lang doet over het vinden van de juiste pagina's, stokt het gesprek en wordt het nutteloos. Deze balans tussen het snel vinden van de juiste informatie en het nauwkeurig vinden van de juiste informatie is het centrale probleem waarmee onderzoekers worden geconfronteerd bij het bouwen van deze intelligente systemen. Ze moeten beslissen hoe ze door de bibliotheek zoeken: moeten ze zoeken naar exacte woordovereenkomsten, zoals een traditionele index, of moeten ze zoeken naar de algemene betekenis van de woorden, zoals een mens de context begrijpt?
Een recente studie zette zich af om deze verschillende zoekmethoden te testen op een specifieke collectie vragen en antwoorden van financiële forums. De onderzoekers wilden zien welke aanpak het beste werkte voor een enterprise-systeem, waarbij snelheid en nauwkeurigheid beide cruciaal zijn. Ze vergeleken vier verschillende manieren van zoeken. De eerste twee methoden vertrouwden op het direct matchen van woorden. De ene was een basis telling van hoe vaak woorden voorkwamen, terwijl de andere een verfijndere versie was die begreep hoe gebruikelijk of zeldzaam een woord was binnen de gehele collectie. De derde methode maakte gebruik van een moderne techniek die elke vraag en elk document omzette in een wiskundige representatie van de betekenis, waardoor het systeem antwoorden kon vinden zelfs als de woorden anders waren. De vierde methode was een hybride aanpak die probeerde de resultaten van de woord-matchende zoekopdracht en de betekenis-gebaseerde zoekopdracht te combineren om het beste van beide werelden te krijgen.
Het team heeft deze vier methoden getest tegen een standaard testset die bijna zestig duizend documenten en zes honderd achtenveertig vragen bevatte. Ze maten twee zaken: hoe vaak het juiste antwoord dicht bij de bovenkant van de lijst verscheen, en hoe lang de computer erover deed om die lijst te produceren. De resultaten toonden een duidelijke afruil. De methode die puur vertrouwde op het matchen van woorden was de snelste, waarbij een relevant document in de top vijf resultaten werd gevonden in ongeveer veertig procent van de gevallen, maar dit gebeurde in minder dan zes milliseconden. De methode die de betekenis begreep, was aanzienlijk nauwkeuriger, waarbij een relevant document in de top vijf resultaten werd gevonden in ongeveer vierenvijftig procent van de gevallen, maar het duurde bijna achttien milliseconden om te draaien. Deze tragere snelheid komt doordat de computer de vraag moest vertalen naar zijn complexe wiskundige vorm voordat hij kon zoeken.
Toen de onderzoekers de twee methoden combineerden, in de hoop de hoge nauwkeurigheid van de betekenis-gebaseerde zoekopdracht te verkrijgen met de snelheid van de woord-matchende zoekopdracht, waren de resultaten verrassend. De gecombineerde methode werd niet significant nauwkeuriger dan de betekenis-gebaseerde zoekopdracht alleen. Sterker nog, de verbetering in nauwkeurigheid was zo klein dat deze gemakkelijk aan toeval zou kunnen worden toegeschreven. De gecombineerde methode duurde echter wel langer, waarbij bijna vierentwintig milliseconden nodig waren om een zoekopdracht te voltooien. Dit kwam doordat het systeem beide zoekopdrachten afzonderlijk moest uitvoeren en vervolgens de lijsten moest samenvoegen, wat effectief de verdubbeling van het werk betekende voor een nauwelijks meetbare winst. De studie vond ook dat de twee methoden vaak verschillende juiste antwoorden vonden. De woord-matchende zoekopdracht vond relevante documenten die de betekenis-gebaseerde zoekopdracht miste, en vice versa. Hoewel dit aantoonde dat de twee methoden elkaar aanvulden, slaagde de eenvoudige manier waarop ze werden gecombineerd er niet in om de beste antwoorden uit beide lijsten succesvol in de uiteindelijke top vijf te houden.
De onderzoekers benadrukten dat deze bevindingen specifiek van toepassing zijn op de snelheid van de zoekopdracht zelf, en niet op het uiteindelijke antwoord dat de computer genereert. Een snelle zoekopdracht die het juiste document vindt, is slechts de helft van de strijd; de computer moet dat document nog steeds lezen en een goed antwoord schrijven. De studie merkte ook op dat de testgegevens afkomstig waren van publieke financiële forums, wat de complexe, beperkte documenten binnen een echt bedrijf mogelijk niet perfect representeert. Bovendien was de computer die voor de test werd gebruikt een standaard processor, geen gespecialiseerde hogesnelheidsmachine, dus de gemeten tijden weerspiegelen een specifieke opstelling in plaats van een universele limiet.
Uiteindelijk suggereert het werk dat voor een systeem dat zowel snel als nauwkeurig moet zijn, het simpelweg toevoegen van een tweede zoekmethode niet automatisch het resultaat verbetert. De meest effectieve aanpak hangt af van de specifieke behoeften van de gebruiker. Als snelheid de absolute prioriteit is, kan een eenvoudigere woord-matchende zoekopdracht voldoende zijn. Als nauwkeurigheid belangrijker is, is de complexere betekenis-gebaseerde zoekopdracht de extra tijd waard. Maar het combineren ervan vereist zorgvuldige afstemming, aangezien de extra tijd die wordt besteed aan het samenvoegen van lijsten mogelijk niet opweegt tegen de minimale winst in het vinden van het juiste document. De studie biedt een helder, gemeten kijk op deze keuzes, en laat zien dat in de wereld van kunstmatige intelligentie het toevoegen van meer complexiteit niet altijd tot een beter resultaat leidt.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.