ScalableRAG: High-Quality RAG at Zero Ingestion Cost
Het artikel introduceert ScalableRAG, een hoogwaardige Retrieval-Augested Generation-benadering die superieure nauwkeurigheid bereikt over meerdere datasets met nul ingestionskosten door gebruik te maken van een dynamische werkruimte voor on-the-fly aggregatieve redenering, terwijl het ook een Limited-Ingestion-variant biedt die de prestaties op schaal verder verbetert met minimaal gebruik van de vectordatabase.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een enorme mysteries probeert op te lossen door een bibliotheek van een miljoen boeken te lezen. In de wereld van kunstmatige intelligentie wordt dit Retrieval-Augmented Generation (RAG) genoemd. Denk aan een standaard AI als een briljante detective die het hele internet heeft gelezen, maar specifieke details uit een stoffig archief niet kan herinneren. Om de detective te helpen, bouwen we meestal een "catalogus" of een "knowledge graph" voordat hij aan het werk gaat. Dit houdt in dat elk boek wordt gelezen, samengevat en georganiseerd in een complexe database, zodat de AI snel de juiste pagina kan vinden. Het is alsof je een team bibliothecarissen inhuurt om de bibliotheek te indexeren voordat de detective zelfs maar arriveert. Dit proces is duur, traag en vereist veel rekenkracht, alleen al om te kunnen beginnen. Maar wat als de detective de bibliotheek in kan lopen, naar de boeken kan kijken en de antwoorden ter plekke kan achterhalen zonder dat er eerst een kant-en-klein catalogus nodig is? Dat is de grote vraag die dit artikel aanpakt: Kunnen we dezelfde briljante resultaten behalen zonder de hoge "ingestie"-kosten van het eerst bouwen van die enorme database?
De onderzoekers van Cohesity, onder leiding van Hilaf Hasson en haar team, zeggen dat het antwoord een luidruchtig "ja" is. Ze introduceren een nieuw systeem genaamd ScalableRAG, dat in twee smaken komt: Zero-Ingestion en Limited-Ingestion. Hun belangrijkste ontdekking is dat je niet de volledige bibliotheek hoeft voor te bewerken om complexe vragen te beantwoorden. In plaats daarvan werkt hun AI-agent als een supergeorganiseerde detective die een magisch, uitbreidbaar klembord bij zich draagt. Wanneer de detective een specifiek feit moet vinden, zoekt hij niet alleen naar een trefwoord; hij creëert een tijdelijke "groep" van relevante documenten, filtert deze, en doet zelfs berekeningen op de resultaten, daar en dan.
Zo werkt hun "Zero-Ingestion"-methode, met behulp van een eenvoudige metafoor: Stel je voor dat je een stapel slordig opgestapelde bonnetjes hebt van een heel jaar winkelen. Een traditioneel systeem zou vereisen dat iemand elke bon leest en ze sorteert in gelabelde mappen (Boodschappen, Benzine, Elektronica) voordat je een vraag stelt als: "Hoeveel heb ik in juni aan benzine uitgegeven?" Dit sorteren duurt eeuwen. ScalableRAG slaat het sorteren echter volledig over. Wanneer je de vraag stelt, kijkt de AI naar de stapel, vindt alle bonnetjes waarin "benzine" wordt vermeld, filtert die kleinere stapel vervolgens om alleen de bonnen van "juni" te vinden, en telt tot slot de bedragen bij elkaar op. De AI doet dit door "sets" van documenten ter plekke aan te maken en te beheren. Het is alsof je een detective hebt die direct een cirkel om de relevante bonnetjes kan trekken, ze kan tellen en de berekening kan uitvoeren, allemaal zonder ze eerst ergens in te hoeven archiveren.
Het artikel laat zien dat deze "on-the-fly"-aanpak ongelooflijk krachtig is. In tests over zes verschillende collecties documenten (variërend van transcripten van hoorzittingen in de overheid tot financiële rapporten en filmscripts), overtrof hun Zero-Ingestion-systeem alle baselines (inclusclusief knowledge graph-benaderingen) ruim in drie van de zes datasets (MuSiQue, Transcripts en Hotels). Op de andere drie datasets (2Wiki, FinanceBench en ComplexTR) mistte het slechts marginaal de maximale prestaties, waarbij het gemiddeld slechts 1,63% achterbleef bij de best presterende baseline voor elk van de datasets (die A-RAG was). Ondanks deze kleine verliezen op de helft van de datasets, behaalde het systeem een gemiddelde nauwkeurigheid over alle zes de datasets die ongeveer 7,36% hoger lag dan de volgende meest concurrerende baseline. Dit is een grote zaak, omdat het suggereert dat de dure stap van het vooraf bouwen van een database voor veel soorten vragen eigenlijk onnodig is.
Om het systeem nog beter te maken voor lastigere vragen, hebben ze ook een "Limited-Ingestion"-versie gebouwd. Dit is alsof je de detective een kleine, vooraf gemaakte index geeft voor de meest voorkomende soorten aanwijzingen, maar hem nog steeds het zware werk laat doen op de achtergrond. Deze versie gebruikt een klein beetje voorbewerking (slechts een steekproef van de documenten om patronen te vinden) en een kleine vector database (een hulpmiddel dat helpt bij het vinden van vergelijkbare ideeën, niet alleen exacte woorden). Deze hybride aanpak dreef de nauwkeurigheid nog verder omhoog, vooral in datasets waar de informatie verborgen zat in complexe structuren, zoals het vinden van een specifieke faciliteit in een hotelbeschrijving of een specifieke clausule in een juridisch contract.
Het artikel voert expliciet aan dat je niet een massieve, vooraf bewerkte knowledge graph of een volledige SQL-database hoeft te bouwen om complexe, meerstaps-vragen te beantwoorden. Ze laten zien dat de "ingestie-zware" methoden, die een LLM vereisen om elk document te lezen en gegevens te extraheren voordat de gebruiker zelfs maar een vraag stelt, vaak overbodig zijn. Hoewel die methoden goed zijn in het groeperen van gegevens, bewijst ScalableRAG dat een agent hetzelfde groeperen en rekenen direct tijdens de conversatie kan doen. De auteurs zijn zeer zelfverzekerd over deze resultaten, aangezien ze deze hebben gemeten over diverse datasets met een rigoureuze testmethode waarbij een aparte AI fungeert als rechter om de antwoorden te beoordelen. Ze kwamen tot de conclusie dat hun systeem niet alleen geld en tijd bespaart, maar ook vaker het juiste antwoord geeft dan de dure alternatieven, of er heel dichtbij komt met aanzienlijk minder inspanning.
Kortom, ScalableRAG verandert het spel door te laten zien dat je geen gigantisch magazijn van georganiseerde kennis hoeft te bouwen om de naald in de hooistapel te vinden. In plaats daarvan kun je een slimme agent de hooistapel in sturen met een set magische hulpmiddelen om de naalden ter plekke te pakken, te sorteren en te tellen. Of je nu een systeem nodig hebt dat niets kost om op te zetten (Zero-Ingestion) of een systeem dat een klein beetje voorwerk toevoegt voor extra precisie (Limited-Ingestion), dit onderzoek suggereert dat de toekomst van AI-vraagbeantwoording veel eenvoudiger, sneller en goedkoper kan zijn dan we dachten.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.