Development of an Agentic Retrieval-Augmented Generation System with Hybrid Retrieval for Budget Planning and Validation

In de stille, vaak eentonige wereld van organisatiemanagement is het budget meer dan een eenvoudige lijst met cijfers; het is een belofte van wat een organisatie beoogt te doen en een verslag van wat zij daadwerkelijk heeft uitgegeven. Voor kleine en middelgrote bedrijven vereist het nakomen van deze belofte een rigoureus proces van het controleren van elke voorgestelde kostenpost tegen officiële regels, historische uitgavenpatronen en de marktrealiteit. Deze taak, bekend als budgetvalidatie, is berucht moeilijk omdat de benodigde informatie versnipperd is. Een manager moet mogelijk een formele overheidsverordening over de prijs van een specifiek artikel kruisen met een spreadsheet van historische projectkosten en een narratief memo dat uitlegt waarom een bepaalde uitgave gerechtvaardigd is. Deze documenten bestaan in verschillende formaten: sommige zijn rigide tabellen met cijfers, terwijl andere vloeiende teksten zijn vol uitzonderingen en voorwaarden. Wanneer een mens door deze doolhof van gegevens probeert te zoeken om te bewijzen dat een budget redelijk is, is het proces traag, foutgevoelig en laat het vaak gaten in de bewijsvoering achter.

Om dit op te lossen, hebben onderzoekers zich gericht op een type kunstmatige intelligentie dat Retrieval-Augmented Generation wordt genoemd. Stel je een systeem voor dat niet alleen een antwoord raadt op basis van zijn training, maar eerst specifieke feiten opzoekt in een bibliotheek van documenten voordat het spreekt. De standaardversies van deze technologie worstelen echter met financiële gegevens omdat ze cijfers en tekst als hetzelfde behandelen, waardoor ze vaak de exacte waarden missen die nodig zijn voor de boekhouding. Om deze kloof te overbruggen, heeft een team onderzoekers uit Indonesië en Maleisië een gespecialiseerd systeem ontwikkeld dat ontworpen is om zowel de harde cijfers als de zachte context van budgetplanning aan te kunnen. Ze bouwden een hulpmiddel dat exacte kostencijfers kan opzoeken in een database, terwijl het tegelijkertijd door narratieve richtlijnen kan lezen om de regels achter die cijfers te begrijpen.

De onderzoekers zetten zich scharpe schijn op het testen van drie verschillende manieren om dit intelligente systeem te organiseren, waarbij ze het computerprogramma behandelden als een team van werkers in plaats van een enkel brein. De eerste aanpak gebruikte een enkele agent, een eenzame werker die verantwoordelijk was voor het vinden van alle informatie en het schrijven van het antwoord. De tweede aanpak introduceerde een router, een verkeersregelaar die eerst naar de vraag van de gebruiker luisterde om te beslissen wat voor soort probleem het was — of het een eenvoudige vraag over regels was, een verzoek om een specifiek budget te controleren, of een behoefte aan een aanbeveling. Op basis van die beslissing stuurde de router de taak naar een specifiek pad waar gespecialiseerde hulpmiddelen konden worden gebruikt. De derde aanpak was de meest complexe en maakte gebruik van een orchestrator om een enkele vraag op te delen in kleinere delen, verschillende werkers toe te wijzen om verschillende stukken bewijs te vinden, en vervolgens een laatste werker om al die stukjes samen te voegen tot één antwoord.

Het team testte deze drie methoden met dertig verschillende scenario's die taken uit de echte budgettering nabootsten. Ze maten hoe goed elk systeem de juiste informatie vond, hoe trouw het zich aan die informatie hield zonder dingen te verzinnen, en hoe lang het duurde om een antwoord te geven. De resultaten lieten zien dat de enkele werker het snelst was en een taak in ongeveer zevenentwintig seconden voltooide, maar minder grondig was in het vinden van het noodzakelijke bewijs. Het meest complexe team van werkers deed er het langst over, ruim tachtig zes seconden, en hoewel het goede informatie vond, leidde de extra tijd die werd besteed aan coördinatie niet altijd tot een beter eindantwoord. De middelste weg, de weg met de verkeersregelaar, bleek het meest effectief. Het duurde ongeveer achttachtig seconden om te reageren, maar het was het meest accuraat in het vinden van het juiste bewijs en het meest betrouwbaar in het waarborgen dat elke bewering die het maakte, werd ondersteund door een echt document.

Deze middelste aanpak, die de onderzoekers Routing-Based Agentic RAG noemen, kwam als de beste keuze uit de bus. Het behaalde de hoogste scores in het vinden van relevante context en in het trouw blijven aan het bronmateriaal, met een betrouwbaarheidsscore van 0,878, wat betekent dat het zelden feiten verzint. Het deelde ook de hoogste precisiescore van 0,731 met het meest complexe systeem, wat aangeeft dat de opgehaalde informatie zeer relevant was. De onderzoekers ontdekten dat door de taken te scheiden op basis van wat de gebruiker daadwerkelijk nodig had, het systeem de juiste strategie voor elke situatie kon toepassen. Wanneer een gebruiker om een regel vroeg, wist het systeem dat het strikt naar de officiële richtlijnen moest kijken. Wanneer een gebruiker vroeg om een budgetpost te valideren, wist het systeem dat het historische gegevens moest ophalen voor vergelijking. Wanneer een gebruiker om een aanbeveling vroeg, wist het systeem dat het regels met ervaringen uit het verleden moest combineren.

De studie concludeert dat voor de kritieke taak van budgetvalidatie, waarbij elk getal herleidbaar moet zijn naar een bron, het vermogen om het juiste bewijs op te halen belangrijker is dan snelheid. Hoewel een eenvoudig, snel systeem vragen vloeiend kan beantwoorden, loopt het het risico de specifieke details te missen die bewijzen dat een budget redelijk is. Het routingsysteem zorgt, door vragen naar het meest geschikte pad te leiden, ervoor dat de antwoorden niet alleen vloeiend zijn, maar ook geworteld in de feiten. De onderzoekers merkten op dat dit systeem is ontworpen om menselijke besluitvormers te ondersteunen, niet om hen te vervangen. Het biedt het bewijs en de vergelijking, maar het uiteindelijke oordeel over of een kostenpost redelijk is, rust nog steeds bij de menselijke manager. Het werk suggereert dat voor organisaties die te maken hebben met complexe financiële gegevens, een systeem dat intelligent zowel cijfers als tekst kan sorteren en ophalen, een krachtige manier biedt om helderheid en verantwoording in het budgetteringsproces te brengen.