Development of an Agentic Retrieval-Augmented Generation System with Hybrid Retrieval for Budget Planning and Validation

In der ruhigen, oft mühseligen Welt des Organisationsmanagements ist das Budget mehr als eine einfache Liste von Zahlen; es ist ein Versprechen dessen, was eine Organisation zu tun gedenkt, und ein Protokoll dessen, was sie tatsächlich ausgegeben hat. Für kleine und mittlere Unternehmen erfordert die Einlösung dieses Versprechens einen strengen Prozess, bei dem jeder vorgeschlagene Kostenpunkt gegen offizielle Regeln, vergangene Ausgabengewohnheiten und die Realität des Marktes geprüft wird. Diese Aufgabe, bekannt als Budgetvalidierung, ist notorisch schwierig, da die notwendigen Informationen verstreut sind. Ein Manager muss unter Umständen eine formale Regierungsverordnung zum Preis eines bestimmten Artikels, eine Tabelle mit historischen Projektkosten und ein erläuterndes Memo, das begründet, warum eine bestimmte Ausgabe gerechtfertigt ist, miteinander abgleichen. Diese Dokumente existieren in unterschiedlichen Formaten: Einige sind starre Zahlentabellen, während andere aus fließendem Text voller Ausnahmen und Bedingungen bestehen. Wenn ein Mensch versucht, sich durch dieses Labyrinth aus Daten zu kämpfen, um zu beweisen, dass ein Budget angemessen ist, ist der Prozess langsam, fehleranfällig und hinterlässt oft Lücken in der Beweisführung.

Um dies zu lösen, haben Forscher sich einer Art künstlicher Intelligenz zugewandt, die als Retrieval-Augmented Generation bezeichnet wird. Stellen Sie sich ein System vor, das nicht einfach eine Antwort basierend auf seinem Training errät, sondern zuerst gezielt nach den spezifischen Fakten sucht, die es aus einer Bibliothek von Dokumenten benötigt, bevor es spricht. Standardversionen dieser Technologie haben jedoch Schwierigkeiten mit Finanzdaten, da sie Zahlen und Text als dasselbe behandlich behandeln und dabei oft die präzisen Werte übersehen, die für die Buchhaltung erforderlich sind. Um diese Lücke zu schließen, entwickelte ein Team von Forschern aus Indonesien und Malaysia ein spezialisiertes System, das darauf ausgelegt ist, sowohl die harten Zahlen als als auch den weichen Kontext der Budgetplanung zu handhaben. Sie bauten ein Werkzeug, das in der Lage ist, exakte Kostenwerte in einer Datenbank nachzuschlagen und gleichzeitig durch narrative Leitlinien zu lesen, um die Regeln hinter diesen Zahlen zu verstehen.

Die Forscher setzten sich zum Ziel, drei verschiedene Arten der Organisation dieses intelligenten Systems zu testen, indem sie das Computerprogramm wie ein Team von Arbeitern statt wie ein einzelnes Gehirn behandelten. Der erste Ansatz nutete einen einzelnen Agenten, einen einsamen Arbeiter, der für das Finden aller Informationen und das Schreiben der Antwort verantwortlich war. Der zweite Ansatz führte einen Router ein, einen Verkehrsleiter, der zuerst der Frage des Nutzers zuhörte, um zu entscheiden, um welche Art von Problem es sich handelte – ob es sich um eine einfache Frage zu Regeln, eine Anfrage zur Prüfung eines bestimmten Budgets oder das Bedürfnis nach einer Empfehlung handelte. Basierend auf dieser Entscheidung leitete der Router die Aufgabe auf einen spezifischen Pfad um, auf dem spezialisierte Werkzeuge eingesetzt werden konnten. Der dritte Ansatz war der komplexeste und nutzte einen Orchestrator, um eine einzelne Frage in kleinere Teile zu zerlegen, verschiedenen Arbeitern zuzuweisen, verschiedene Beweisstücke zu finden und schließlich einen finalen Arbeiter, der all diese Teile zu einer einzigen Antwort zusammenfügt.

Das Team testete diese drei Methoden anhand von dreißig verschiedenen Szenarien, die reale Budgetierungsaufgaben imitierten. Sie maßen, wie gut jedes System die richtigen Informationen fand, wie getreu es sich an diese Informationen hielt, ohne Dinge zu erfinden, und wie lange es dauerte, eine Antwort zu geben. Die Ergebnisse zeigten, dass der einzelne Arbeiter am schnellsten war und eine Aufgabe in etwa siebenundzwanzig Sekunden abschloss, aber weniger gründlich bei der Suche nach den notwendigen Beweisen war. Das komplexeste Team von Arbeitern brauchte am längsten, nämlich über sechsundachtzig Sekunden, und obwohl es gute Informationen fand, führte die zusätzliche Zeit, die für die Koordination aufgewendet wurde, nicht immer zu einer besseren Endantwort. Der mittlere Weg, der mit dem Verkehrsleiter, erwies sich als am effektivsten. Er benötigte etwa achtundsiebzig Sekunden für eine Antwort, war aber am genauesten beim Auffinden der richtigen Beweise und am zuverlässigsten darin, sicherzustellen, dass jede Behauptung durch ein echtes Dokument gestützt wurde.

Dieser mittlere Ansatz, den die Forscher als „Routing-Based Agentic RAG“ bezeichnen, kristallisierte sich als die beste Wahl für die Aufgabe heraus. Er erreichte die höchsten Punktzahlen beim Auffinden relevanter Kontexte und darin, dem Quellmaterial treu zu bleiben, mit einem Treuewert von 0,878, was bedeutet, dass er selten Fakten erfand. Er teilte sich auch den höchsten Präzisionswert von 0,731 mit dem komplexesten System, was darauf hindeutet, dass die abgerufenen Informationen hochgradig relevant waren. Die Forscher fanden heraus, dass das System durch die Trennung der Aufgaben basierend auf dem tatsächlichen Bedarf des Nutzers die richtige Strategie für jede Situation anwenden konnte. Wenn ein Nutzer nach einer Regel fragte, wusste das System, dass es strikt nach den offiziellen Richtlinien suchen musste. Wenn ein Nutzer darum bat, einen Budgetposten zu validieren, wusste das System, dass es historische Daten zum Vergleich heranziehen musste. Wenn ein Nutzer um eine Empfehlung bat, wusste das System, dass es Regeln mit vergangenen Erfahrungen verbinden musste.

Die Studie kommt zu dem Schluss, dass für die kritische Aufgabe der Budgetvalidierung, bei der jede Zahl auf eine Quelle zurückführbar sein muss, die Fähigkeit, die korrekten Beweise abzurufen, wichtiger ist als die Geschwindigkeit. Während ein einfaches, schnelles System Fragen flüssig beantworten kann, läuft es Gefahr, die spezifischen Details zu übersehen, die beweisen, dass ein Budget angemessen ist. Das Routing-System stellt durch die Lenkung von Fragen auf den am besten geeigneten Pfad sicher, dass die Antworten nicht nur geschmeidig, sondern auch auf Fakten begründet sind. Die Forscher merkten an, dass dieses System darauf ausgelegt ist, menschliche Entscheidungsträger zu unterstützen, nicht sie zu ersetzen. Es liefert die Beweise und den Vergleich, aber das endgültige Urteil darüber, ob eine Kostenstelle angemessen ist, liegt weiterhin beim menschlichen Manager. Die Arbeit legt nahe, dass für Organisationen, die mit komplexen Finanzunterlagen zu tun haben, ein System, das Informationen und Texte intelligent sortieren und abrufen kann, eine kraftvolle Möglichkeit bietet, Klarheit und Rechenschaftspflicht in den Budgetierungsprozess zu bringen.