Development of an Agentic Retrieval-Augmented Generation System with Hybrid Retrieval for Budget Planning and Validation
Cette étude propose un système de génération augmentée par récupération agentique avec une recherche hybride pour la planification budgétaire des PME, démontrant, à travers une évaluation comparative, qu'un flux de travail agentique basé sur le routage offre l'équilibre optimal entre la qualité de la récupération et l'ancrage factuel pour une validation fondée sur des preuves.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Dans le monde calme et souvent fastidieux de la gestion organisationnelle, le budget est bien plus qu'une simple liste de chiffres ; c'est une promesse de ce qu'une organisation entend faire et un compte rendu de ce qu'elle a réellement dépensé. Pour les petites et moyennes entreprises, tenir cette promesse nécessite un processus rigoureux consistant à vérifier chaque coût proposé par rapport aux règles officielles, aux habitudes de dépenses passées et aux réalités du marché. Cette tâche, connue sous le nom de validation budgétaire, est notoirement difficile car l'information nécessaire est éparpillée. Un gestionnaire peut devoir croiser une réglementation gouvernementale formelle sur le prix d'un article spécifique, un tableur des coûts de projets historiques et une note narrative expliquant pourquoi une dépense particulière est justifiée. Ces documents existent sous différents formats : certains sont des tableaux de chiffres rigides, tandis que d'autres sont des textes fluides remplis d'exceptions et de conditions. Lorsqu'un humain tente de naviguer dans ce labyrinthe de données pour prouver qu'un budget est raisonnable, le processus est lent, sujet aux erreurs et laisse souvent des lacunes dans les preuves.
Pour résoudre ce problème, les chercheurs se sont tournés vers un type d'intelligence artificielle appelé Génération Augmentée par Récupération (Retrieval-Augmented Generation). Imaginez un système qui ne se contente pas de deviner une réponse en se basant sur son entraînement, mais qui va d'abord chercher les faits spécifiques dont il a besoin dans une bibliothèque de documents avant de s'exprimer. Cependant, les versions standards de cette technologie peinent avec les données financières car elles traitent les chiffres et le texte de la même manière, manquant souvent les valeurs précises requises pour la comptabilité. Pour combler ce fossé, une équipe de chercheurs indonésiens et malaisiens a développé un système spécialisé conçu pour gérer à la fois les chiffres bruts et le contexte narratif de la planification budgétaire. Ils ont construit un outil capable de rechercher des montants exacts dans une base de données tout en lisant simultanément des directives narratives pour comprendre les règles derrière ces chiffres.
Les chercheurs ont entrepris de tester trois façons différentes d'organiser ce système intelligent, en traitant le programme informatique comme une équipe de travailleurs plutôt que comme un cerveau unique. La première approche utilisait un agent unique, un travailleur solitaire responsable de la recherche de toutes les informations et de la rédaction de la réponse. La deuxième approche introduisait un routeur, un contrôleur de trafic qui écoutait d'abord la question de l'utilisateur pour décider de quel type de problème il s'agissait — qu'il s'agisse d'une question simple sur les règles, d'une demande de vérification d'un budget spécifique ou d'un besoin de recommandation. Sur la base de cette décision, le routeur envoyait la tâche vers un chemin spécifique où des outils spécialisés pouvaient être utilisés. La troisième approche était la plus complexe, utilisant un orchestrateur pour décomposer une seule question en parties plus petites, assignant différents travailleurs pour trouver différentes pièces de preuve, puis demandant à un dernier travailleur de recoudre toutes ces pièces en une seule réponse.
L'équipe a testé ces trois méthodes en utilisant trente scénarios différents qui simulaient des tâches budgétaires du monde réel. Ils ont mesuré la capacité de chaque système à trouver la bonne information, sa fidélité à cette information sans inventer de faits, et le temps nécessaire pour donner une réponse. Les résultats ont révélé que le travailleur solitaire était le plus rapide, complétant une tâche en environ vingt-sept secondes, mais qu'il était moins minutieux dans la recherche des preuves nécessaires. L'équipe de travailleurs la plus complexe était la plus lente, dépassant les quatre-vingt-six secondes, et bien qu'elle ait trouvé de bonnes informations, le temps supplémentaire passé à la coordination ne menait pas toujours à une meilleure réponse finale. La voie médiane, celle avec le contrôleur de trafic, s'est avérée la plus efficace. Elle mettait environ soixante-dix-huit secondes pour répondre, mais elle était la plus précise pour trouver la bonne preuve et la plus fiable pour garantir que chaque affirmation était étayée par un document réel.
Cette approche intermédiaire, que les chercheurs appellent "Routing-Based Agentic RAG", est apparue comme le meilleur choix pour la tâche. Elle a obtenu les scores les plus élevés dans la recherche de contexte pertinent et dans la fidélité au document source, avec un score de fidélité de 0,878, ce qui signifie qu'elle inventait rarement des faits. Elle partageait également le score de précision le plus élevé de 0,731 avec le système le plus complexe, indiquant que les informations récupérées étaient hautement pertinentes. Les chercheurs ont constaté qu'en séparant les tâches selon les besoins réels de l'utilisateur, le système pouvait appliquer la bonne stratégie pour chaque situation. Lorsqu'un utilisateur posait une question sur une règle, le système savait qu'il devait consulter strictement les directives officielles. Lorsqu'un utilisateur demandait de valider un poste budgétaire, le système savait qu'il devait extraire les données historiques pour comparaison. Lorsqu'un utilisateur demandait une recommandation, le système savait qu'il devait mélanger les règles avec les expériences passées.
L'étude conclut que pour la tâche critique de la validation budgétaire, où chaque chiffre doit être traçable jusqu'à une source, la capacité à récupérer la preuve correcte est plus importante que la vitesse. Si un système simple et rapide peut répondre aux questions avec fluidité, il risque de manquer les détails spécifiques qui prouvent qu'un budget est raisonnable. Le système de routage, en dirigeant les questions vers le chemin le plus approprié, garantit que les réponses ne sont pas seulement fluides, mais fondées sur des faits. Les chercheurs ont noté que ce système est conçu pour soutenir les décideurs humains, et non pour les remplacer. Il fournit la preuve et la comparaison, mais le jugement final sur le caractère raisonnable d'un coût repose toujours sur le gestionnaire humain. Ce travail suggère que pour les organisations traitant des dossiers financiers complexes, un système capable de trier et de récupérer intelligemment à la fois les chiffres et le texte offre un moyen puissant d'apporter clarté et responsabilité au processus budgétaire.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.