Development of an Agentic Retrieval-Augmented Generation System with Hybrid Retrieval for Budget Planning and Validation

Nel mondo silenzioso e spesso noioso della gestione organizzativa, il budget è più di un semplice elenco di numeri; è una promessa di ciò che un'organizzazione intende fare e un registro di ciò che ha effettivamente speso. Per le piccole e medie imprese, mantenere questa promessa richiede un processo rigoroso di verifica di ogni costo proposto rispetto alle regole ufficiali, alle abitudini di spesa passate e alle realtà del mercato. Questo compito, noto come validazione del budget, è notoriamente difficile perché le informazioni necessarie sono disperse. Un manager potrebbe dover incrociare un regolamento governativo formale sul prezzo di un articolo specifico, un foglio di calcolo dei costi storici di un progetto e un memo narrativo che spieghi perché una particolare spesa sia giustificata. Questi documenti esistono in formati diversi: alcuni sono tabelle rigide di numeri, altri sono testi fluidi pieni di eccezioni e condizioni. Quando un essere umano cerca di navigare in questo labirinto di dati per dimostrare che un budget è ragionevole, il processo è lento, incline all'errore e spesso lascia lacune nelle prove.

Per risolvere questo problema, i ricercatori si sono rivolti a un tipo di intelligenza artificiale chiamato Generazione Aumentata dalla Recupero (Retrieval-Augmented Generation). Immaginate un sistema che non si limita a indovinare una risposta basandosi sul suo addestramento, ma che prima va a cercare i fatti specifici di cui ha bisogno in una biblioteca di documenti prima di parlare. Tuttavia, le versioni standard di questa tecnologia faticano con i dati finanziari perché trattano numeri e testo come la stessa cosa, perdendo spesso i valori precisi richiesti dalla contabilità. Per colmare questo divario, un team di ricercatori indonesiani e malesi ha sviluppato un sistema specializzato progettato per gestire sia i numeri puri che il contesto "morbido" della pianificazione del budget. Hanno costruito uno strumento in grado di consultare cifre di costo esatte in un database, leggendo simultaneamente le linee guida narrative per comprendere le regole dietro quei numeri.

I ricercatori hanno deciso di testare tre diversi modi di organizzare questo sistema intelligente, trattando il programma informatico come una squadra di lavoratori piuttosto che come un singolo cervello. Il primo approccio utilizzava un singolo agente, un lavoratore solitario responsabile del reperimento di tutte le informazioni e della stesura della risposta. Il secondo approccio introduceva un router, un controllore del traffico che ascoltava prima la domanda dell'utente per decidere di quale tipo di problema si trattasse — se fosse una domanda semplice sulle regole, una richiesta di controllo di un budget specifico o la necessità di un consiglio. In base a quella decisione, il router inviava il compito lungo un percorso specifico dove potevano essere utilizzati strumenti specializzati. Il terzo approoccio era il più complesso, utilizzando un orchestratore per scomporre una singola domanda in parti più piccole, assegnando diversi lavoratori per trovare diverse prove e poi facendo sì che un lavoratore finale cucisse insieme tutti quei pezzi in un'unica risposta.

Il team ha testato questi tre metodi utilizzando trenta diversi scenari che imitavano i compiti di budgeting del mondo reale. Hanno misurato quanto bene ciascun sistema trovasse le informazioni corrette, quanto fedelmente rimanesse ancorato a tali informazioni senza inventare nulla e quanto tempo impiegasse per dare una risposta. I risultati hanno rivelato che il singolo lavoratore era il più veloce, completando un compito in circa ventisette secondi, ma era meno accurato nel trovare le prove necessarie. La squadra di lavoratori più complessa impiegava il tempo maggiore, oltre ottantasei secondi, e sebbene trovasse buone informazioni, il tempo extra impiegato per la coordinazione non portava sempre a una risposta finale migliore. La via di mezzo, quella con il controllore del traffico, si è rivelata la più efficace. Impiegava circa settantotto secondi per rispondere, ma era la più accurata nel trovare le prove giuste ed era la più affidabile nel garantire che ogni sua affermazione fosse supportata da un documento reale.

Questo approccio intermedio, che i ricercatori chiamano Routing-Based Agentic RAG, è emerso come la scelta migliore per il lavoro. Ha ottenuto i punteggi più alti nel reperimento del contesto pertinente e nel rimanere fedele al materiale sorgente, con un punteggio di fedeltà di 0,878, il che significa che raramente inventava fatti. Ha inoltre condiviso il punteggio di precisione più alto di 0,731 con il sistema più complesso, indicando che le informazioni recuperate erano altamente rilevanti. I ricercatori hanno scoperto che, separando i compiti in base a ciò di cui l'utente aveva effettivamente bisogno, il sistema poteva applicare la strategia corretta per ogni situazione. Quando un utente chiedeva una regola, il sistema sapeva di dover consultare strettamente le linee guida ufficiali. Quando un utente chiedeva di validare una voce di budget, il sistema sapeva di dover estrarre i dati storici per un confronto. Quando un utente chiedeva un consiglio, il sistema sapeva di dover fondere le regole con le esperienze passate.

Lo studio conclude che per il compito critico della validazione del budget, dove ogni numero deve essere tracciabile verso una fonte, la capacità di recuperare l'evidenza corretta è più importante della velocità. Mentre un sistema semplice e veloce può rispondere alle domande con fluidità, rischia di perdere i dettagli specifici che dimostrano che un budget è ragionevole. Il sistema di routing, indirizzando le domande verso il percorso più appropriato, assicura che le risposte non siano solo scorrevoli, ma fondate sui fatti. I ricercatori hanno osservato che questo sistema è progettato per supportare i decisori umani, non per sostituirli. Esso fornisce l'evidenza e il confronto, ma il giudizio finale sul fatto che un costo sia ragionevole resta in capo al manager umano. Il lavoro suggerisce che per le organizzazioni che gestiscono registri finanziari complessi, un sistema capace di ordinare e recuperare intelligentemente sia numeri che testo offre un modo potente per portare chiarezza e responsabilità nel processo di budgeting.