Development of an Agentic Retrieval-Augmented Generation System with Hybrid Retrieval for Budget Planning and Validation
Este estudo propõe um sistema de Geração Aumentada por Recuperação Agêntica com recuperação híbrida para o planejamento orçamentário de PMEs, demonstrando, através de avaliação comparativa, que um fluxo de trabalho Agêntico Baseado em Roteamento oferece o equilíbrio ideal entre qualidade de recuperação e fundamentação factual para validação baseada em evidências.
Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
No mundo silencioso e muitas vezes tedioso da gestão organizacional, o orçamento é mais do que uma simples lista de números; é uma promessa do que uma organização pretende fazer e um registro do que ela realmente gastou. Para pequenas e médias empresas, manter essa promessa exige um processo rigoroso de verificação de cada custo proposto em relação às regras oficiais, aos hábitos de gastos passados e às realidades do mercado. Essa tarefa, conhecida como validação orçamentária, é notoriamente difícil porque a informação necessária está dispersa. Um gestor pode precisar cruzar uma regulamentação governamental formal sobre o preço de um item específico, uma planilha de custos históricos de projetos e um memorando narrativo explicando por que determinado gasto é justificável. Esses documentos existem em formatos diferentes: alguns são tabelas rígidas de números, enquanto outros são textos fluidos repletos de exceções e condições. Quando um humano tenta percorrer esse labirinto de dados para provar que um orçamento é razoável, o processo é lento, propenso a erros e frequentemente deixa lacunas na evidência.
Para resolver isso, pesquisadores recorreram a um tipo de inteligência artificial chamada Geração Aumentada de Recuperação (Retrieval-Augmented Generation). Imagine um sistema que não apenas adivinha uma resposta com base em seu treinamento, mas que primeiro sai para encontrar os fatos específicos de que precisa em uma biblioteca de documentos antes de falar. No entanto, as versões padrão dessa tecnologia têm dificuldade com dados financeiros porque tratam números e texto como a mesma coisa, muitas vezes perdendo os valores precisos necessários para a contabilidade. Para preencher essa lacuna, uma equipe de pesquisadores da Indonésia e da Malásia desenvolveu um sistema especializado projetado para lidar tanto com os números rígidos quanto com o contexto subjetivo do planejamento orçamentário. Eles construíram uma ferramenta capaz de consultar valores exatos de custos em um banco de dados enquanto lê simultaneamente diretrizes narrativas para entender as regras por trás desses números.
Os pesquisadores decidiram testar três maneiras diferentes de organizar este sistema inteligente, tratando o programa de computador como uma equipe de trabalhadores em vez de um único cérebro. A primeira abordagem utilizou um agente único, um trabalhador solitário responsável por encontrar todas as informações e escrever a resposta. A segunda abordagem introduziu um roteador, um controlador de tráfego que primeiro ouvia a pergunta do usuário para decidir qual era o tipo de problema — se era uma pergunta simples sobre regras, um pedido para verificar um orçamento específico ou uma necessidade de recomendação. Com base nessa decisão, o roteador enviava a tarefa por um caminho específico onde ferramentas especializadas poderiam ser usadas. A terceira abordagem era a mais complexa, utilizando um orquestrador para dividir uma única pergunta em partes menores, atribuindo diferentes trabalhadores para encontrar diferentes pedaços de evidência e, em seguida, tendo um trabalhador final costurar todos esses pedaços em uma única resposta.
A equipe testou esses três métodos usando trinta cenários diferentes que mimetizavam tarefas orçamentárias do mundo real. Eles mediram quão bem cada sistema encontrava a informação correta, o quão fielmente ele se mantinha a essa informação sem inventar coisas e quanto tempo levava para dar uma resposta. Os resultados revelaram que o trabalhador único era o mais rápido, completando uma tarefa em cerca de vinte e sete segundos, mas era menos minucioso na busca pela evidência necessária. A equipe de trabalhadores mais complexa levou o maior tempo, mais de oitenta e seis segundos, e embora encontrasse boas informações, o tempo extra gasto na coordenação nem sempre levava a uma resposta final melhor. O caminho do meio, aquele com o controlador de tráfego, provou ser o mais eficaz. Levou cerca de setenta e oito segundos para responder, mas foi o mais preciso ao encontrar a evidência correta e o mais confiável em garantir que cada afirmação feita fosse sustentada por um documento real.
Esta abordagem intermediária, que os pesquisadores chamam de RAG Agêntico Baseado em Roteamento (Routing-Based Agentic RAG), emergiu como a melhor escolha para o trabalho. Ela alcançou as pontuações mais altas em encontrar contexto relevante e em manter-se fiel ao material de origem, com uma pontuação de fidelidade de 0,878, o que significa que raramente inventava fatos. Também compartilhou a pontuação de precisão mais alta de 0,731 com o sistema mais complexo, indicando que a informação recuperada era altamente relevante. Os pesquisadores descobriram que, ao separar as tarefas com base no que o usuário realmente precisava, o sistema podia aplicar a estratégia certa para cada situação. Quando um usuário perguntava sobre uma regra, o sistema sabia que deveria olhar estritamente para as diretrizes oficiais. Quando um usuário perguntava para validar um item orçamentário, o sistema sabia que deveria buscar dados históricos para comparação. Quando um usuário pedia uma recomendação, o sistema sabia que deveria mesclar regras com experiências passadas.
O estudo conclui que, para a tarefa crítica da validação orçamentária, onde cada número deve ser rastreável a uma fonte, a capacidade de recuperar a evidência correta é mais importante do que a velocidade. Embora um sistema simples e rápido possa responder perguntas de forma fluida, ele corre o risco de perder os detalhes específicos que provam que um orçamento é razoável. O sistema de roteamento, ao direcionar as perguntas para o caminho mais apropriado, garante que as respostas não sejam apenas fluidas, mas fundamentadas em fatos. Os pesquisadores observaram que este sistema é projetado para apoiar os tomadores de decisão humanos, não para substituí-los. Ele fornece a evidência e a comparação, mas o julgamento final sobre se um custo é razoável ainda cabe ao gestor humano. O trabalho sugere que, para organizações que lidam com registros financeiros complexos, um sistema que possa classificar e recuperar inteligentemente tanto números quanto textos oferece uma maneira poderosa de trazer clareza e responsabilidade ao processo de orçamento.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.