Development of an Agentic Retrieval-Augmented Generation System with Hybrid Retrieval for Budget Planning and Validation
Este estudio propone un sistema de Generación Aumentada por Recuperación Agéntica con recuperación híbrida para la planificación presupuestaria de las PYME, demostrando mediante una evaluación comparativa que un flujo de trabajo Agéntico Basado en Enrutamiento ofrece el equilibrio óptimo entre la calidad de la recuperación y la fundamentación fáctica para la validación basada en evidencia.
Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
En el mundo silencioso y a menudo tedioso de la gestión organizacional, el presupuesto es más que una simple lista de números; es una promesa de lo que una organización pretende hacer y un registro de lo que realmente gastó. Para las pequeñas y medianas empresas, mantener esta promesa requiere un proceso riguroso de verificación de cada costo propuesto frente a las reglas oficiales, los hábitos de gasto pasados y las realidades del mercado. Esta tarea, conocida como validación presupuestaria, es notoriamente difícil porque la información necesaria se encuentra dispersa. Un gerente podría necesitar cruzar una regulación gubernamental formal sobre el precio de un artículo específico, una hoja de cálculo de costos de proyectos históricos y un memorando narrativo que explique por qué se justifica un gasto en particular. Estos documentos existen en diferentes formatos: algunos son tablas rígidas de números, mientras que otros son textos fluidos llenos de excepciones y condiciones. Cuando un humano intenta buscar a través de este laberinto de datos para demostrar que un presupuesto es razonable, el proceso es lento, propenso a errores y a menudo deja vacíos en la evidencia.
Para resolver esto, los investigadores han recurrido a un tipo de inteligencia artificial llamada Generación Aumentada por Recuperación (Retrieval-Augmented Generation). Imagine un sistema que no solo adivina una respuesta basándose en su entrenamiento, sino que primero sale a buscar los hechos específicos que necesita de una biblioteca de documentos antes de hablar. Sin embargo, las versiones estándar de esta tecnología tienen dificultades con los datos financieros porque tratan los números y el texto como si fueran lo mismo, perdiendo a menudo los valores precisos requeridos para la contabilidad. Para cerrar esta brecha, un equipo de investigadores de Indonesia y Malasia desarrolló un sistema especializado diseñado para manejar tanto los números duros como el contexto suave de la planificación presupuestaria. Construyeron una herramienta que puede consultar cifras de costos exactas en una base de datos mientras lee simultáneamente directrices narrativas para comprender las reglas detrás de esos números.
Los investigadores se propusieron probar tres formas diferentes de organizar este sistema inteligente, tratando al programa informático como un equipo de trabajadores en lugar de un solo cerebro. El primer enfoque utilizó un agente único, un trabajador solitario responsable de encontrar toda la información y redactar la respuesta. El segundo enfoque introdujo un enrutador, un controlador de tráfico que primero escuchaba la pregunta del usuario para decidir qué tipo de problema era: si se trataba de una pregunta simple sobre reglas, una solicitud para verificar un presupuesto específico o una necesidad de recomendación. Basándose en esa decisión, el enrutador enviaba la tarea por un camino específico donde se pudieran utilizar herramientas especializadas. El tercer enfoque era el más complejo, utilizando un orquestador para dividir una sola pregunta en partes más pequeñas, asignando diferentes trabajadores para encontrar diferentes piezas de evidencia, y luego teniendo a un trabajador final que uniera todas esas piezas en una sola respuesta.
El equipo probó estos tres métodos utilizando treinta escenarios diferentes que imitaban tareas de presupuestación del mundo real. Midieron qué tan bien cada sistema encontraba la información correcta, qué tan fielmente se adhería a esa información sin inventar cosas y cuánto tiempo tardaba en dar una respuesta. Los resultados revelaron que el trabajador único era el más rápido, completando una tarea en unos veintisiete segundos, pero era menos minucioso al encontrar la evidencia necesaria. El equipo de trabajadores más complejo tardaba más tiempo, más de ochenta y seis segundos, y aunque encontraba buena información, el tiempo extra dedicado a la coordinación no siempre conducía a una mejor respuesta final. El camino intermedio, el que tenía un controlador de tráfico, resultó ser el más efectivo. Tardaba unos setenta y ocho segundos en responder, pero era el más preciso al encontrar la evidencia correcta y el más fiable para asegurar que cada afirmación que hacía estuviera respaldada por un documento real.
Este enfoque intermedio, que los investigadores llaman RAG basado en enrutamiento (Routing-Based Agentic RAG), surgió como la mejor opción para el trabajo. Logró las puntuaciones más altas en la búsqueda de contexto relevante y en mantenerse fiel al material de origen, con una puntuación de fidelidad de 0.878, lo que significa que rara vez inventaba hechos. También compartió la puntuación de precisión más alta de 0.731 con el sistema más complejo, lo que indica que la información recuperada era altamente relevante. Los investigadores encontraron que, al separar las tareas según lo que el usuario realmente necesitaba, el sistema podía aplicar la estrategia adecuada para cada situación. Cuando un usuario pedía una regla, el sistema sabía que debía consultar estrictamente las directrices oficiales. Cuando un usuario pedía validar un elemento presupuestario, el sistema sabía que debía extraer datos históricos para la comparación. Cuando un usuario pedía una recomendación, el sistema sabía que debía combinar reglas con experiencias pasadas.
El estudio concluye que para la tarea crítica de la validación presupuestaria, donde cada número debe ser rastreable hasta una fuente, la capacidad de recuperar la evidencia correcta es más importante que la velocidad. Si bien un sistema simple y rápido puede responder preguntas con fluidez, corre el riesgo de pasar por alto los detalles específicos que demuestran que un presupuesto es razonable. El sistema de enrutamiento, al dirigir las preguntas al camino más apropiado, asegura que las respuestas no sean solo fluidas, sino que estén fundamentadas en hechos. Los investigadores señalaron que este sistema está diseñado para apoyar a los tomadores de decisiones humanos, no para reemplazarlos. Proporciona la evidencia y la comparación, pero el juicio final sobre si un costo es razonable sigue recayendo en el gerente humano. El trabajo sugiere que para las organizaciones que lidian con registros financieros complejos, un sistema que pueda clasificar y recuperar inteligentemente tanto números como texto ofrece una forma poderosa de aportar claridad y responsabilidad al proceso de presupuestación.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.