A Cost-Aware Agentic Architecture for NL-to-SQL over Nested Enterprise Schemas, with a New Benchmark
Este artículo presenta el benchmark DevRev NL2SQL, que cuenta con 900 consultas verificadas por ejecución con estructuras anidadas y un nuevo Puntaje de Profundidad Semántica, junto con una arquitectura de agentes consciente del costo que logra una notable exactitud de respuesta del 91,7% en este benchmark y se mantiene competitiva en Spider 2.0.
Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
Imagina un mundo en el que pudieras hacerle a una computadora preguntas complejas sobre tu negocio y recibir respuestas precisas en lenguaje sencillo, sin necesidad de conocer el lenguaje secreto de las bases de datos. Durante años, los investigadores han estado enseñando a las computadoras a traducir preguntas humanas en comandos de bases de datos, un campo conocido como lenguaje natural a SQL (natural-language-to-SQL). Los primeros éxitos fueron impresionantes, pero dependían de probar las computadoras con listas de datos simples y planas, como una hoja de cálculo con filas y columnas. En el mundo real, sin embargo, los datos empresariales rara vez son tan ordenados. Los sistemas empresariales modernos están construidos en torno a flujos de trabajo complejos, donde un solo elemento, como un ticket de soporte al cliente, está conectado a una red de otros elementos, anidados dentro de listas y ocultos dentro de capas de información. Estas estructuras suelen describirse como similares a un grafo, lo que significa que se asemejan a un mapa de conexiones en lugar de una simple tabla. Cuando los investigadores intentaron aplicar sus mejores herramientas a estos datos desordenados del mundo real, los sistemas fallaban, incapaces de navegar por los caminos profundos y enredados de la información.
Un equipo de investigadores ha abordado este desafío específico construyendo un nuevo campo de pruebas y un sistema informático más inteligente diseñado para manejarlo. Crearon un benchmark llamado DevRev, que contiene 900 preguntas del mundo real basadas en una base de datos empresarial viva. A diferencia de las pruebas anteriores, esta base de datos está llena de estructuras profundamente anidadas, donde la información se almacena en listas que contienen otras listas, y donde los elementos están vinculados de formas complejas que cambian según el contexto. Para medir qué tan bien un sistema entiende estas preguntas, el equipo introdujo un nuevo método de puntuación llamado Puntuación de Profundidad Semántica (Semantic Depth Score). Esta puntuación no solo cuenta qué tan larga es una pregunta; en su lugar, mide cuántas capas de razonamiento se requieren para encontrar la respuesta, como necesitar comparar diferentes períodos de tiempo, calcular nuevos valores a partir de otros antiguos o seguir una cadena de conexiones entre diferentes tipos de objetos de negocio.
Los investigadores descubrieron que los sistemas más avanzados disponibles en ese momento, que habían funcionado bien en pruebas más simples, tenían serias dificultades con estos nuevos datos complejos. Estos sistemas, que a menudo intentan generar muchas respuestas diferentes y luego eligen la mejor, no podían navegar correctamente por las listas anidadas ni comprender las reglas específicas para vincular diferentes tipos de registros de negocio. Su tasa de éxito en el nuevo benchmark rondaba un tercio, lo que significa que daban la respuesta incorrecta para la mayoría de las preguntas. Los investigadores argumentaron que el problema no era solo una falta de práctica, sino un desajuste fundamental entre cómo estaban construidos estos sistemas y cómo estaba estructurada la información. Los sistemas intentaban forzar un enfoque plano y simple sobre una realidad profundamente estratificada.
Para resolver esto, el equipo diseñó una nueva arquitectura informática que funciona más como un investigador cuidadoso que como un adivinador. En lugar de generar docenas de posibles respuestas y esperar que una sea la correcta, este sistema sigue un camino único y enfocado. Comienza pidiendo a un coordinador central que examine la base de datos y determine qué piezas específicas de información son necesarias. Si el sistema se queda atascado porque no puede encontrar una tabla o una columna, no se limita a adivinar; regresa, solicita más detalles sobre la estructura e intenta de nuevo con la nueva información. Este proceso es guiado por un mapa detallado de la base de datos que incluye no solo los nombres de las columnas, sino también descripciones de lo que realmente significan los datos dentro de ellas. El sistema también mantiene un registro continuo de cada error que comete, aprendiendo de cada fallo para evitar repetir el mismo error. Verifica su propio trabajo antes de enviarlo a la base de datos, asegurándose de que la lógica sea sólida y de que no esté creando accidentalmente un caos masivo y confuso de datos.
Cuando se probó en las 900 preguntas complejas, este nuevo sistema alcanzó una tasa de éxito del 91.7 por ciento, una mejora masiva respecto a los intentos anteriores más destacados. Fue capaz de responder correctamente preguntas que requerían seguir múltiples pasos, calcular valores derivados y navegar a través de listas de datos anidadas. Los investigadores también demostraron que este enfoque era mucho más eficiente, ya que costaba significativamente menos ejecutarlo porque no desperdiciaba recursos generando y probando docenas de respuestas incorrectas. En una prueba separada y a gran escala con datos más simples, el sistema funcionó tan bien como los líderes de la competencia, demostrando que su diseño especializado para datos complejos no se produjo a expensas de su capacidad para manejar datos estándar.
El estudio sugiere que el futuro de hacer preguntas a las computadoras no reside en hacer que se esfuercen más o generen más opciones, sino en darles mejores herramientas para comprender la estructura de los datos con los que trabajan. Al construir sistemas que pueden explorar una base de datos de manera iterativa, aprender de sus errores y comprender las conexiones profundas entre diferentes piezas de información, los investigadores han creado un camino hacia interfaces inteligentes y fiables para los datos complejos y anidados que impulsan las empresas modernas. El trabajo destaca que, para que las computadoras comprendan verdaderamente nuestras preguntas, primero deben comprender el intrincado y estratificado mundo donde viven nuestros datos.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.