ACTS-SQL: Agentic and Critic-Oriented Tree-Structured SQL Correctness with Large Language Models

En el mundo moderno, vastas cantidades de información se almacenan en almacenes digitales llamados bases de datos. Para hacer una pregunta a estos almacenes, las personas utilizan un lenguaje específico conocido como SQL, que actúa como la interfaz principal para recuperar datos estructurados. Si bien escribir este lenguaje correctamente requiere una comprensión profunda de relaciones y lógicas complejas, incluso los humanos experimentados cometen errores que conducen a respuestas incorrectas. Recientemente, poderosos sistemas informáticos conocidos como modelos de lenguaje de gran tamaño han sido entrenados para escribir estas consultas automáticamente, prometiendo hacer que los datos sean accesibles para todos. Sin embargo, estos modelos a menudo producen consultas que parecen correctas pero que no logran responder a la verdadera pregunta del usuario, o contienen errores sutiles que hacen que la computadora falle o devuelva resultados engañosos. Corregir estos errores es difícil porque un pequeño cambio en una parte de una consulta puede alterar completamente el significado de toda la solicitud.

Un equipo de investigadores de la Universidad de Renmin de China y ByteDance ha desarrollado una nueva forma de ayudar a estos sistemas informáticos a corregir sus propios errores. En lugar de intentar corregir una consulta errónea en una sola línea recta, su sistema, llamado ACTS-SQL, trata el proceso como un camino ramificado donde la computadora puede explorar múltiples posibilidades a la vez. Si la computadora toma un camino equivocado, puede retroceder y probar una ruta diferente en lugar de quedarse estancada en un supuesto erróneo. Este enfoque ha sido probado en estándares de referencia (benchmarks) y en un sistema industrial del mundo real, donde mejoró significativamente la precisión de las preguntas generadas por la computadora. Los investigadores descubrieron que al permitir que el sistema haga una pausa, revise su trabajo y reconsidere sus elecciones, podía resolver problemas que los métodos anteriores no podían, haciendo que la tecnología sea mucho más confiable para el uso cotidiano.

El problema central que los investigadores abordaron es que los sistemas informáticos actuales a menudo quedan atrapados en un bucle de errores. Cuando un modelo genera una consulta errónea, los métodos de corrección antiguos suelen intentar corregirla paso a paso en un único razonamiento lineal. Si el modelo comete un error al principio, como malinterpretar lo que un usuario quiso decir con una palabra específica, cada corrección subsiguiente se construye sobre ese error inicial. Esto es como intentar navegar por un laberinto moviéndose únicamente hacia adelante; si tomas un giro equivocado al principio, podrías seguir caminando hacia un callejón sin salida, convencido de que estás en el camino correcto, hasta que te quedes sin opciones. Los investigadores observaron que estos métodos lineales son frágiles porque no pueden retroceder fácilmente para reconsiderar su primera elección. Una vez que la computadora se compromete con una interpretación específica de la solicitud de un usuario, rara vez cambia de opinión, incluso cuando los resultados demuestran que está equivocada.

Para resolver esto, el equipo diseñó un sistema que organiza el proceso de corrección en una estructura de árbol. Imagine un árbol de decisión donde la computadora comienza en la parte superior y, cada vez que una herramienta introduce un nuevo punto de decisión —como cuando la herramienta 'Detect Ambiguities' identifica frases ambiguas específicas en la solicitud del usuario—, se divide en diferentes ramas, cada una representando un significado posible diferente. Una rama podría asumir que el usuario quiere ver todas las ventas de un año, mientras que otra asume que quiere ver las ventas de un mes específico. El sistema luego prueba cada rama de forma independiente. Si una rama conduce a un resultado que no coincide con lo que el usuario probablemente pretendía, el sistema puede cortar esa rama y regresar a la división para probar un camino diferente. Esta capacidad de retroceder y explorar alternativas evita que la computadora se quede estancada en una sola idea incorrecta.

El sistema funciona utilizando un "cerebro" central que crea un plan sobre cómo corregir la consulta. Este plan no es una simple lista de pasos, sino un mapa de acciones potenciales. La computadora utiliza herramientas especiales para ayudarla a navegar por este mapa. Una herramienta ayuda al sistema a detectar palabras ambiguas en la pregunta del usuario y generar diferentes formas de entenderlas. Otra herramienta permite a la computadora ejecutar partes pequeñas de la consulta contra la base de datos real para ver qué datos devuelve, actuando como una prueba rápida para ver si una idea funciona. Si la computadora encuentra un error de sintaxis, que es un error en la gramática de la consulta, una herramienta especializada descompone la consulta en piezas más pequeñas para encontrar exactamente dónde falló la gramática sin tener que reescribir todo desde el principio.

Los investigadores probaron su sistema en un benchmark llamado BIRD-Critic, que contiene muchos ejemplos de consultas SQL difíciles con varios tipos de errores. Compararon su método contra varios otros enfoques, incluyendo modelos poderosos que han sido entrenados específicamente para corregir SQL y otros sistemas que intentaban corregir errores usando un método lineal y paso a paso. Los resultados mostraron que su enfoque estructurado en forma de árbol era significamente más preciso. En el benchmark, el nuevo sistema mejoró la tasa de éxito en 9.42 puntos porcentuales en comparación con el mejor método anterior. Esta mejora se mantuvo constante a través de diferentes tipos de lenguajes de bases de datos, lo que sugiere que el método es robusto y no depende de un estilo específico de escritura de consultas.

Para demostrar que el sistema funciona en el mundo real, los investigadores lo desplegaron en un entorno de producción en ByteDance, específicamente dentro de un servicio de análisis de registros llamado Torch Log Service. En este entorno, el sistema se utilizó para corregir consultas generadas por un modelo de lenguaje fuerte antes de que fueran enviadas a los usuarios. Los resultados fueron sorprendentes: la precisión de las consultas que se ejecutaron exitosamente saltó del 36.77% al 53.61%. Esto significa que, en un escenario del mundo real con datos complejos y personalizados, el sistema fue capaz de convertir la mayoría de los intentos fallidos en éxitos. Los investigadores señalaron que esta mejora ocurrió sin necesidad de reentrenar el modelo informático subyacente con nuevos datos, lo que hace que la solución sea práctica y fácil de integrar en los sistemas existentes.

El estudio también destacó la importancia de ser capaz de retroceder. En un estudio de caso detallado, los investigadores mostraron cómo un método lineal fallaría al corregir una consulta sobre "ventas mensuales" porque se quedó estancado en la idea de que el usuario se refería a ventas anuales. No importaba cuántas veces el sistema lineal intentara ajustar la consulta, no podía escapar de ese supuesto inicial erróneo. En contraste, el sistema estructurado en forma de árbol reconoció la ambigüedad, probó la idea de las ventas anuales, vio que fallaba y luego cambió inmediatamente a una rama que interpretaba correctamente la solicitud como datos mensuales. Esta capacidad de cambiar de dirección basándose en la evidencia fue la clave de su éxito.

Si bien el nuevo sistema es más efectivo, también toma un poco más de tiempo ejecutarse porque explora múltiples caminos y realiza más pruebas. Los investigadores midieron el tiempo que tardaba en corregir una consulta y encontraron que añadía unos pocos minutos al proceso, lo cual es un intercambio razonable por la ganancia significativa en precisión. También encontraron que el sistema funcionaba bien con diferentes tipos de modelos informáticos, no solo con el que usaron para las pruebas, lo que indica que el enfoque es flexible y puede aplicarse ampliamente.

El trabajo demuestra que para tareas complejas como la escritura de consultas de bases de datos, un enfoque basado en planes y estructurado es superior a uno simple y lineal. Al darle a la computadora la capacidad de hacer una pausa, considerar múltiples opciones y retroceder cuando comete un error, el sistema se vuelve mucho más confiable. Este hallazgo sugiere que las mejoras futuras en la inteligencia artificial para el análisis de datos dependerán menos de hacer que los modelos sean más inteligentes de forma aislada y más de darles mejores herramientas y procesos para revisar su propio trabajo. Los investigadores han puesto su código y sus datos a disposición, permitiendo que otros construyan sobre este método para mejorar aún más cómo las computadoras interactúan con los datos humanos.