An Agentic System for Schema Aware NL2SQL Generation

Resumen Técnico: Sistema Agéntico para la Generación NL2SQL Consciente del Esquema

1. Planteamiento del Problema

La tarea de convertir lenguaje natural a SQL (NL2SQL) es fundamental para democratizar el acceso a datos, permitiendo a usuarios no expertos interactuar con bases de datos relacionales. Sin embargo, los sistemas actuales basados en Modelos de Lenguaje Grandes (LLMs) enfrentan tres desafíos críticos para su implementación en entornos de producción:

• Alto Costo Computacional: Los LLMs (como GPT-4) requieren recursos significativos, elevando los costos operativos.
• Privacidad y Cumplimiento: El uso de LLMs propietarios en la nube plantea riesgos de seguridad y viola regulaciones que exigen procesamiento on-premise (local).
• Precisión en Esquemas Complejos: A pesar de su capacidad, los LLMs a menudo fallan en la alineación estricta con esquemas de bases de datos complejos (miles de tablas), generando errores en uniones (joins), claves foráneas y valores de dominio específicos.

2. Metodología Propuesta

Los autores proponen un sistema agéntico híbrido que prioriza el uso de Modelos de Lenguaje Pequeños (SLMs) como motor principal de inferencia, utilizando LLMs únicamente como un mecanismo de respaldo ("fallback") inteligente para la recuperación de errores.

La arquitectura se divide en cuatro agentes especializados que trabajan en una pipeline coordinada:

• Agente Extractor (Schema Extraction):
  • Utiliza una estrategia de recuperación multi-fuente que combina metadatos de la base de datos, contextos de generación aumentada por recuperación (RAG) de documentación y mapeos de evidencia histórica.
  • Emplea embeddings vectoriales para recuperar los segmentos de documentación más relevantes en menos de un segundo, reduciendo las alucinaciones y mejorando la comprensión del esquema.
• Agente Descomponedor (Query Decomposition):
  • Desglosa preguntas complejas en pasos manejables mediante razonamiento guiado.
  • Identifica entidades, analiza condiciones, planifica el orden de ejecución y determina el formato de salida, creando un "plano" estructurado basado en el contexto del esquema.
• Agente Generador (SQL Generation):
  • Fase Principal: Utiliza un SLM (Llama-3.1-8B) para generar la consulta SQL inicial.
  • Mecanismo de Respaldo: Si la consulta falla la validación, se activa un LLM (GPT-4o) que analiza el mensaje de error y la consulta fallida para regenerar la SQL. Este proceso permite hasta 3 intentos de corrección.
• Agente Validador y Ejecutor (Validator & Executor):
  • Realiza una validación en cuatro etapas: basada en evidencia (corrección de valores), sintaxis, ejecución real en la base de datos y validación semántica del conjunto de resultados.
  • Si se detecta un error, devuelve diagnósticos detallados al generador para activar el fallback del LLM.

3. Contribuciones Clave

1. Arquitectura Agéntica Híbrida: Diseño de un sistema donde los SLMs actúan como el motor de inferencia primario, minimizando la dependencia de LLMs costosos.
2. Mecanismo de Respaldo Inteligente: Implementación de un sistema de fallback que invoca al LLM solo cuando el SLM falla, optimizando la relación costo-rendimiento.
3. Enfoque Consciente del Esquema (Schema-Aware): Integración profunda de metadatos, documentación y mapeos de evidencia para asegurar que las consultas generadas respeten estrictamente las restricciones y la semántica de la base de datos.
4. Análisis Comparativo Integral: Evaluación del sistema en el benchmark BIRD comparando no solo la precisión, sino también la eficiencia de validación y el costo por consulta frente a sistemas puramente basados en LLMs.

4. Resultados Experimentales

El sistema fue evaluado en el conjunto de datos de desarrollo de BIRD (1,534 pares de texto-SQL en 11 bases de datos).

• Precisión de Ejecución (Execution Accuracy - EX): El sistema propuesto alcanzó un 47.78%.
  • Comparativa: Es inferior a sistemas puramente LLM como MAC-SQL (59.59%), DAIL-SQL (57.41%) y DIN-SQL (55.90%), pero ofrece una alternativa viable con costos drásticamente menores.
• Puntuación de Eficiencia de Validación (Validation Efficiency Score - VES): Logró un 51.05%.
• Eficiencia de Costos:
  • Reducción de Costos: Se logró una reducción de costos superior al 90% en comparación con los sistemas basados en LLM.
  • Costo por Consulta: El sistema híbrido tiene un costo promedio de $0.0085 por consulta, frente a los $0.094 de los sistemas basados en LLM.
  • Uso de SLM: Aproximadamente el 67% de las consultas se resolvieron exitosamente utilizando únicamente el SLM local (costo operativo cercano a cero), activando el LLM solo para el 33% restante de casos complejos o con errores.

5. Significado e Impacto

Este trabajo demuestra que es posible desplegar sistemas NL2SQL en entornos empresariales reales que requieren privacidad de datos, cumplimiento normativo y bajo costo, sin depender exclusivamente de LLMs costosos y en la nube.

• Viabilidad Empresarial: La capacidad de ejecutar la mayoría de las consultas localmente permite la implementación on-premise, crucial para sectores sensibles como la salud o las finanzas.
• Equilibrio Costo-Precisión: Aunque existe una brecha de precisión en consultas de razonamiento complejo (subconsultas anidadas, uniones múltiples) frente a los LLMs, la reducción de costos del 90% y la capacidad de manejar el 67% de las consultas de forma autónoma hacen que esta arquitectura sea una alternativa superior para aplicaciones a gran escala.
• Limitaciones y Futuro: El estudio reconoce que la latencia puede aumentar en escenarios de fallback y que los errores en agentes tempranos pueden propagarse. El trabajo futuro se centrará en analizar patrones de uso de tokens, optimizar la latencia y desarrollar técnicas de enmascaramiento de datos para proteger la privacidad incluso durante los fallos que requieren LLMs externos.

En conclusión, el sistema propuesto representa un avance significativo hacia la democratización eficiente y segura del acceso a datos, demostrando que la combinación estratégica de SLMs y LLMs puede superar las barreras de costo y privacidad de las soluciones actuales.