Agent-Agnostic Evaluation of SQL Accuracy in Production Text-to-SQL Systems

1. Declaración del Problema

El artículo aborda una brecha crítica en el despliegue de sistemas Text-to-SQL (T2SQL) en entornos de producción. Mientras que los benchmarks académicos (por ejemplo, Spider, BIRD) dependen de consultas SQL de verdad fundamental y esquemas de base de datos fijos para la evaluación, los sistemas de producción del mundo real enfrentan restricciones diferentes:

• Sin Verdad Fundamental: Las consultas de los usuarios llegan dinámicamente sin una "verdad fundamental" SQL pre-annotada.
• Dependencia del Esquema: Las bases de datos de producción suelen ser propietarias, multi-tenant o están sujetas a una evolución frecuente del esquema, lo que convierte el acceso estático al esquema en un riesgo.
• Vacío de Evaluación: Sin consultas de referencia o acceso al esquema, los desarrolladores no pueden monitorear sistemáticamente la precisión, detectar la degradación de la calidad ni comparar versiones de agentes después del despliegue. Esto conduce a una "erosión silenciosa de la calidad" donde los errores pasan desapercibidos.

Los métodos existentes (coincidencia de cadenas o precisión basada en ejecución) fallan en este contexto porque requieren consultas de referencia o una instantánea de base de datos en vivo y consultable, que a menudo no están disponibles o son poco prácticas en entornos empresariales.

2. Metodología: El Marco STEF

Los autores proponen STEF (Marco de Evaluación Text-to-SQL Agnóstico al Esquema), un sistema nativo de producción que evalúa agentes T2SQL utilizando únicamente entradas en lenguaje natural y el SQL generado, sin necesidad de esquemas de base de datos ni consultas de referencia.

El marco opera a través de una tubería de cinco etapas:

A. Especificación de Entrada

STEF acepta cuatro entradas por instancia de consulta:

1. $Q_u$: La pregunta original del usuario.
2. $Q_e$: La pregunta enriquecida/reformulada del agente (salida de preprocesamiento).
3. $S$: La consulta SQL generada.
4. $R_{app}$: Una configuración JSON para reglas específicas de la aplicación (por ejemplo, mapeos de columnas, filtros benignos).

B. Extracción y Normalización de Características Semánticas

El sistema extrae especificaciones semánticas estructuradas tanto del lenguaje natural ($Q_u, Q_e$) como del SQL ($S$) de forma independiente.

• Dimensiones: Descompone las consultas en Proyecciones (columnas), Agregaciones (SUM, AVG), Filtros (cláusulas WHERE) y Agrupación (GROUP BY).
• Normalización: Para manejar variaciones en la forma superficial, STEF normaliza los datos durante la extracción:
  • Resuelve alias SQL a significados semánticos.
  • Normaliza valores de filtro (mayúsculas/minúsculas, espacios en blanco).
  • Mapea términos de lenguaje natural (por ejemplo, "total") a funciones SQL (por ejemplo, SUM).
  • Aplica mapeos de columnas específicos de la aplicación desde $R_{app}$.

C. Alineación de Especificaciones y Clasificación de Filtros

Las características extraídas se alinean para determinar el Estado de Alineación de Filtros. El sistema clasifica la alineación en cuatro categorías:

1. Totalmente Aplicado: Todos los filtros requeridos presentes, sin extras.
2. Totalmente Aplicado con Extras: Filtros requeridos presentes, pero existen filtros adicionales (verificados contra reglas "benignas").
3. Parcialmente Aplicado: Algunos filtros faltan o son incorrectos.
4. No Aplicado: Filtros críticos faltan.

D. Veredicto Semántico Basado en LLM

Un evaluador LLM actúa como "juez" para evaluar la alineación semántica holística que la lógica basada en reglas no puede capturar (por ejemplo, aritmética de fechas compleja, equivalencias de métricas implícitas).

• Escala de Veredicto: El LLM genera una puntuación ordinal de 4 puntos: Correcto, Probablemente Correcto, Potencialmente Incorrecto, Incorrecto.
• Puntuación de Confianza: El LLM proporciona una puntuación de confianza ($\gamma \in [0, 1]$) para cuantificar su certeza, lo cual es crucial para manejar la variabilidad del evaluador.

E. Reglas de Normalización de Producción

Para evitar falsos negativos en SQL estructuralmente correcto pero idiomáticamente diferente, STEF aplica cuatro reglas universales de normalización:

1. Inferencia de GROUP BY Requerido: Si un SELECT mezcla agregados y no agregados, se asume que el GROUP BY necesario es correcto incluso si no se solicitó explícitamente.
2. GROUP BY Benigno: La agrupación en una columna ya restringida a un solo valor por una cláusula WHERE se ignora.
3. Tolerancia ORDER BY: La clasificación predeterminada (por ejemplo, por métrica agregada descendente) se acepta si el usuario no solicitó explícitamente un orden de clasificación.
4. Tolerancia LIMIT: Límites de alta cardinalidad (por ejemplo, LIMIT 10000) utilizados como salvaguardas de seguridad no se penalizan como restricciones top-k a menos que se soliciten explícitamente.

3. Mecanismo de Puntuación Compuesta

STEF produce una única puntuación interpretable ($\Phi$) en una escala de 0–100. La puntuación se calcula como:
$$\Phi = \frac{B}{10} \times 100 \times \Gamma$$
Donde:

• $B$ (Puntuación Base): Suma de la Puntuación de Alineación de Filtros (0–5) y la Puntuación de Veredicto Semántico (0–5), más un Impulso de Indulgencia (+1) si los filtros adicionales se confirman como benignos.
• $\Gamma$ (Multiplicador de Confianza): Un factor de penalización basado en la confianza del LLM ($\gamma$).
  • $\gamma \ge 0.85 \rightarrow \Gamma = 1.0$
  • $0.65 \le \gamma < 0.85 \rightarrow \Gamma = 0.8$
  • $\gamma < 0.65 \rightarrow \Gamma = 0.5$
  • Significado: Esto transforma la incertidumbre del evaluador en una señal de puntuación, penalizando las evaluaciones de baja confianza para evitar falsos positivos.

4. Contribuciones Clave

1. Evaluación Agnóstica al Esquema: El primer marco para evaluar la precisión de T2SQL en producción sin requerir esquemas de base de datos, consultas de referencia o infraestructura de ejecución.
2. Validación de Preguntas Enriquecidas: Trata la reformulación interna del agente de la pregunta del usuario como una señal de primera clase para la evaluación.
3. Inyección de Reglas Configurable: Permite a las empresas inyectar lógica específica del despliegue (mapeos de columnas, filtros benignos) mediante plantillas de prompts sin cambios en el código ni reentrenamiento del modelo.
4. Normalización Robusta para Producción: Maneja explícitamente idiomas SQL comunes en producción (inferencia de GROUP BY, ORDER BY predeterminado, LIMITs de seguridad) para reducir falsos negativos.
5. Puntuación Calibrada por Confianza: Integra la incertidumbre del LLM directamente en la puntuación final de precisión, proporcionando una métrica más confiable para el monitoreo continuo.

5. Resultados

Los resultados empíricos (Sección 7) demuestran la viabilidad del marco en tres agentes de producción:

• Agente-A: Puntuación Media 87.4, Puntuación P90 96.2, Cobertura 98.7%.
• Agente-B: Puntuación Media 82.1, Puntuación P90 93.5, Cobertura 97.2%.
• Agente-C: Puntuación Media 91.3, Puntuación P90 98.1, Cobertura 99.1%.
  La alta cobertura y puntuaciones indican que STEF puede monitorear y diferenciar eficazmente el rendimiento de los agentes en un entorno en vivo.

6. Significado

Este trabajo cierra la brecha entre la investigación académica de T2SQL y la realidad industrial. Al eliminar la dependencia de datos de verdad fundamental y esquemas estáticos, STEF permite:

• Mejora Continua: Las organizaciones ahora pueden monitorear la calidad del agente en tiempo real e identificar regresiones.
• Comparación de Agentes: Diferentes versiones de modelos o agentes pueden compararse objetivamente basándose únicamente en la calidad de su salida.
• Escalabilidad: El marco es desplegable a través de tecnologías de bases de datos heterogéneas y entornos multi-tenant sin modificaciones.

Limitaciones: Los autores señalan que persiste una variabilidad residual del evaluador LLM en casos limítrofes y que las subconsultas profundamente anidadas o las funciones de ventana complejas siguen siendo un desafío, sugiriendo una dirección futura hacia el análisis simbólico-neuronal híbrido.