Reliable Answers for Recurring Questions: Boosting Text-to-SQL Accuracy with Template Constrained Decoding

1. Declaración del Problema

Aunque los Modelos de Lenguaje Grandes (LLM) han mejorado la generación de Texto-a-SQL, su despliegue en entornos empresariales enfrenta dos desafíos críticos:

• Precisión Inconsistente: El rendimiento varía significativamente entre diferentes esquemas de bases de datos, fallando a menudo en esquemas complejos o no vistos. Los benchmarks estándar (como Spider o BIRD) suelen evaluar el rendimiento zero-shot o few-shot en esquemas no vistos, lo cual no refleja la realidad de las cargas de trabajo empresariales donde se consultan esquemas específicos repetidamente.
• Generación de SQL Inválido: Los LLMs generan frecuentemente SQL sintácticamente inválido o SQL que se ejecuta pero devuelve resultados incorrectos debido a alucinaciones en constantes o lógica.
• Limitaciones de la Adaptación Actual:
  • Ajuste Fino (Fine-tuning): Requiere grandes conjuntos de datos etiquetados, es costoso y conlleva el riesgo de olvido catastrófico.
  • Aprendizaje en Contexto (ICL): Aunque efectivo, es inconsistente. El artículo demuestra que incluso con ejemplos relevantes en el prompt, los LLMs a menudo no logran replicar la estructura SQL correcta si la consulta difiere ligeramente en constantes (por ejemplo, cambiar un nombre de ciudad o un número), lo que conduce a errores estructurales.

Premisa Central: Las cargas de trabajo empresariales contienen una alta frecuencia de patrones de consulta recurrentes. Aunque la redacción en lenguaje natural varía, la estructura SQL subyacente para preguntas comerciales comunes suele ser idéntica, diferenciándose solo en literales específicos (constantes).

2. Metodología: Sistema TeCoD

Los autores proponen TeCoD (Decodificación Restringida por Plantillas), un sistema que aprovecha cargas de trabajo históricas etiquetadas para mejorar la precisión y la latencia. El sistema opera en dos fases:

A. Fase de Preparación (Offline)

1. Extracción de Plantillas: Los pares históricos (Consulta en Lenguaje Natural, SQL) se convierten en plantillas. Las constantes y literales en el SQL se enmascaran (por ejemplo, reemplazados por [string] o [number]), creando una estructura SQL parametrizada.
2. Aumento Sintético: Para crear claves de búsqueda robustas, el sistema utiliza un LLM para generar múltiples parafraseos sintéticos de la Consulta en Lenguaje Natural (NLQ) original que mapean a la misma plantilla.
3. Enmascaramiento e Indexación: Las NLQs sintéticas se "enmascaran" (eliminando menciones literales específicas) para crear una clave de búsqueda genérica. Estas NLQs enmascaradas se incrustan e indexan junto con sus gramáticas compiladas correspondientes.
4. Compilación de Gramática: La plantilla SQL se convierte en una Gramática Libre de Contexto (CFG) o Expresión Regular flexible. A diferencia de cadenas fijas, esta gramática permite variaciones en el uso de mayúsculas/minúsculas, espacios en blanco y formato para alinearse con las preferencias de tokenización específicas del LLM.

B. Fase de Inferencia (Online)

1. Coincidencia de Plantillas:
   • Cuando llega una consulta de usuario, el sistema recupera primero las $k$ mejores plantillas candidatas utilizando similitud coseno sobre incrustaciones.
   • Validación NLI: Un modelo de Inferencia de Lenguaje Natural (NLI) ajustado finamente (por ejemplo, DistilBERT o Qwen) valida a los candidatos. Determina si la consulta del usuario implica la plantilla enmascarada (significando que la estructura SQL coincide), es neutral o la contradice. Este paso filtra los falsos positivos que una búsqueda de similitud simple podría capturar.
2. Generación Condicional:
   • Si se encuentra una coincidencia: El sistema activa la Decodificación Restringida por Plantillas.
   • Si no se encuentra una coincidencia: El sistema recurre al Aprendizaje en Contexto (ICL) estándar o a la generación Zero-Shot.
3. Decodificación Particionada (Optimización de Eficiencia):
   • En lugar de decodificar todo el SQL token por token bajo restricciones gramaticales estrictas (lo cual es computacionalmente costoso), TeCoD utiliza un enfoque de dos fases:
     • Fase 1 (Estática): Las partes estáticas de la plantilla (palabras clave, estructura) se precalculan y sus IDs de token se almacenan en caché. La caché KV del LLM se inicializa con estos tokens.
     • Fase 2 (Dinámica): El LLM solo genera los literales enmascarados específicos (cadenas/números) utilizando decodificación restringida con una expresión regular simple, guiado por el contexto precalculado.
   • Esto reduce significativamente la latencia al evitar cálculos redundantes para las partes estáticas de la consulta.

3. Contribuciones Clave

1. Paradigma de Decodificación Restringida por Plantillas: Introdujo un enfoque novedoso para Texto-a-SQL que combina patrones de cargas de trabajo históricas con decodificación restringida por gramática para garantizar la validez sintáctica y la consistencia estructural.
2. Coincididor de Plantillas Robusto: Diseñó un módulo de coincidencia de alta precisión utilizando un modelo NLI y aumento de datos sintéticos. Esto logra una precisión de selección/rechazo de 91%, superando significativamente a las líneas base de similitud coseno simple (73%).
3. Decodificación Particionada Eficiente: Desarrolló un algoritmo de decodificación de dos fases que separa los tokens de plantilla estáticos de los literales dinámicos. Esto reduce la latencia de inferencia en 2.2× en comparación con las bibliotecas estándar de decodificación restringida, manteniendo la precisión.
4. Representación de Gramática Flexible: Propuso convertir las plantillas SQL en gramáticas flexibles (manejando variaciones de mayúsculas, espacios en blanco y formato) en lugar de cadenas fijas, asegurando que el LLM pueda generar SQL válido independientemente de sus sesgos de formato específicos.

4. Resultados y Evaluación

El sistema se evaluó en los benchmarks BIRD y Spider utilizando varios LLMs (incluyendo CodeS, Llama-3, Granite y XiYanSQL).

• Ganancias en Precisión:
  • Para consultas coincidentes (consultas que se ajustan a una plantilla almacenada), TeCoD alcanzó una precisión de ~90% en Coincidencia de Ejecución (ExM), en comparación con ~60% para el Aprendizaje en Contexto (ICL) estándar.
  • Esto representa un salto en precisión de hasta 36% sobre las líneas base de ICL.
  • TeCoD permitió que modelos más pequeños (por ejemplo, Granite-8B) igualaran o superaran el rendimiento de modelos más grandes y especializados (por ejemplo, QwenCoder-14B).
• Mejoras en Latencia:
  • TeCoD redujo la latencia de inferencia entre 1.5× y 2.2× en comparación con los métodos estándar de decodificación restringida.
  • Para modelos de razonamiento (como Arctic-R1), la latencia bajó de ~20 segundos a ~6 segundos por consulta.
• Robustez:
  • El sistema mantuvo una alta precisión incluso cuando las plantillas SQL tenían formatos variables (mayúsculas, espaciado), mientras que los enfoques de "Plantilla Fija" fallaron significativamente bajo perturbaciones de formato.
• Relevancia en el Mundo Real: El análisis de la carga de trabajo de un gran banco mostró que >50% de las consultas podían coincidir con una plantilla recurrente, validando la aplicabilidad del sistema en entornos empresariales.

5. Significado

• Viabilidad Empresarial: TeCoD ofrece una solución práctica para empresas con esquemas privados y datos etiquetados limitados. Mejora la precisión sin requerir un ajuste fino costoso, haciéndolo adecuado para entornos multiinquilino.
• Confiabilidad: Al imponer restricciones estructurales mediante gramática, TeCoD elimina el riesgo de generar SQL sintácticamente inválido, un obstáculo mayor en el despliegue de producción.
• Escalabilidad: El sistema está diseñado para el aprendizaje incremental; a medida que llegan nuevas consultas verificadas por expertos, estas pueden convertirse en plantillas y añadirse al conjunto, mejorando continuamente la cobertura y la precisión con el tiempo.
• Rentabilidad: Al permitir que LLMs más pequeños y rápidos logren alta precisión mediante decodificación restringida, TeCoD reduce el costo computacional y la latencia asociados con el uso de modelos masivos y especializados para tareas de Texto-a-SQL.

En conclusión, TeCoD cierra la brecha entre la flexibilidad de los LLMs y la rigidez requerida para interacciones confiables con bases de datos, demostrando que aprovechar patrones recurrentes en cargas de trabajo empresariales es una estrategia altamente efectiva para mejorar el rendimiento de Texto-a-SQL.