Text2SQL-Flow: A Robust SQL-Aware Data Augmentation Framework for Text-to-SQL

Resumen Técnico: TEXT2SQL-FLOW

1. El Problema (Problem)

El éxito de los modelos de lenguaje (LLMs) en la tarea de Text-to-SQL (traducir lenguaje natural a consultas SQL) está limitado por la disponibilidad de datos de entrenamiento de alta calidad. Los conjuntos de datos actuales (como Spider o BIRD) presentan tres deficiencias principales:

• Escasez y tamaño limitado: La anotación manual es costosa y difícil de escalar.
• Baja diversidad estructural: Las consultas suelen ser simples y no cubren la complejidad de los escenarios del mundo real (subconsultas complejas, funciones de ventana, etc.).
• Simplicidad semántica: Las preguntas en lenguaje natural carecen de la variedad de estilos, tonos y ambigüedades que presentan los usuarios reales.

2. Metodología (Methodology)

Los autores proponen TEXT2SQL-FLOW, un marco de aumento de datos centrado en la estructura de SQL que opera en dos niveles de diversidad:

A. Diversidad a nivel de distribución (Database-level):
Para evitar que el modelo se sobreajuste a un solo dominio, el marco introduce bases de datos auxiliares. Utilizan un algoritmo de selección basado en la complejidad del esquema (número de tablas, columnas y densidad de claves foráneas) para elegir bases de datos que cubran un espectro amplio de estructuras, enriqueciendo el panorama de datos.

B. Diversidad a nivel de consulta (Query-level):
A partir de consultas semilla (seed SQL), el framework utiliza LLMs para generar nuevas variantes mediante seis dimensiones de aumento:

1. Transformación de valores (DVT): Modificación de parámetros y rangos.
2. Modificación de estructura (QSM): Cambio de agregaciones por funciones de ventana o introducción de CTEs.
3. Cambios en lógica de negocio (BLC): Adaptación a diferentes contextos analíticos.
4. Mejora de complejidad (CE): Adición de condiciones de filtrado y lógica condicional (CASE).
5. Funciones SQL avanzadas (ASF): Uso de operaciones de conjunto (UNION, INTERSECT).
6. Optimización de rendimiento (PO): Reestructuración para eficiencia.

C. Pipeline de validación y generación:
Para garantizar la calidad, el proceso incluye:

• Filtro de ejecutabilidad: Uso de EXPLAIN para asegurar que el SQL es sintácticamente correcto.
• Generación de preguntas con múltiples estilos: Creación de preguntas con diversos tonos (formal, coloquial, interrogativo, etc.).
• Filtro de correspondencia NL-SQL: Un LLM verifica que la pregunta y el SQL tengan la misma intención semántica.
• Generación de Cadena de Pensamiento (CoT): Generación de trazas de razonamiento paso a paso para mejorar el aprendizaje supervisado.

D. Estrategia para modelos cerrados (Retrieval):
Para modelos como GPT-4, proponen un método de recuperación de ejemplos mediante alineación enmascarada (Masked Alignment Retrieval). Este método entrena un modelo de embeddings para ignorar detalles superficiales (nombres de tablas o valores literales) y centrarse en la "estructura lógica" (el esqueleto de la consulta), permitiendo encontrar ejemplos de pocos disparos (few-shot) que sean estructuralmente similares a la pregunta del usuario.

3. Contribuciones Clave (Key Contributions)

1. Framework TEXT2SQL-FLOW: Un sistema robusto y escalable para la expansión sistemática de datos Text-to-SQL.
2. Dataset SQLFLOW: La creación de un nuevo conjunto de datos de alta calidad con 75,386 ejemplos anotados, con una complejidad estructural significativamente mayor que los datasets originales.
3. Método de Recuperación Estructural: Una técnica de retrieval que mejora la capacidad de aprendizaje en contexto (in-context learning) de los LLMs cerrados al enfocarse en la alineación semántica-estructural.

4. Resultados (Results)

• Modelos de código abierto (Fine-tuning): Al entrenar modelos como Qwen2.5-Coder con SQLFLOW, se obtuvieron mejoras notables en todos los benchmarks. Por ejemplo, en el benchmark EHRSQL, la precisión aumentó de un 34.6% a un 53.7%. El modelo entrenado con SQLFLOW superó consistentemente a otros modelos entrenados con datasets sintéticos de mayor escala (como SynSQL).
• Modelos de código cerrado (Prompting): El método de recuperación propuesto superó a las estrategias de similitud semántica tradicionales, logrando un 61.0% en BIRD-dev y 83.5% en Spider-dev.
• Robustez: Los experimentos demostraron que el framework es robusto frente a la elección del LLM utilizado para la generación de datos.

5. Significado (Significance)

Este trabajo marca un cambio hacia el paradigma centrado en los datos (data-centric AI) en el campo de Text-to-SQL. Demuestra que la calidad, la diversidad estructural y la alineación semántica de los datos son más críticas que simplemente aumentar el volumen de datos o el tamaño del modelo. El framework proporciona una base escalable para desarrollar sistemas de consulta de bases de datos más inteligentes, capaces de manejar la complejidad del lenguaje humano y de las estructuras de datos empresariales.