SQaLe: A Large Text-to-SQL Corpus Grounded in Real Schemas

El artículo presenta SQaLe, un corpus de texto-a-SQL a gran escala generado de forma semisintética a partir de 135.875 esquemas de bases de datos reales que ofrece 517.676 triples de alta calidad para superar las limitaciones actuales en la generalización de modelos.

Lo esencial

Imagina que tienes un traductor mágico que puede convertir lo que dices en lenguaje natural (como "¿cuántos usuarios se registraron ayer?") en una instrucción técnica precisa que una base de datos pueda entender (un código SQL).

El problema es que, hasta ahora, este traductor estaba un poco "atascado". Para aprender a traducir bien, necesita practicar con millones de ejemplos reales. Pero los libros de ejercicios que teníamos antes eran como:

1. Muy pequeños: Solo tenían unas pocas páginas de ejemplos.
2. Demasiado perfectos: Los ejemplos eran como problemas de matemáticas de un libro de texto, limpios y ordenados, pero no se parecían a la realidad.
3. Aburridos: Siempre preguntaban lo mismo.

Los autores de este paper (del centro de investigación CWI y la Universidad de Ámsterdam) dicen: "¡Basta! Necesitamos un gimnasio mucho más grande y real para entrenar a estos traductores".

Así es como presentan SQALE, su nueva solución:

1. La Base: Un "Lego" de Estructuras Reales

Imagina que tienes una caja gigante de piezas de Lego que representan estructuras de bases de datos reales (como las que usan los bancos, hospitales o tiendas online). A esta caja la llaman SchemaPile.

• El truco: En lugar de inventar estructuras de la nada, ellos tomaron estas piezas reales y las expandieron.
• La analogía: Piensa en que tienes un plano de una casa pequeña (una base de datos real). Usando Inteligencia Artificial, le piden al plano que se convierta en un rascacielos, añadiendo más habitaciones, pasillos y conexiones, pero manteniendo el estilo original.
• Resultado: Crearon 135,875 de estos "rascacielos" (esquemas de bases de datos) que son tan complejos y variados como los que existen en el mundo real.

2. El Entrenador: Preguntas y Respuestas

Ahora que tienen los edificios (las bases de datos), necesitan gente que haga preguntas sobre ellos.

• El proceso: Usaron una IA muy avanzada (Qwen3) para actuar como un "entrevistador". Le mostraron un esquema de base de datos y le dijeron: "Imagina que eres un usuario confundido. Hazme una pregunta sobre estos datos".
• La magia: La IA generó 517,676 preguntas y respuestas.
  • Algunas preguntas son fáciles: "¿Quién es el jefe?"
  • Otras son muy difíciles y confusas: "¿Cuánto gastó el departamento de marketing en productos que no se vendieron, pero solo si el clima fue lluvioso?" (Esto requiere unir muchas tablas y filtrar datos).
• Validación: Antes de guardar la respuesta, el sistema la ejecuta en la base de datos virtual para asegurarse de que no sea un error. Si la respuesta funciona, se guarda. Si no, se tira a la basura.

3. ¿Por qué es tan especial SQALE?

Antes, los entrenadores de estas IAs usaban datos que eran como fotografías de estudio: todo perfecto, iluminado y sin imperfecciones.
SQALE es como una cámara de realidad virtual que te lleva al caos de una oficina real:

• Tamaño real: Las bases de datos tienen cientos de tablas, no solo 5.
• Confusión real: Las preguntas tienen ambigüedades (como cuando un humano no sabe exactamente cómo se llaman las cosas en la base de datos).
• Conexiones rotas: A veces las bases de datos reales tienen conexiones que no están bien definidas, y SQALE incluye esos casos difíciles para que la IA aprenda a resolverlos.

En resumen

SQALE es un super-entrenador de datos.

• Antes: Entrenabas a un perro de búsqueda con 100 pistas de un parque perfecto.
• Ahora (con SQALE): Entrenas al perro con 500,000 pistas en un bosque real, con lluvia, ramas caídas y caminos confusos.

El objetivo final es que, cuando esta IA se encuentre con una base de datos real en una empresa (como un banco o un hospital), no se pierda. Podrá entender preguntas complejas y encontrar la información correcta, porque ha practicado con un volumen y variedad de datos que nunca antes habíamos visto.

¿Dónde está?
El equipo ha puesto todo este "gimnasio" a disposición de todos en internet (en Hugging Face) para que cualquier investigador o empresa pueda usarlo y crear traductores de lenguaje natural a bases de datos mucho más inteligentes.

Resumen técnico

Resumen Técnico: SQALE

1. El Problema

El avance de los Grandes Modelos de Lenguaje (LLM) ha impulsado significativamente la investigación en la conversión de lenguaje natural a SQL (Text-to-SQL). Sin embargo, el desarrollo de modelos generalizables y robustos se enfrenta a una barrera crítica: la falta de conjuntos de datos a gran escala que combinen suficiente complejidad de esquema, diversidad de dominios y variedad de tareas.

Los conjuntos de datos existentes (como Spider 1.0, BIRD, Spider 2.0 o SynSQL) presentan limitaciones fundamentales:

• Escala insuficiente: Son órdenes de magnitud más pequeños que los corpus de NLP estándar, lo que impide aplicar las leyes de escalado (scaling laws) efectivas para el entrenamiento de modelos grandes.
• Falta de realismo: Muchos enfoques sintéticos utilizan esquemas artificiales que carecen de la complejidad, la densidad y las irregularidades (como claves foráneas implícitas o convenciones de nomenclatura inconsistentes) de las bases de datos reales.
• Diversidad limitada: No cubren adecuadamente la variabilidad en el tamaño de los esquemas ni la ambigüedad semántica del lenguaje natural que surge en entornos reales.

2. Metodología

Los autores proponen SQALE, un corpus Text-to-SQL semi-sintético a gran escala. La metodología se basa en un pipeline de generación principista que integra esquemas reales con síntesis de lenguaje natural y construcción de consultas SQL.

Fuentes de Datos:

• Se parte de SchemaPile, una colección de 22,989 esquemas de bases de datos del mundo real.
• De estos, se extraen y expanden 135,875 esquemas relacionales.

Pipeline de Generación (Figura 1):
El proceso consta de tres etapas principales orquestadas por un LLM (Qwen3 30B):

1. Extensión de Esquemas (Schema Extension):

   • Los esquemas reales se expanden incrementalmente agregando tablas sintéticas (de 5 a 25 tablas adicionales).
   • Se mantiene el estilo de nomenclatura, las convenciones y el nivel de normalización del esquema original.
   • Se controla la distribución del tamaño del esquema para seguir una distribución gamma (modo en 100 tablas, máximo 350), reflejando sistemas empresariales reales.
   • Se eliminan las claves foráneas en esquemas que originalmente no las tenían para preservar la integridad referencial realista.

2. Síntesis de Preguntas (Question Synthesis):

   • Se generan preguntas en lenguaje natural basadas en ejemplos de BIRD y Spider 2.0, pero utilizando un enfoque de "pregunta abierta" en lugar de plantillas rígidas, para maximizar la variedad estilística y de complejidad.
   • Las preguntas se seleccionan para cubrir una distribución objetivo de complejidad de joins (mediana de 4 joins por consulta).

3. Generación y Validación de SQL (Query Construction):

   • Se utiliza el framework ReFoRCE para generar múltiples candidatos SQL.
   • Se aplica un proceso de votación para seleccionar la mejor consulta.
   • Validación de Ejecución: Las consultas se ejecutan contra el esquema generado para asegurar su validez. Se eliminan outliers y se verifica la longitud de los tokens.
   • Se realiza una verificación manual aleatoria de 300 muestras para garantizar la calidad.

Criterios de Diseño (C1-C8):
El dataset se rige por criterios estrictos divididos en nivel de esquema (tamaño, densidad, integridad de claves foráneas, convenciones de nomenclatura) y nivel de consulta (complejidad de joins, diversidad de operadores, diversidad de intenciones y ambigüedad controlada).

3. Contribuciones Clave

1. Pipeline de Generación de Datos: Un método escalable y principista para sintetizar datos Text-to-SQL a partir de esquemas reales, equilibrando realismo y diversidad.
2. SQALE (El Dataset): La creación de un corpus masivo de 517,676 triples (pregunta, esquema, consulta) validados.
3. Caracterización Exhaustiva: Un análisis profundo que demuestra que SQALE es el dataset Text-to-SQL a gran escala más realista hasta la fecha, superando a benchmarks existentes en complejidad estructural y diversidad.

4. Resultados y Estadísticas

El dataset SQALE presenta características que lo diferencian significativamente de competidores como BIRD, Spider 2.0, EHRSQL y SynSQL:

• Escala de Esquemas:
  • 135,875 esquemas (vs. 80 en BIRD o 236 en Spider 2.0).
  • Mediana de 91 tablas por esquema (vs. 5.0 en BIRD).
  • Mediana de 435 columnas por esquema.
  • Más de 13 millones de relaciones de claves foráneas (FK).
• Complejidad de Consultas:
  • 76.1% de las consultas involucran operaciones JOIN (comparable a BIRD y Spider 2.0, pero con mayor profundidad).
  • Alta diversidad de operadores (agregaciones, subconsultas anidadas, operaciones de conjuntos).
  • Las consultas tienen una longitud media de 61 tokens, equilibrando complejidad y eficiencia.
• Realismo: A diferencia de SynSQL (que tiene más consultas pero esquemas artificiales), SQALE prioriza la profundidad estructural y el realismo sobre el volumen bruto, ofreciendo esquemas que reflejan la heterogeneidad de los sistemas de datos empresariales.

5. Significado e Impacto

• Habilitador de Escalado: SQALE aborda la necesidad de datos masivos para aplicar las leyes de escalado en modelos Text-to-SQL, permitiendo el entrenamiento y ajuste fino (fine-tuning) de modelos fundacionales más capaces.
• Superación de Limitaciones Actuales: Proporciona un recurso para superar la dependencia de pipelines complejos y costosos (como ReFoRCE en tiempo de inferencia) al ofrecer datos de alta calidad listos para el entrenamiento.
• Evaluación Realista: Al incluir esquemas con tamaños variables, claves foráneas incompletas y ambigüedad semántica, permite evaluar la capacidad de generalización de los modelos en escenarios que se asemejan mucho más a la realidad industrial que los benchmarks actuales.
• Accesibilidad: El dataset está disponible públicamente en Hugging Face, fomentando la investigación abierta en la interfaz de lenguaje natural para bases de datos.

En conclusión, SQALE representa un salto cualitativo en la disponibilidad de datos para Text-to-SQL, moviendo el campo de la evaluación en dominios pequeños y controlados hacia el entrenamiento de modelos generalizables en entornos de datos complejos y a gran escala.