SQaLe: A Large Text-to-SQL Corpus Grounded in Real Schemas

Ce papier présente SQaLe, un corpus text-to-SQL à grande échelle contenant plus de 517 000 triplets de haute qualité générés à partir de schémas réels, conçu pour surmonter les limitations des jeux de données existants et améliorer la généralisation des modèles.

L'essentiel

Imaginez que vous voulez apprendre à un robot à parler le langage des bases de données. C'est un peu comme essayer d'enseigner à un enfant comment cuisiner dans une cuisine géante et complexe, mais le problème, c'est que vous n'avez que quelques recettes simples et des ustensiles en plastique pour lui montrer.

C'est exactement le défi que rencontrent les chercheurs en intelligence artificielle avec le Text-to-SQL (transformer une phrase en langage naturel en une requête de base de données). Jusqu'à présent, les "livres de recettes" (les jeux de données) étaient trop petits, trop simples ou trop artificiels pour que le robot apprenne vraiment à gérer la complexité du monde réel.

Voici l'histoire de SQALE, la nouvelle solution proposée par cette équipe de chercheurs, expliquée simplement.

1. Le Problème : Une Cuisine Trop Petite

Jusqu'ici, pour entraîner ces modèles d'IA, on utilisait des bases de données factices ou très limitées. C'est comme si on apprenait à un pilote d'avion uniquement avec un simulateur de vol qui ne contient que des avions de jouet. Quand le pilote se retrouve dans un vrai avion avec des centaines d'instruments et des conditions météo réelles, il panique.

Les chercheurs se sont dit : "Il nous faut une cuisine géante, avec de vrais ustensiles, des ingrédients variés et des recettes compliquées, pour que l'IA apprenne vraiment."

2. La Solution : SQALE, le Super-Apprenti

L'équipe a créé SQALE. Ce n'est pas juste un autre jeu de données, c'est une usine à recettes intelligente.

• La Fondation (Les Plans de la Maison) : Au lieu de dessiner des maisons de jouet, ils ont pris des plans d'architectes réels (appelés SchemaPile). Ils ont analysé plus de 22 000 structures de bases de données réelles utilisées dans le monde.
• L'Extension (L'Agrandissement) : Ces plans réels étaient parfois trop petits. Alors, ils ont utilisé une IA très puissante (Qwen3) pour les "agrandir" de manière réaliste. Imaginez prendre un petit appartement et le transformer en un immeuble de 100 étages, en ajoutant des ascenseurs, des canalisations et des pièces, tout en gardant le style de l'architecture originale.
• La Création des Questions (Les Commandes du Client) : Ensuite, ils ont demandé à l'IA de générer des milliers de questions que des humains poseraient réellement à ces bases de données. "Combien de clients ont commandé un café entre 14h et 16h ?" ou "Quel est le salaire moyen par département ?".
• La Vérification (Le Test de Cuisson) : Le plus important : chaque recette générée a été "cuite" (exécutée) pour s'assurer qu'elle fonctionne vraiment. Si la recette échouait, elle était jetée.

3. Pourquoi SQALE est Spécial ?

SQALE est comme un parc d'attractions pour l'IA, alors que les anciens jeux de données étaient des terrains de jeu pour enfants.

• La Taille : Ils ont créé 517 676 paires (Question + Réponse SQL) basées sur 135 875 schémas de bases de données différents. C'est énorme !
• La Complexité : Les bases de données de SQALE sont immenses. En moyenne, une seule requête doit naviguer à travers 91 tables différentes (comme si vous deviez relier 91 pièces d'un château pour trouver un objet). Les anciens jeux de données se contentaient souvent de 2 ou 3 tables.
• Le Réalisme : Contrairement à d'autres méthodes qui inventent tout de zéro (comme des noms de tables "Table1", "Table2"), SQALE garde les noms réels, les erreurs de frappe, les abréviations bizarres et les relations complexes que l'on trouve dans les entreprises réelles. C'est comme apprendre à conduire sur des routes de campagne avec des nids-de-poule, pas juste sur une piste de karting parfaitement lisse.

4. L'Objectif Final : Un Pilote Autonome

Pourquoi faire tout cela ? Parce que les règles du jeu de l'IA (les "lois d'échelle") disent que plus on donne de données variées et complexes à un modèle, plus il devient intelligent.

SQALE est conçu pour permettre aux chercheurs de créer des modèles capables de :

1. Comprendre n'importe quelle base de données, même celle d'une grande entreprise avec des milliers de tableaux.
2. Répondre à des questions complexes sans se tromper.
3. Devenir un véritable assistant pour les humains qui veulent explorer des données sans savoir coder.

En Résumé

Si les anciens jeux de données étaient des livres de contes pour enfants, SQALE est une encyclopédie technique de l'ingénierie civile. Il permet aux intelligences artificielles de passer du stade de "bébé qui apprend à marcher" à celui de "pilote expérimenté capable de naviguer dans les tempêtes des données réelles".

C'est un pas de géant vers un futur où vous pourrez simplement demander à votre ordinateur : "Montre-moi les ventes de l'année dernière par région, en comparant avec les stocks, et trie par profit" et il le fera instantanément, car il aura été entraîné sur des millions de scénarios réalistes.

Résumé technique

1. Problématique

Le domaine de la conversion du langage naturel en requêtes SQL (Text-to-SQL) a bénéficié des avancées des grands modèles de langage (LLM). Cependant, le développement de modèles généralisables et robustes se heurte à un goulot d'étranglement majeur : l'absence de jeux de données à grande échelle qui combinent simultanément :

• Une diversité de schémas réalistes (taille, complexité, normalisation).
• Une couverture de domaines étendue.
• Une variété de tâches et d'intentions utilisateurs.

Les benchmarks existants (comme Spider 1.0, BIRD, ou Spider 2.0) sont souvent limités en nombre d'exemples (quelques milliers) ou reposent sur des schémas artificiels trop simplifiés. À l'inverse, les approches purement synthétiques (comme SynSQL) atteignent une grande échelle mais manquent de réalisme structurel, ne reflétant pas les défis des bases de données réelles (clés étrangères implicites, conventions de nommage hétérogènes, densité variable). Il est donc nécessaire de créer un corpus qui respecte les lois d'échelle (scaling laws) du NLP tout en restant ancré dans la réalité des systèmes de données.

2. Méthodologie : Le Pipeline SQALE

Les auteurs proposent SQALE, un corpus semi-synthétique généré via un pipeline principé et évolutif. Ce processus s'appuie sur SchemaPile, une collection de 22 989 schémas de bases de données réels.

Le pipeline de génération se déroule en plusieurs étapes clés (illustrées dans la Figure 1 du papier) :

1. Extension de Schéma (Schema Extension) :

   • À partir des schémas réels de SchemaPile, un LLM (Qwen3 30B) étend les schémas en ajoutant des tables synthétiques (de 5 à 25 tables) tout en préservant le style de nommage, les conventions et le niveau de normalisation d'origine.
   • L'objectif est de créer une distribution de taille de schéma réaliste (mode à 100 tables, max 350), couvrant des systèmes allant des petites bases de données aux systèmes d'entreprise massifs.
   • Une attention particulière est portée à l'intégrité des clés étrangères : les relations implicites ou manquantes des schémas originaux sont conservées pour refléter les défis réels de l'inférence de schéma.

2. Synthèse de Questions (Question Synthesis) :

   • Des questions en langage naturel sont générées à partir d'exemples tirés de BIRD et Spider 2.0 pour assurer une diversité linguistique.
   • La génération est guidée pour couvrir une large gamme d'intentions (recherche, agrégation, filtrage, classement) et de complexités de jointures (de 1 à plusieurs tables).

3. Génération de Requêtes SQL (SQL Construction) :

   • Le framework ReFoRCE est utilisé pour générer plusieurs candidats SQL pour chaque paire (schéma, question).
   • Un processus de vote sélectionne la meilleure requête.
   • Validation rigoureuse : Chaque requête candidate est exécutée contre le schéma généré pour vérifier son exécutabilité. Les outliers (en termes de longueur de prompt ou de requête) sont filtrés.

4. Contrôle Qualité :

   • Une vérification manuelle aléatoire sur 300 échantillons a confirmé la qualité et la correction des données.

3. Contributions Clés

Les auteurs présentent trois contributions majeures :

1. Un pipeline de génération de données capable de synthétiser des triplets (schéma, question, requête) à partir de schémas réels tout en garantissant la validité d'exécution.
2. La création du dataset SQALE, un corpus massif contenant 517 676 triplets validés, basés sur 135 875 schémas de bases de données relationnelles.
3. Une caractérisation approfondie du dataset, démontrant qu'il offre la représentation la plus réaliste à grande échelle des défis Text-to-SQL, surpassant les benchmarks existants en termes de complexité structurelle.

4. Résultats et Caractéristiques du Dataset

SQALE se distingue nettement des datasets existants (BIRD, Spider 2.0, SynSQL, EHRSQL) par ses statistiques structurelles et sémantiques :

• Échelle et Complexité des Schémas :
  • SQALE contient 135 875 schémas (contre 80 pour BIRD ou 236 pour Spider 2.0).
  • La médiane de tables par schéma est de 91 (contre 5 à 7 pour les autres benchmarks).
  • La médiane de colonnes par schéma est de 435.
  • Il inclut plus de 13 millions de relations de clés étrangères, reflétant une intégrité référentielle complexe et réaliste.
• Complexité des Requêtes :
  • 76,1 % des requêtes impliquent des jointures (similaire à BIRD et Spider 2.0), mais avec une distribution plus large de tables impliquées.
  • Le dataset couvre une grande diversité d'opérateurs SQL (agrégations, sous-requêtes imbriquées, opérations d'ensemble).
  • Il intègre une ambiguïté linguistique contrôlée, simulant l'incertitude des utilisateurs face à des schémas qu'ils ne connaissent pas parfaitement.
• Comparaison : Bien que le nombre total de requêtes soit inférieur à SynSQL (2,5M), SQALE offre une profondeur structurelle bien supérieure, évitant le piège des schémas artificiels simplistes.

5. Signification et Impact

SQALE représente une avancée significative pour la recherche en Text-to-SQL :

• Validation des lois d'échelle (Scaling Laws) : Le dataset permet d'explorer l'hypothèse selon laquelle l'augmentation de la taille, de la complexité et de la diversité des données d'entraînement conduit à des gains proportionnels de performance pour les modèles.
• Réduction du fossé Réalité-Synthèse : En s'appuyant sur des schémas réels (SchemaPile) plutôt que sur des structures générées de toutes pièces, SQALE prépare les modèles à affronter les défis des environnements de production (noms de colonnes obscurs, schémas non normalisés, clés étrangères manquantes).
• Ressource pour l'entraînement et l'évaluation : Disponible publiquement sur Hugging Face, SQALE offre une base solide pour le fine-tuning de modèles fondationnels et l'évaluation de nouveaux agents Text-to-SQL, dépassant les limitations des leaderboards actuels dominés par des pipelines complexes et coûteux.

En conclusion, SQALE comble le vide entre les petits benchmarks réalistes et les grands corpus synthétiques, fournissant la ressource nécessaire pour entraîner la prochaine génération de modèles capables d'interagir avec des bases de données d'entreprise complexes.