SQaLe: A Large Text-to-SQL Corpus Grounded in Real Schemas

Deze paper introduceert SQaLe, een groot semi-synthetisch dataset bestaande uit bijna 518.000 hoogwaardige (vraag, schema, query)-triples gebaseerd op 135.875 realistische databaseschemas, die is ontworpen om de schaalbaarheid en generalisatie van tekst-naar-SQL-modellen te verbeteren.

De kern

Stel je voor dat je een enorme bibliotheek hebt, maar in plaats van boeken, zitten er in elke kast duizenden tabellen met gegevens: van klanten en bestellingen tot weerberichten en medische dossiers. Je wilt nu iets vragen aan deze bibliotheek, zoals "Hoeveel mensen hebben afgelopen week in Amsterdam een blauwe jas gekocht?".

Het probleem is dat de bibliothecarissen (de computers) niet begrijpen wat je zegt. Ze spreken alleen een heel specifieke, strenge taal genaamd SQL. Als je de vraag niet in die taal stelt, krijgen ze je niet.

Vroeger waren er maar een paar "oefenboeken" (datasets) om computers te leren deze taal spreken. Maar die boeken waren vaak te klein, te simpel of te gemaakt (als een tekening van een bos in plaats van een echt bos). Computers die daarop leerden, konden het goed doen op de oefeningen, maar faalden als ze in de echte wereld moesten werken.

Hier komt SQALE om de hoek kijken. Het is een nieuw, gigantisch oefenboek voor computers, gemaakt door onderzoekers van het CWI en de Universiteit van Amsterdam.

Wat is SQALE precies?

SQALE is een enorme verzameling van 517.676 oefenopdrachten. Elke opdracht bestaat uit drie delen:

1. De blauwdruk (Schema): Een tekening van hoe een database eruitziet.
2. De vraag (Natural Language): Een vraag in gewoon Nederlands of Engels, zoals een mens die zou stellen.
3. Het antwoord (SQL): De perfecte, werkende code die de vraag beantwoordt.

Maar wat maakt SQALE zo speciaal?

1. Geen nep-bioscopen, maar echte bioscopen

De meeste oude datasets waren als een nepstadje gebouwd voor een film: alles zag er netjes uit, maar het was niet echt. SQALE is gebouwd op SchemaPile, een verzameling van 135.875 echte databases die bedrijven en organisaties daadwerkelijk gebruiken.

Stel je voor dat je een piloot wilt opleiden.

• Oude datasets: Je laat ze vliegen in een simulator met alleen rechte lijnen en helder weer.
• SQALE: Je laat ze vliegen in een simulator met echte stormen, onverwachte storingen, en duizenden verschillende vliegtuigtypes.

Omdat SQALE gebaseerd is op echte databases, bevat het ook de "rommel" uit de echte wereld: namen die niet overeenkomen, vreemde afkortingen, en databases die soms wel 350 tabellen groot zijn (zoals een heel stadje in plaats van een huisje).

2. De "Kookrecept"-methode

Hoe hebben ze dit gemaakt? Ze hebben geen menselijke schrijvers ingehuurd om 500.000 vragen te bedenken (dat zou eeuwen duren). In plaats daarvan hebben ze een slimme "kookrecept"-methode gebruikt met een AI:

1. Het Ingrediënt: Ze nemen een echte database (bijvoorbeeld van een ziekenhuis).
2. De Uitbreiding: Een slimme AI (Qwen3) kijkt ernaar en zegt: "Dit is te klein. Laten we er 20 nieuwe tabellen aan toevoegen die er precies zo uitzien als het origineel." Zo krijgen ze enorme, complexe databases.
3. De Vraag: De AI bedenkt dan vragen die een mens zou stellen, variërend van simpel ("Hoeveel patiënten zijn er?") tot heel complex ("Vind de patiënten die in drie verschillende afdelingen zijn geweest en meer dan 500 euro hebben uitgegeven").
4. De Controle: De AI schrijft het antwoord in SQL, en een andere AI checkt of het antwoord echt werkt. Als het niet werkt, wordt het weggegooid. Alleen de perfecte recepten blijven over.

3. Waarom is dit belangrijk?

Vroeger waren de datasets te klein om grote, slimme modellen te trainen. Het was alsof je probeerde een chef-kok te trainen met alleen maar een recept voor een boterham.

Met SQALE hebben onderzoekers nu een reusachtige keuken met duizenden ingrediënten. Hierdoor kunnen ze:

• Slimmere modellen trainen: Modellen die niet alleen de oefeningen kunnen, maar ook echt begrijpen hoe databases werken.
• Meer variatie: Ze leren modellen omgaan met verwarring, dubbelzinnigheid en complexe vragen.
• Toekomstbestendig: Het helpt bij het bouwen van systemen die in de toekomst automatisch data voor ons kunnen analyseren, zodat we gewoon kunnen praten met onze computers.

Samenvattend

SQALE is als het bouwen van een gigantisch, realistisch trainingskamp voor computers die moeten leren praten met databases. In plaats van ze te laten oefenen op simpele, nep-vragen, gooien we ze middenin de chaos en complexiteit van de echte wereld. Zo leren ze niet alleen de taal, maar ook hoe ze moeten denken als het echt moeilijk wordt.

De dataset is nu gratis beschikbaar voor iedereen die wil helpen de toekomst van data-analyse te bouwen.

Technische samenvatting

Probleemstelling

Hoewel grote taalmodellen (LLMs) de prestaties van Text-to-SQL-systemen (het vertalen van natuurlijke taal naar SQL) aanzienlijk hebben verbeterd, blijft de ontwikkeling van generaliseerbare modellen beperkt door een gebrek aan grote, diverse en hoogwaardige datasets. Bestaande benchmarks zoals Spider 1.0, BIRD en Spider 2.0 zijn vaak te klein in schaal en missen de complexiteit en variatie van real-world databases. Synthetische datasets (zoals SynSQL) bieden wel schaal, maar baseren zich vaak op kunstmatige schema's die niet de nuances, schaalvariatie en structuur van echte productiedatabases weerspiegelen. Dit beperkt de mogelijkheid om modellen te trainen die robuust zijn voor de werkelijkheid van complexe data-ecosystemen.

Methodologie: De SQALE Generatiepijplijn

De auteurs introduceren SQALE, een semi-synthetische dataset die is opgebouwd op een fundamenteel principe: het gebruik van echte schema's als basis. De generatiepijplijn bestaat uit drie hoofdfasen:

1. Schema-uitbreiding (Schema Extension):

   • De basis vormt SchemaPile, een collectie van 22.989 real-world databaseschema's.
   • Een LLM (Qwen3 30B) breidt deze bestaande schema's uit door synthetische tabellen toe te voegen (5 tot 25 tabellen per iteratie).
   • Dit gebeurt onder strikte richtlijnen om de stijl, naamgeving en normalisatiegraad van het originele schema te behouden.
   • Het doel is een verdeling van query-complexiteit te bereiken met een mediaan van 4 joins per query, waarbij schema's variëren van klein tot enterprise-schaal (tot 350 tabellen).

2. Vraag-synthese (Question Synthesis):

   • Voor elk uitgebreid schema worden natuurlijke taalvragen gegenereerd.
   • De prompts zijn gebaseerd op voorbeelden uit bestaande benchmarks (BIRD en Spider 2.0) om linguïstische diversiteit te garanderen.
   • De vragen worden geselecteerd om een evenwichtige verdeling van join-complexiteit en intenties (zoals zoeken, aggregatie, filtering) te waarborgen.

3. SQL-constructie en Validatie:

   • Het framework ReFoRCE wordt gebruikt om meerdere SQL-candidates te genereren voor elke vraag.
   • Een stemmingproces (voting) selecteert de beste kandidaat.
   • Validatie: De geselecteerde SQL-query wordt daadwerkelijk uitgevoerd tegen het gegenereerde schema om uitvoerbaarheid te garanderen. Query's met fouten of uitschieters in lengte worden verwijderd.
   • Er is ook een handmatige kwaliteitscontrole uitgevoerd op 300 willekeurige samples.

Belangrijkste Bijdragen

1. Data Generatie Pijplijn: Een gestructureerde, schaalbare methode om Text-to-SQL-data te synthetiseren die is verankerd in real-world schema's, in plaats van volledig kunstmatige structuren.
2. De SQALE Dataset: Een enorme dataset met 517.676 gevalideerde triples (vraag, schema, query) gebaseerd op 135.875 unieke schema's.
3. Gedetailleerde Karakterisering: Een diepgaande analyse die aantoont dat SQALE de meest realistische en schaalbare dataset tot nu toe is, met een unieke focus op schema-variabiliteit en structuur.

Resultaten en Dataset Kenmerken

De statistieken tonen aan dat SQALE aanzienlijk rijker is dan bestaande benchmarks:

• Schaal: SQALE bevat 135.875 schema's, vergeleken met bijvoorbeeld 80 in BIRD of 236 in Spider 2.0.
• Complexiteit: De mediaan aantal tabellen per schema is 91 (met een mediaan van 435 kolommen), wat veel hoger ligt dan bestaande datasets. Er zijn meer dan 13 miljoen foreign key-relaties opgenomen.
• Query Variatie: Hoewel het totale aantal queries kleiner is dan bij SynSQL (2,5 miljoen), is de complexiteit per query hoger. 76,1% van de queries in SQALE bevat joins, wat vergelijkbaar is met BIRD en Spider 2.0, maar met een bredere spreiding in join-complexiteit.
• Realisme: De dataset behoudt kenmerken van echte databases, zoals inconsistentie in naamgeving, variatie in normalisatiegraad en incomplete foreign keys, wat modellen beter voorbereidt op praktische toepassingen.

Betekenis en Impact

SQALE adresseert een fundamenteel probleem in het Text-to-SQL-veld: het gebrek aan schaalbare, realistische data voor het trainen van grote modellen.

• Schalingswetten: De dataset ondersteunt het idee dat grotere, complexere datasets leiden tot betere modelprestaties (scaling laws). Het biedt de nodige data om grotere foundation modellen te fine-tunen.
• Overbrugging van de Realiteitskloof: Door te bouwen op echte schema's in plaats van kunstmatige patronen, helpt SQALE modellen om beter om te gaan met de ambiguïteit en complexiteit van echte zakelijke data.
• Toekomstgericht: De dataset is ontworpen om de huidige inefficiënties in leaderboards (waar vaak complexe pipelines en grote modellen nodig zijn) te doorbreken en een basis te leggen voor generaliseerbare Text-to-SQL-oplossingen.

De dataset is openbaar beschikbaar via Hugging Face, wat de gemeenschap in staat stelt om nieuwe modellen te trainen en te evalueren op een niveau dat voorheen niet mogelijk was.