SQaLe: A Large Text-to-SQL Corpus Grounded in Real Schemas

Die Arbeit stellt SQaLe vor, ein groß angelegtes, halb-synthetisches Text-zu-SQL-Datenset, das auf 135.875 realen Schemata basiert und durch eine prinzipielle Generierungspipeline 517.676 hochwertige (Frage, Schema, Abfrage)-Triples erzeugt, um die Entwicklung generalisierbarer Modelle durch realistische Komplexität und Vielfalt zu fördern.

Das Wesentliche

Stell dir vor, du hast einen riesigen, chaotischen Bibliothekskeller voller alter Bücher (das sind die Datenbanken). Du möchtest eine Frage stellen, zum Beispiel: „Wie viele Bücher hat der Autor Müller geschrieben, die vor 1990 erschienen sind?" Aber der Bibliothekar (die Datenbank) versteht nur eine sehr strenge, kryptische Geheimsprache (SQL), nicht deine lockere Alltagssprache.

Das Problem bisher: Um einen Computer so zu trainieren, dass er diese Übersetzung von „Mensch" zu „Maschine" perfekt beherrscht, brauchte man bisher nur sehr kleine Übungsbücher. Die waren oft zu einfach, zu künstlich oder deckten nicht genug verschiedene Situationen ab. Es war, als würde man jemanden nur mit einem einzigen Rezeptbuch für Spaghetti trainieren und dann erwarten, dass er ein komplettes Restaurant für internationale Küche leitet.

Hier kommt SQALE ins Spiel.

Was ist SQALE?

SQALE ist wie ein riesiges, ultra-detailliertes Trainingscamp für KI-Modelle, damit sie besser verstehen, wie man natürliche Fragen in Datenbank-Befehle übersetzt.

Die Forscher haben nicht einfach zufällige Sätze erfunden. Stattdessen haben sie einen cleveren Trick angewendet:

1. Der Fundus: Sie haben einen riesigen Haufen echter, existierender Datenbank-Pläne (SchemaPile) genommen. Das sind die Baupläne von echten Firmen, Krankenhäusern und Behörden.
2. Die Erweiterung: Mit Hilfe einer starken KI (einem „Koch", der neue Rezepte erfinden kann) haben sie diese echten Pläne erweitert. Sie haben neue Abteilungen, neue Tabellen und neue Verbindungen hinzugefügt, aber immer im Stil der echten Welt.
3. Die Übung: Für diese riesigen, komplexen Pläne haben sie dann Millionen von Fragen generiert – von „Zeig mir alle Kunden" bis hin zu „Vergleiche die Umsätze aller Filialen, die mehr als 50 Mitarbeiter haben, mit denen aus dem Vorjahr".

Warum ist das so besonders? (Die Analogie)

Stell dir die bisherigen Datensätze wie ein Schulbuch für Grundschüler vor. Die Sätze sind kurz, die Grammatik ist perfekt, und es gibt immer nur eine richtige Antwort.

SQALE ist hingegen wie ein Praktikum in einer echten Großstadt:

• Echte Größe: Die Datenbanken sind riesig. Während andere Datensätze oft nur 5 bis 10 „Tische" (Tabellen) haben, hat SQALE oft über 90 Tische pro Datensatz. Das ist wie der Unterschied zwischen einem kleinen Dorfladen und einem riesigen Einkaufszentrum.
• Echte Unordnung: In der echten Welt sind Daten oft unordentlich. Namen sind abgekürzt, Schreibweisen sind gemischt, und manche Verbindungen sind nicht ganz klar. SQALE behält diese „echten Fehler" und Unschärfen bei, damit die KI lernt, damit umzugehen, statt nur perfekte Welten zu kennen.
• Komplexe Fragen: Die Fragen sind nicht nur „Was ist der Name?". Sie sind wie ein Detektiv-Rätsel, bei dem man viele verschiedene Quellen zusammenführen muss (Join-Operationen), um die Antwort zu finden.

Was haben die Forscher damit erreicht?

Sie haben über 500.000 dieser Trainingspaare (Frage + Datenbankplan + Richtige Antwort) erstellt. Das ist eine Menge, die bisher in diesem Bereich noch nie gesehen wurde.

Der große Vorteil:
Bisher mussten KI-Modelle oft nur auf kleinen, künstlichen Beispielen lernen. SQALE erlaubt es ihnen, sich an der echten Komplexität der Welt zu üben. Es ist, als würde man einen Sportler nicht nur auf einer Laufbahn trainieren, sondern ihn direkt in den Dschungel schicken, um seine Fähigkeiten zu testen.

Fazit

SQALE ist der größte und realistischste „Übungsplatz" für KI-Modelle, die Datenbanken verstehen sollen. Es hilft uns, KI-Systeme zu bauen, die nicht nur einfache Fragen beantworten, sondern uns wirklich dabei helfen, die riesigen Datenmengen unserer modernen Welt zu verstehen – ganz ohne dass wir die geheime Geheimsprache der Datenbanken lernen müssen.

Die Daten sind jetzt für alle zugänglich, damit jeder diese neuen, schlaueren KI-Modelle bauen kann.

Technische Zusammenfassung

1. Problemstellung

Der Fortschritt bei der Umwandlung von natürlichen Sprachabfragen in SQL (Text-to-SQL) durch Large Language Models (LLMs) wird derzeit durch das Fehlen geeigneter Trainingsdaten behindert. Bestehende Benchmarks wie Spider, BIRD oder Spider 2.0 sind zwar nützlich, aber in ihrer Skalierbarkeit und Vielfalt begrenzt:

• Datenvolumen: Die verfügbaren Datensätze sind um Größenordnungen kleiner als Standard-NLP-Korpora, was das Training großer Modelle nach etablierten Skalierungsgesetzen (Scaling Laws) erschwert.
• Schema-Komplexität und Realismus: Viele synthetische Datensätze (z. B. SynSQL) nutzen künstliche Schemata, die die Komplexität, Größe und Unvollkommenheit realer Produktionsdatenbanken nicht abbilden.
• Vielfalt: Es fehlt an Daten, die eine breite Palette von Schemagrößen (von kleinen Domänendatenbanken bis zu Enterprise-Systemen), Normalisierungsgraden und referenziellen Integritätsproblemen abdecken.

2. Methodik: Die SQALE-Pipeline

Die Autoren stellen SQALE vor, einen groß angelegten, semi-synthetischen Text-to-SQL-Datensatz, der auf realen Datenbank-Schemata basiert. Der Generierungsprozess folgt einer mehrstufigen Pipeline (siehe Abbildung 1 im Paper):

• Basis (SchemaPile): Der Prozess startet mit SchemaPile, einer Sammlung von 22.989 realen Datenbank-Schemata.
• Schema-Erweiterung (Schema Extension):
  • Ein LLM (Qwen3 30B) erweitert die realen Schemata schrittweise, indem es synthetische Tabellen hinzufügt (5–25 pro Iteration).
  • Ziel ist eine ausgewogene Verteilung der Komplexität mit einem Median von ca. 4 Joins pro Abfrage.
  • Die Schemagröße folgt einer Gamma-Verteilung (Modus bei 100 Tabellen, Maximum bei 350), um Enterprise-Skalen zu erreichen.
  • Wichtige Kriterien: Beibehaltung des ursprünglichen Benennungssstils, Normalisierungsgrad und Umgang mit referenzieller Integrität (z. B. Entfernen von Fremdschlüsseln, wenn das Ursprungsschema keine hatte, um Realismus zu wahren).
• Fragengenerierung (Question Synthesis):
  • Natürlichsprachliche Fragen werden basierend auf Beispielen aus BIRD und Spider 2.0 generiert.
  • Dies gewährleistet linguistische Vielfalt und deckt verschiedene Benutzerabsichten (Lookup, Aggregation, Filterung, Ranking) ab.
• SQL-Generierung und Validierung:
  • Das Framework ReFoRCE wird genutzt, um mehrere SQL-Kandidaten für jede Frage zu generieren.
  • Ein Voting-Mechanismus wählt den besten Kandidaten aus.
  • Validierung: Die SQL-Abfragen werden gegen das Schema ausgeführt, um die Ausführbarkeit zu garantieren. Ausreißer in Bezug auf Prompt-Länge und Query-Länge werden entfernt.
  • Eine manuelle Stichprobenprüfung (300 Samples) bestätigte die Qualität.

3. Schlüsselergebnisse und Datensatz-Statistiken

SQALE besteht aus 517.676 validierten Tripeln (Frage, Schema, SQL-Abfrage), die auf 135.875 verschiedenen Schemata basieren.

• Schema-Statistiken (Tabelle 1):
  • SQALE übertrifft bestehende Datensätze (BIRD, Spider 2.0, SynSQL) deutlich in der strukturellen Tiefe.
  • Median: 91 Tabellen pro Schema und 435 Spalten pro Schema.
  • Über 13 Millionen Fremdschlüssel-Beziehungen (FK), was eine hohe referenzielle Komplexität demonstriert.
• Query-Statistiken (Tabelle 2):
  • Hohe Komplexität: 76,1 % der Abfragen beinhalten Joins (ähnlich wie bei BIRD und Spider 2.0).
  • Vielfältige Operatoren: Gute Abdeckung von Aggregationen, Unterabfragen und logischen Kombinationen.
  • Im Vergleich zu SynSQL (das zwar mehr Abfragen hat, aber einfachere Schemata nutzt) bietet SQALE eine viel tiefere strukturelle Realitätsnähe.

4. Hauptbeiträge

1. Generierungs-Pipeline: Entwicklung einer prinzipiengeleiteten Pipeline zur Synthese von Text-to-SQL-Daten aus realen Schemata, die Skalierbarkeit mit Realismus verbindet.
2. Der SQALE-Datensatz: Bereitstellung eines der größten und realistischsten Text-to-SQL-Korpora, das speziell für das Training generalisierbarer Modelle konzipiert wurde.
3. Analyse und Charakterisierung: Eine tiefgehende Analyse, die zeigt, dass SQALE die Lücke zwischen synthetischen Daten (hohe Menge, geringe Realität) und kleinen manuellen Benchmarks (hohe Realität, geringe Menge) schließt.

5. Bedeutung und Ausblick

• Skalierungsgesetze: SQALE ermöglicht es, die Skalierungsgesetze des Machine Learning auf Text-to-SQL anzuwenden. Größere, komplexere Datensätze sollten zu leistungsfähigeren Modellen führen.
• Realismus vs. Effizienz: Der Datensatz adressiert die Ineffizienzen aktueller Leaderboards, wo oft komplexe Pipelines und riesige Modelle benötigt werden, um auf kleinen, unzureichenden Daten zu bestehen. SQALE bietet hochwertige Daten für das Feinabstimmen (Fine-Tuning) größerer Foundation-Modelle.
• Zukunft der Forschung: SQALE legt den Grundstein für die Entwicklung von Text-to-SQL-Modellen, die in der Lage sind, mit der Heterogenität und Komplexität echter Unternehmensdatenbanken umzugehen, anstatt nur auf idealisierten Testumgebungen zu funktionieren.

Der Datensatz ist öffentlich unter der HuggingFace-URL trl-lab/SQaLe-text-to-SQL-dataset verfügbar.