SQUiD: Synthesizing Relational Databases from Unstructured Text

Das Paper stellt SQUiD vor, ein neurosymbolisches Framework, das mithilfe von Large Language Models aus unstrukturierten Texten automatisch relationale Datenbanken mit Schema und Daten synthetisiert und dabei bestehende Baseline-Methoden übertrifft.

Das Wesentliche

Stellen Sie sich vor, Sie haben einen riesigen Haufen ungeordneter Notizbücher, Tagebücher und Briefe. Darin stehen Geschichten über Menschen, ihre Reisen, ihre Einkäufe und ihre Abenteuer. Die Informationen sind da, aber sie sind unstrukturiert – wie ein Haufen Puzzleteile, die noch nicht zusammengefügt sind.

Ein Datenbank (wie ein riesiges, perfektes Excel-Tablett) ist das Gegenteil: Alles ist in Zeilen und Spalten sortiert, man kann sofort nachfragen: „Wer war wann in Rom?" und erhält eine klare Antwort.

Das Problem: Unsere Computer können mit den Notizbüchern nicht direkt reden, aber sie brauchen die strukturierte Datenbank, um die Daten zu analysieren.

Hier kommt SQUiD ins Spiel.

Was ist SQUiD?

SQUiD ist kein Tier, sondern ein genialer digitaler Architekt und Übersetzer, der von Künstlicher Intelligenz (KI) angetrieben wird. Seine Aufgabe ist es, aus dem chaotischen Text-Haufen automatisch eine perfekte Datenbank zu bauen.

Stellen Sie sich SQUiD wie einen Bauvorstand auf einer Baustelle vor, der in vier klare Schritte unterteilt ist, damit nichts schiefgeht:

1. Der Bauplan (Schema-Generierung)

Bevor man ein Haus baut, braucht man einen Architekten, der den Grundriss zeichnet.

• Das Problem: Wenn man einer KI einfach sagt: „Mach eine Datenbank aus diesem Text!", verliert sie oft den Überblick. Sie baut vielleicht ein Haus ohne Fundament oder vergisst, dass die Küche mit dem Wohnzimmer verbunden sein muss.
• Die SQUiD-Lösung: SQUiD liest den Text und entwirft zuerst den perfekten Bauplan. Es entscheidet: „Okay, wir brauchen eine Tabelle für Reisende, eine für Reiseziele und eine für Buchungen. Und diese müssen so verbunden sein, dass man weiß, wer wohin reist." Es achtet dabei streng auf die Regeln der Architektur (Datenbank-Regeln), damit später nichts einstürzt.

2. Die Materialsuche (Werte-Identifikation)

Jetzt muss das Baumaterial gefunden werden.

• Das Problem: In einem Text steht oft: „Sophia war in Rom." und später wieder: „Sie besuchte Rom." Eine naive KI könnte denken, das sind zwei verschiedene Dinge oder vergisst Details.
• Die SQUiD-Lösung: SQUiD nutzt zwei Werkzeuge gleichzeitig, wie ein Detektiv mit Lupe und Notizblock:
  • Ein symbolisches Werkzeug (ein strenger Roboter) sucht nach Wörtern und Zahlen, die genau so stehen, wie sie sind.
  • Die KI (der kreative Mensch) versteht den Kontext: „Ah, 'Sie' bezieht sich auf Sophia."
  • Beide sammeln die Informationen in kleinen Paketen (Dreiergruppen), damit nichts verloren geht.

3. Das Einräumen (Tabellen-Befüllung)

Jetzt wird das Material in die Regale sortiert.

• Das Problem: Wenn man versucht, alles auf einmal in die Datenbank zu schütten, landet oft das falsche Material im falschen Regal (z. B. das Alter von Sophia in die Spalte für das Reiseziel).
• Die SQUiD-Lösung: SQUiD geht sehr methodisch vor. Es nimmt die gesammelten Pakete und füllt sie Zeile für Zeile in die richtigen Tabellen. Es stellt sicher, dass Sophia in der Tabelle „Reisende" und ihre Reise in der Tabelle „Buchungen" mit demselben Namen verknüpft ist. Es ist wie ein hochorganisiertes Lagerhaus, das sicherstellt, dass jedes Teil seinen exakten Platz hat.

4. Der Schlüssel zur Tür (Datenbank-Materialisierung)

Am Ende muss das Gebäude betretbar sein.

• Das Problem: Wenn die KI versucht, den fertigen Code (SQL-Befehle) direkt zu schreiben, macht sie oft kleine Tippfehler, wie ein fehlendes Komma. Das ganze Haus stürzt dann ab, und die Datenbank ist kaputt.
• Die SQUiD-Lösung: SQUiD schreibt den Code nicht selbst. Stattdessen nimmt es die perfekt sortierten Daten und lässt einen Roboter-Übersetzer den fertigen Bauplan in die exakte Sprache der Datenbank (SQL) umwandeln. Da die Daten schon vorher perfekt sortiert waren, ist der Code zu 100 % fehlerfrei und sofort einsatzbereit.

Warum ist das so wichtig?

Früher mussten Menschen stundenlang Texte lesen und manuell Daten in Tabellen eintragen. Das war langsam und fehleranfällig. Andere KI-Modelle versuchten, das direkt zu machen, scheiterten aber oft an der Komplexität (wie in Abbildung 1 des Papers gezeigt: falsche Namen, fehlende Daten, kaputte Befehle).

SQUiD ist wie ein Schweizer Taschenmesser für Daten: Es zerlegt das riesige Problem in kleine, handhabbare Aufgaben. Es kombiniert die Kreativität der KI (um Texte zu verstehen) mit der Strenge von klassischen Computer-Regeln (um Fehler zu vermeiden).

Das Ergebnis: Aus einem unordentlichen Texthaufen entsteht in Sekunden eine saubere, durchsuchbare Datenbank, die man sofort nutzen kann – als hätte man einen magischen Assistenten, der für Sie den ganzen Papierkram erledigt.

Technische Zusammenfassung

Problemstellung

Relationale Datenbanken bilden das Fundament des modernen Datenmanagements, doch ein Großteil der heutigen Daten liegt in unstrukturierten Textformaten vor (z. B. wissenschaftliche Artikel, medizinische Aufzeichnungen, Geschäftsberichte). Herkömmliche Datenbankwerkzeuge können diese Daten nicht direkt verarbeiten.
Bisherige Ansätze konzentrierten sich entweder auf:

1. Text-to-Table: Erzeugung flacher Tabellen oder Mindmaps, die jedoch die Semantik und Beziehungen relationaler Datenbanken (Normalisierung, Fremdschlüssel) nicht abbilden.
2. Text-to-SQL / Text2DB: Generierung von SQL-Abfragen oder Updates für bereits existierende Datenbanken mit festem Schema.

Die zentrale Lücke besteht darin, eine relationale Datenbank von Grund auf aus reinem, unstrukturiertem Text zu synthetisieren. Diese Aufgabe, die Autoren als Text2R (Text-to-Relational-Database) bezeichnen, ist extrem komplex, da sie drei Hauptprobleme umfasst:

• Schema-Generierung: Identifikation von Entitäten, Beziehungen und Erstellung eines syntaktisch korrekten Schemas mit Primär- und Fremdschlüsseln.
• Werte-Identifikation und -Zuordnung: Extraktion von Werten aus dem Text, Deduplizierung und korrekte Zuordnung zu den richtigen Tupeln (Instanzen) über mehrere Tabellen hinweg.
• SQL-Validität: Sicherstellung, dass die generierten CREATE TABLE und INSERT-Statements syntaktisch korrekt und ausführbar sind, ohne Halluzinationen oder Syntaxfehler.

Direkte Prompting-Ansätze mit Large Language Models (LLMs) scheitern hier häufig an Inkonsistenzen, fehlenden Werten, Halluzinationen und syntaktischen Fehlern im SQL-Code.

Methodik: Das SQUiD-Framework

Die Autoren stellen SQUiD (SQL on Unstructured Data) vor, ein neurosymbolisches Framework, das die Text2R-Aufgabe in vier modulare Stufen zerlegt. Dieser Ansatz kombiniert die Flexibilität von LLMs mit der Präzision symbolischer Werkzeuge und programmatischer Validierung.

1. Schema-Generierung (Schema Generation):

   • Ein LLM inferiert aus dem Text ein relationales Schema.
   • Um strukturelle Fehler zu vermeiden, werden strenge Regeln (Best Practices aus der Datenbankliteratur) in die Prompts integriert (z. B. Vermeidung reservierter SQL-Schlüsselwörter, Definition von Primär- und Fremdschlüsseln).
   • Zwei Strategien werden verglichen: Direktes Prompting und Chain-of-Thought (CoT), wobei CoT den Prozess in logische Zwischenschritte (Entitäten identifizieren -> Tabellen definieren -> Schlüssel zuweisen) unterteilt.

2. Werte-Identifikation (Value Identification):

   • Statt Werte direkt in Tupeln zu extrahieren, werden zunächst Triplets als Zwischenrepräsentation generiert.
   • Hybrider Ansatz:
     • Symbolische Triplets: Nutzung von Tools wie Stanford CoreNLP für deterministische Extraktion (Subjekt, Relation, Objekt).
     • Schema-angepasste Triplets: LLM-generierte Triplets im Format (Tabelle, Spalte, Wert), die besser mit dem Ziel-Schema harmonieren.
   • Deduplizierung: Embeddings und Cosine-Ähnlichkeit werden genutzt, um redundante Triplets zu entfernen.
   • Gruppierung: Jeder Absatz im Text erhält eine eindeutige ID (Superkey), um sicherzustellen, dass Werte derselben Entitätsinstanz (z. B. einer Person) korrekt gruppiert und über Tabellen hinweg verknüpft werden.

3. Tabellen-Population (Table Population):

   • Die extrahierten Triplets werden mit dem generierten Schema abgeglichen, um Tupel zu bilden.
   • Ensemble-Learning: Das System nutzt drei verschiedene Eingabequellen für die Populations-Prompts: (1) Nur Text, (2) Text + symbolische Triplets, (3) Text + schema-angepasste Triplets. Die Ergebnisse werden nachträglich kombiniert, um die Stärken jedes Ansatzes zu nutzen und Kontext-Überlastung zu vermeiden.
   • Tool-Use: LLMs werden angewiesen, strukturierte Datensätze schrittweise zu generieren, um Formatierungsfehler zu minimieren und die referenzielle Integrität (z. B. korrekte Fremdschlüssel-IDs) zu gewährleisten.

4. Datenbank-Materialisierung (Database Materialization):

   • Anstatt dass das LLM direkt SQL-Code generiert (was fehleranfällig ist), werden die strukturierten Tupel und das Schema programmatisch in gültige SQL-Statements (CREATE TABLE, INSERT INTO) übersetzt.
   • Der Code wird lokal in einer SQLite-Instanz ausgeführt, um die syntaktische Korrektheit zu garantieren.

Hauptbeiträge

1. Definition der Text2R-Aufgabe: Die Einführung einer neuen Aufgabe, bei der eine vollständige relationale Datenbank (Schema + Daten) aus unstrukturiertem Text synthetisiert wird, im Gegensatz zu existierenden Text-to-SQL-Ansätzen.
2. SQUiD-Framework: Ein neurosymbolischer Ansatz mit vier Stufen, der spezialisierte Techniken (symbolische IE, CoT-Prompting, Tool-Use, programmatische SQL-Generierung) kombiniert.
3. Automatisierter Benchmark: Erstellung eines neuen Datensatzes und einer Evaluierungsmethodik. Da keine bestehenden Benchmarks existieren, generierten die Autoren Textdaten aus bestehenden relationalen Datenbanken (BIRD, Kaggle) und definierten neue Metriken für Schema- und Tupelqualität (z. B. Entity Coverage, Referential Integrity Rate).
4. Umfassende Evaluation: Experimente mit fünf State-of-the-Art-Modellen (GPT-4O, DeepSeek, Claude, Llama, Qwen) zeigen, dass SQUiD direkte Baseline-Ansätze signifikant übertrifft.

Ergebnisse

Die Experimente wurden auf Datensätzen aus verschiedenen Domänen (Tourismus, Bildung, Finanzen, Gesundheit) durchgeführt.

• Schema-Qualität: SQUiD (insbesondere mit CoT-Prompting) erreicht eine nahezu perfekte Abdeckung von Primär- und Fremdschlüsseln (PKC/FKC > 98% in vielen Fällen) und eine hohe semantische Übereinstimmung der Spaltennamen (Entity Coverage Score).
• Datenqualität (Tupel):
  • Erfolgsrate (DBR): SQUiD erreicht eine 100%ige Erfolgsrate bei der Generierung ausführbarer Datenbanken (im Gegensatz zu Baselines, die oft <60% erreichen).
  • Referenzielle Integrität (RRIR): SQUiD verbessert die referenzielle Integrität um den Faktor 1,4 bis 46 gegenüber Baselines (je nach Modell).
  • Abdeckung (TC/VC): Die Abdeckung der Ground-Truth-Tupel und Werte liegt bei SQUiD deutlich höher (oft >95% TC).
• Modellunabhängigkeit: SQUiD verbessert auch kleinere Modelle (8B Parameter wie Llama-8B, Qwen-8B) so stark, dass sie die Leistung größerer Modelle (wie GPT-4O oder Claude) im direkten Prompting übertreffen.
• Design-Entscheidungen: Die Kombination aus symbolischen und LLM-basierten Triplets sowie die Nachverarbeitung (Ensembling) erwies sich als entscheidend für die hohe Genauigkeit.

Bedeutung und Ausblick

SQUiD schließt eine kritische Lücke im Datenmanagement, indem es die Automatisierung der Migration von unstrukturierten Texten in strukturierte, abfragbare relationale Datenbanken ermöglicht. Dies ist ein fundamentaler Schritt hin zu einer nahtlosen Integration von Textdaten in analytische Workflows.

Limitationen:

• Die aktuelle Evaluation konzentriert sich auf „nutzerzentrierte" Dokumente, bei denen ein zentrales Entity existiert (z. B. eine Person), was eine vollständige JOIN-Operation ermöglicht. Komplexere Schemata ohne zentrales Entity könnten Herausforderungen darstellen.
• Die Evaluation basiert auf synthetisch generierten Texten aus existierenden Datenbanken; reale, unordentliche Textdaten könnten weitere Anpassungen erfordern.

Fazit:
Die Arbeit demonstriert, dass ein modularer, neurosymbolischer Ansatz die inhärenten Schwächen von reinen LLM-Ansätzen bei strukturellen Aufgaben überwinden kann. SQUiD liefert nicht nur syntaktisch korrekte SQL-Datenbanken, sondern stellt auch semantische Konsistenz und referenzielle Integrität sicher, was es zu einem vielversprechenden Werkzeug für die Zukunft des Datenmanagements macht.